ModelGPU VRAMNPU / iGPU VRAM
Phi- 3.5 -mini

OpenVINO: 4 GB

ONNX / llama.cpp: 6 GB

MLX: 8GB 

ONNX / OpenVINO / ORT+VAIP / QNN: 16 GB

Mistral-7B

ONNX / llama.cpp / OpenVINO: 8 GB

MLX: 8GB 

ONNX / OpenVINO / ORT+VAIP: 32 GB

Llama-3-8B

ONNX / llama.cpp / OpenVINO: 8 GB

MLX: 8GB 

ONNX / OpenVINO / ORT+VAIP / QNN: 32 GB

Llama-2-13B

OpenVINO: 10 GB

ONNX / llama.cpp: 12 GB

MLX:16GB 

ONNX / OpenVINO: 32 GB