Phi-3.5-mini
GPU VRAM: ONNX 6 GB, OpenVINO 4 GB
NPU/iGPU RAM:: ONNX /OpenVINO / ORT+VAIP / QNN 16 GB
Mistral-7B
GPU VRAM: ONNX, OpenVINO 8 GB
NPU/iGPU RAM: ONNX / OpenVINO / ORT+VAIP 32 GB
Llama-3-8B
GPU VRAM: ONNX, OpenVINO 8 GB
NPU/iGPU RAM:: ONNX / OpenVINO / ORT+VAIP / QNN 32 GB
Llama-2-13B
GPU VRAM: ONNX 12 GB, OpenVINO 10 GB
NPU/iGPU RAM: ONNX /OpenVINO 32 GB