GGUF

GGUF是llama.cpp项目推出的模型格式，专为CPU推理优化，支持多种量化级别（Q4_0, Q4_K_M, Q5_K_M等）。GGUF格式：文件结构解析；量化级别：Q4/Q5/Q6/Q8；量化选择：精度与大小权衡；工具链：llama.cpp、Ollama；本地部署：CPU推理优化。