LocalAI
推理框架开源28.0k Stars·MIT
LocalAI 是一个 OpenAI API 兼容的本地推理服务，支持多种后端和模型格式。
框架介绍
LocalAI 是一个完全兼容 OpenAI API 的本地推理服务，无需 GPU 即可运行大语言模型。它支持多种后端引擎（如 llama.cpp、vLLM）和多种模型格式。 LocalAI 的设计目标是"无缝替代"——作为 OpenAI API 的本地替代品，让现有应用无需修改即可切换到本地推理。它特别适合希望降低 API 成本或保护数据隐私的团队。
核心特性
1
OpenAI 兼容
完全兼容 OpenAI API，无缝切换
2
多后端支持
支持 llama.cpp、vLLM、whisper.cpp 等后端
3
无 GPU 运行
支持纯 CPU 推理，无需 GPU
4
模型灵活
支持 GGUF、GGML、 safetensors 等格式
5
多模态
支持图像生成、语音识别等多模态能力
6
函数调用
支持 OpenAI 风格的函数调用
应用场景
API 替代
作为 OpenAI API 的本地替代
成本降低
降低 API 调用成本
隐私保护
数据完全本地处理
离线部署
在无网络环境部署 AI 能力
适用人群与场景
成本敏感者
希望降低 API 成本的开发者
隐私合规者
需要数据本地处理的合规团队
离线需求者
需要在离线环境使用 AI 的用户
OpenAI 用户
现有 OpenAI API 用户想要本地替代