Tinker API
推理框架开源0.3k Stars·
Tinker API 是一个本地模型推理 API 服务，支持在本地部署和运行各种开源模型
框架介绍
Tinker API 是一个本地模型推理 API 服务，支持在本地部署和运行各种开源模型。提供 OpenAI 兼容接口，便于集成到现有应用。
核心特性
1
本地推理
在本地运行模型，保护数据隐私
2
OpenAI 兼容
提供 OpenAI 兼容的 API 接口
3
多模型支持
支持 Llama、Mistral 等开源模型
4
GPU 加速
支持 GPU 加速推理
应用场景
私有部署
在私有环境中部署 LLM 服务
离线应用
构建离线可用的 AI 应用
成本控制
减少云端 API 调用成本