LLaMA-Factory
训练框架推理框架开源42.0k Stars·Apache-2.0
LLaMA-Factory 是一个统一的大语言模型微调框架，支持多种模型和训练方法，提供 Web UI 和命令行界面，同时支持 OpenAI 兼容的推理 API。
框架介绍
LLaMA-Factory 是一个统一高效的大语言模型微调框架，由北京大学团队开发并开源。它提供了一站式的模型训练解决方案，支持从数据准备到模型导出的完整工作流。 LLaMA-Factory 的核心优势在于其广泛的模型支持和灵活的训练方法——支持 100+ 种主流大语言模型（LLaMA、Qwen、ChatGLM、Baichuan 等），并提供 LoRA、QLoRA、Full、Freeze 等多种微调方法。同时，它内置 OpenAI 兼容的推理 API，可以直接部署微调后的模型提供服务。
核心特性
1
广泛模型支持
支持 LLaMA、Qwen、ChatGLM、Baichuan、Yi 等 100+ 种主流大语言模型
2
多种训练方法
支持 LoRA、QLoRA、Full、Freeze 等多种微调策略
3
Web UI 界面
提供直观的 Web UI，可视化配置训练参数和监控训练进度
4
推理 API
内置 OpenAI 兼容的推理 API，支持流式输出和批量推理
5
RLHF 支持
支持 DPO、PPO、KTO 等强化学习训练方法
6
多精度训练
支持 FP16、BF16、纯 FP32 等多种精度模式
应用场景
模型微调
快速微调开源大语言模型以适应特定任务
对话系统
训练对话模型，支持多轮对话和角色扮演
领域适配
将通用模型适配到医疗、法律、金融等专业领域
推理服务
直接部署微调后的模型提供推理服务
适用人群与场景
AI 应用开发者
需要快速微调和部署大模型的开发者
数据科学家
进行模型定制化训练的数据专家
企业 AI 团队
构建私有领域模型的企业团队
研究人员
进行大模型训练方法研究的研究人员