AI框架与工具
主流AI开发框架、智能体框架、工作流工具，助力快速构建AI应用
推理框架
(14)
llama.cpp
llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎，支持 CPU、CUDA、Metal、Vulkan 等多种后端，性能卓越。
Ollama
Ollama 是一个轻量级的本地 LLM 运行工具，让用户能够轻松下载、运行和管理大语言模型。提供 OpenAI 兼容的 API 接口。
llamafile
llamafile 是 Mozilla 开发的单文件可执行 LLM 分发格式，让 LLM 可以像普通程序一样运行。
LMDeploy
LMDeploy 是上海人工智能实验室开发的 LLM 部署工具包，支持模型压缩、高效推理和服务部署。
LocalAI
LocalAI 是一个 OpenAI API 兼容的本地推理服务，支持多种后端和模型格式。
MLC-LLM
MLC-LLM 是一个通用机器学习编译框架，支持在多种硬件平台上高效部署 LLM。
SGLang
SGLang 是一个结构化生成语言框架，提供高效的 LLM 推理和结构化输出能力。
TensorRT-LLM
TensorRT-LLM 是 NVIDIA 开发的高性能 LLM 推理优化库，专为 NVIDIA GPU 设计，性能极致。
TGI
Text Generation Inference (TGI) 是 Hugging Face 开发的生产级 LLM 推理服务器，用于支持 Hugging Chat。
vLLM
vLLM 是一个高性能 LLM 推理和服务框架，通过 PagedAttention 技术实现卓越的吞吐量和内存效率。
New API
New API 是 OneAPI 的增强版本，提供更多功能和更好的性能
OneAPI
OneAPI 是一个 OpenAI API 管理和分发系统
Sora 2 API
Sora 2 API 是 OpenAI Sora 视频生成模型的 API 封装，提供便捷的视频生成接口
Tinker API
Tinker API 是一个本地模型推理 API 服务，支持在本地部署和运行各种开源模型
训练框架
(10)
PyTorch
PyTorch 是由 Meta AI 开发的开源深度学习框架，以动态计算图和直观的 API 设计著称，是学术界和工业界最流行的深度学习平台之一。
TensorFlow
TensorFlow 是 Google 开发的端到端开源机器学习平台，提供从研究到生产的完整工具链，支持大规模模型训练和部署。
Axolotl
Axolotl 是一个专注于大语言模型微调的开源工具，提供声明式 YAML 配置，支持多种模型和训练方法。
DeepSpeed
DeepSpeed 是 Microsoft 开发的深度学习优化库，专注于大规模分布式训练，提供 ZeRO 优化器、混合精度训练等核心技术。
JAX
JAX 是 Google 开发的高性能数值计算框架，支持自动微分和 JIT 编译，是现代深度学习研究的重要基础设施。
LLaMA-Factory
LLaMA-Factory 是一个统一的大语言模型微调框架，支持多种模型和训练方法，提供 Web UI 和命令行界面，同时支持 OpenAI 兼容的推理 API。
Megatron-LM
Megatron-LM 是 NVIDIA 开发的大规模 transformer 训练框架，专注于 GPU 高效并行训练技术。
MLflow
MLflow 是一个开源的机器学习生命周期管理平台，提供实验追踪、模型注册、项目打包和部署功能，是 MLOps 的核心工具之一。
TensorBoard
TensorBoard 是 TensorFlow 生态的可视化工具套件，提供训练过程可视化、模型结构查看和数据分析功能，是深度学习开发的标准工具之一。
Weights & Biases
Weights & Biases (W&B) 是业界领先的 MLOps 平台，提供实验追踪、模型版本管理和团队协作功能，帮助团队高效管理机器学习项目。
智能体框架
(25)
Agent Lightning
Agent Lightning 是一个高性能智能体框架，专注于快速响应和低延迟执行
Agent Zero
Agent Zero 是一个从零开始构建的智能体框架，提供最基础的智能体能力，适合学习和定制开发
AgentAR-Fin-R1
AgentAR-Fin-R1 是一个金融领域的增强现实智能体，结合 AR 技术提供金融数据可视化交互
AgentCPM-Explore
AgentCPM-Explore 是一个探索型智能体，专注于自主探索和信息发现
AgentCPM-Report
AgentCPM-Report 是一个报告生成智能体，能够自动收集信息并生成结构化报告
AgentQ
AgentQ 是一个智能体开发框架，专注于构建具备自主决策能力的 AI Agent
AgentScope 1.0
AgentScope 是阿里巴巴开源的多智能体框架，支持快速构建多智能体协作应用
AgentScope Java
AgentScope Java 是 AgentScope 的 Java 版本，为 Java 开发者提供多智能体开发能力
AutoGen
AutoGen 是微软研究院开源的多智能体对话框架，让多个 AI 智能体能够相互协作完成复杂任务
Coze
Coze 是字节跳动推出的 AI 应用开发平台，提供可视化智能体编排、插件系统和知识库管理
CrewAI
CrewAI 是一个用于编排角色扮演 AI 智能体团队的框架
Dify
Dify 是一个开源的 LLM 应用开发平台，让开发者能够快速构建、部署和管理 AI 应用
Goose
Goose 是一个开源的 AI 编程助手，能够自主完成代码编写、调试和重构任务
Hermes Agent
Hermes Agent 是一个企业级智能体框架，提供完善的智能体生命周期管理
MagicAgent
MagicAgent 是一个轻量级智能体框架，专注于快速构建单一用途的 AI Agent
MetaGPT
MetaGPT 是一个多智能体协作框架，它将标准操作流程（SOP）编码到智能体协作中，让多个 AI 智能体像一个真正的软件公司一样工作
Mobile Agent v3.5
Mobile Agent v3
OAgents
OAgents 是一个开放架构的智能体框架，支持自定义智能体类型和行为
OpenAgents
OpenAgents 是一个开源的智能体平台，提供智能体开发、部署和管理的完整解决方案
OpenAI Swarm
OpenAI Swarm 是一个实验性的轻量级多智能体编排框架，专注于让智能体之间的协作变得简单而可控
OpenDevin
OpenDevin 是一个开源的 AI 软件开发助手，能够自主完成代码编写、调试、测试等开发任务
Openjarvis
OpenJarvis 是一个开源的个人 AI 助手框架，支持语音交互、任务自动化和智能家居控制
rStar2 Agent
rStar2 Agent 是一个基于推理树的智能体框架，通过多路径推理提升决策质量
Tradingagents Cn
TradingAgents CN 是一个面向金融交易的智能体框架，支持市场分析、策略执行和风险管理
Youtu Agent
Youtu Agent 是一个视频理解智能体，能够分析视频内容、提取关键信息并生成摘要
评估框架
(10)
AgentBench
AgentBench 是清华大学开发的智能体能力评估基准，提供多维度的 Agent 能力测试场景，是评估大语言模型作为智能体能力的重要工具。
DeepEval
DeepEval 是一个开源的 LLM 评估框架，提供单元测试风格的评估方式，支持 RAG 评估和 CI/CD 集成。
Giskard
Giskard 是一个开源的 AI 模型测试和评估平台，专注于检测 AI 模型的安全漏洞、偏见和性能问题，支持 CI/CD 集成。
HELM
HELM (Holistic Evaluation of Language Models) 是斯坦福大学开发的综合语言模型评估框架，提供多维度、系统化的模型能力评估。
LM-Evaluation-Harness
LM-Evaluation-Harness 是 EleutherAI 开发的语言模型评估框架，提供统一接口访问多种评估基准，是学术界广泛使用的评估工具。
OpenCompass
OpenCompass 是上海人工智能实验室开发的 AI 模型评估平台，提供全面的模型能力评测和排行榜服务。
Promptfoo
Promptfoo 是一个开源的 LLM 提示词测试和评估工具，支持对抗性测试、红队测试和 CI/CD 集成，帮助构建安全的 LLM 应用。
RAGAS
RAGAS (Retrieval Augmented Generation Assessment) 是专门用于评估 RAG 系统的框架，提供 Faithfulness、Context Precision 等关键指标的自动化评估。
ToolBench
ToolBench 是用于评估大语言模型工具学习和工具使用能力的开源基准，提供大规模的工具调用数据集和评估框架。
TruLens
TruLens 是用于评估和追踪 LLM 应用的工具，提供 RAG 评估、反馈功能和可观测性支持，帮助构建可靠的 AI 应用。
其他工具
(46)
AnyI2V
AnyI2V 是一个通用的图像到视频生成框架，支持从任意静态图像生成动态视频
AnyVoice
AnyVoice 是一个多语言语音合成和克隆平台，支持从少量样本快速克隆声音
AudioGen-Omni
AudioGen-Omni 是一个通用音频生成框架，支持音乐、音效、语音等多种音频类型的生成
Cheshire Cat
Cheshire Cat 是一个模块化的 AI 聊天机器人框架，支持插件扩展和多种 LLM 后端
Clawith
Clawith 是一个基于 Claude 的智能体开发框架，提供与 Claude API 的深度集成
Code2Video
Code2Video 是一个代码演示视频生成工具，能够自动将代码执行过程转化为教学视频
DiaMoE-TTS
DiaMoE-TTS 是一个基于混合专家架构的文本转语音系统，支持高质量、自然的语音合成
Dive3D
Dive3D 是一个 AI 驱动的 3D 内容生成工具，支持从文本或图像生成 3D 模型
Docling
Docling 是一个智能文档解析工具，支持多种格式的文档结构化提取
DreamActor-H1
DreamActor-H1 是一个 AI 驱动的数字人生成工具，支持从静态图像生成会说话、会动作的数字人视频
DreamVVT
DreamVVT 是一个视频转视频生成工具，支持对现有视频进行风格转换和内容修改
EchoMimicV3
EchoMimicV3 是一个音频驱动的数字人动画生成工具，支持从音频生成匹配的口型和表情动画
GPT Researcher
GPT Researcher 是一个 AI 驱动的自动研究助手，能够自主搜索、收集、整理信息并生成研究报告
Hunyuan GameCraft
Hunyuan GameCraft 是腾讯混元游戏内容生成工具，支持游戏场景、角色、道具的 AI 生成
ImmerseGen
ImmerseGen 是一个沉浸式内容生成平台，支持 VR/AR 场景和交互内容的创建
Infographic
Infographic 是一个信息图表自动生成工具，能够将数据和信息转化为美观的可视化图表
InstanceAssemble
InstanceAssemble 是一个实例组装工具，支持将多个组件智能组装成完整场景
Kaleido
Kaleido 是一个多视角内容生成工具，支持从多个角度生成和展示内容
Lightpanda Browser
LightPanda 是一个轻量级浏览器自动化工具，支持网页抓取、自动化测试和 RPA 任务
LightX2V
LightX2V 是一个轻量级图像到视频转换工具，在保持质量的同时优化了速度和资源消耗
LingEN
LingEN 是一个语言增强工具，支持文本润色、翻译优化和多语言内容生成
MagRef
MagRef 是一个参考引导的图像生成工具，支持基于参考图像的风格迁移和内容生成
MAS-Zero
MAS-Zero 是一个多智能体系统基础框架，提供从零开始构建多智能体系统的能力
Matrix-3D
Matrix-3D 是一个 3D 矩阵计算和渲染框架，支持大规模 3D 数据处理和可视化
MemU
MemU 是一个记忆增强工具，为 AI 应用提供长期记忆和知识管理能力
MultiTalk
MultiTalk 是一个多说话人语音处理工具，支持多人对话的语音分离、识别和转录
NemoClaw
NemoClaw 是一个基于 NVIDIA NeMo 的语音处理工具，提供语音识别、合成和翻译能力
OneSearch
OneSearch 是一个统一搜索平台，支持多种数据源的统一检索
Open AutoGLM
Open AutoGLM 是一个开源的自动图学习模型框架，支持自动化图数据分析和建模
OpenAkita
OpenAkita 是一个开源的语音助手框架，支持语音识别、自然语言理解和语音合成
OpenClaw
OpenClaw 是一个开源的 AI 工具集成框架，支持多种 AI 工具的统一调用和管理
PaperBanana
PaperBanana 是一个学术论文辅助工具，支持论文检索、摘要生成和引用管理
PicoClaw
PicoClaw 是一个微型 AI 工具框架，提供最小化的 AI 能力封装
PPTCN
PPTCN 是一个中文 PPT 自动生成工具，支持根据内容大纲自动生成演示文稿
RoboOS 2.0
RoboOS 2
Scail
Scail 是一个可扩展 AI 学习框架，支持大规模分布式训练和推理
SceneGen
SceneGen 是一个场景生成工具，支持根据描述自动生成 3D 场景
Semantic Kernel
Semantic Kernel 是微软开源的 LLM 应用开发框架，提供语义函数、技能编排、记忆管理等核心能力
SongBloom
SongBloom 是一个音乐创作辅助工具，支持根据风格和情绪生成原创音乐
SurveyForge
SurveyForge 是一个问卷自动生成和分析工具，支持智能问卷设计、数据收集和结果分析
ThinkChain
ThinkChain 是一个思维链推理框架，支持复杂问题的多步骤推理
TinyAGI
TinyClaw 是一个微型 AI 框架，专为资源受限设备设计
Turbodiffusion
TurboDiffusion 是一个加速扩散模型推理的工具，显著提升图像生成速度
Unstructured
Unstructured 是一个非结构化数据处理工具，支持从各种文档格式中提取结构化信息
Verba
Verba 是一个基于 Weaviate 的 RAG 应用框架，提供开箱即用的知识库问答能力
Xllm
XLLM 是一个扩展 LLM 框架，支持添加自定义能力和工具扩展
RAG框架
(11)
AnythingLLM
AnythingLLM 是一个全功能的本地 RAG 应用，支持多种文档格式和 LLM 提供商
Bisheng
毕升(Bisheng)是一个开源的 LLM 应用开发平台，提供可视化工作流编排、知识库管理、模型管理等功能
Comorag
Comorag 是一个组合式 RAG 框架，支持灵活组合多种检索策略和生成模型
FastGPT
FastGPT 是一个基于 LLM 构建的知识库问答平台，提供开箱即用的数据处理、模型调用和可视化工作流编排能力
Haystack
Haystack 是一个用于构建搜索系统和 RAG 应用的开源框架
LangChain
LangChain 是一个用于开发由语言模型驱动的应用程序的框架
LlamaIndex
LlamaIndex（原 GPT Index）是一个专注于构建 LLM 应用数据框架的工具
MaxKB
MaxKB 是一个开源的知识库问答系统，基于大语言模型提供智能问答能力
Mem0
Mem0 是一个智能记忆层，为 AI 应用提供持久化的记忆能力
PrivateGPT
PrivateGPT 是一个注重隐私的 RAG 应用，所有数据处理都在本地完成
Quivr
Quivr 是一个 AI 驱动的知识管理平台，支持多种文件格式的智能问答
工作流框架
(6)
ComfyUI
ComfyUI 是一个强大且模块化的 Stable Diffusion 图形用户界面，它使用节点/图/流程图的设计理念，让用户能够设计和执行复杂的图像生成工作流
DeerFlow 2.0
DeerFlow 是一个工作流自动化框架，支持可视化编排 AI 工作流
Flowdirector
FlowDirector 是一个工作流编排和调度平台，提供可视化流程设计、执行监控和错误处理
Flowise
Flowise 是一个拖拽式的低代码工具，用于构建定制化的 LLM 流程
n8n
n8n 是一个开源的工作流自动化工具，类似于 Zapier 和 Make，但提供了更大的灵活性和自托管能力
RAGFlow
RAGFlow 是一个基于深度文档理解的 RAG 引擎