AI框架与工具

AgentBench

评估智能体开源

AgentBench 是清华大学开发的智能体能力评估基准，提供多维度的 Agent 能力测试场景，是评估大语言模型作为智能体能力的重要工具。

DeepEval

评估RAG开源

DeepEval 是一个开源的 LLM 评估框架，提供单元测试风格的评估方式，支持 RAG 评估和 CI/CD 集成。

Giskard

评估开源

Giskard 是一个开源的 AI 模型测试和评估平台，专注于检测 AI 模型的安全漏洞、偏见和性能问题，支持 CI/CD 集成。

HELM

评估开源

HELM (Holistic Evaluation of Language Models) 是斯坦福大学开发的综合语言模型评估框架，提供多维度、系统化的模型能力评估。

LM-Evaluation-Harness

评估开源

LM-Evaluation-Harness 是 EleutherAI 开发的语言模型评估框架，提供统一接口访问多种评估基准，是学术界广泛使用的评估工具。

OpenCompass

评估开源

OpenCompass 是上海人工智能实验室开发的 AI 模型评估平台，提供全面的模型能力评测和排行榜服务。

Promptfoo

评估开源

Promptfoo 是一个开源的 LLM 提示词测试和评估工具，支持对抗性测试、红队测试和 CI/CD 集成，帮助构建安全的 LLM 应用。

RAGAS

评估RAG开源

RAGAS (Retrieval Augmented Generation Assessment) 是专门用于评估 RAG 系统的框架，提供 Faithfulness、Context Precision 等关键指标的自动化评估。

ToolBench

评估智能体开源

ToolBench 是用于评估大语言模型工具学习和工具使用能力的开源基准，提供大规模的工具调用数据集和评估框架。

TruLens

评估RAG开源

TruLens 是用于评估和追踪 LLM 应用的工具，提供 RAG 评估、反馈功能和可观测性支持，帮助构建可靠的 AI 应用。