Promptfoo
评估框架开源5.5k Stars·MIT
Promptfoo 是一个开源的 LLM 提示词测试和评估工具，支持对抗性测试、红队测试和 CI/CD 集成，帮助构建安全的 LLM 应用。
框架介绍
Promptfoo 是一个开源的 LLM 提示词测试和安全评估工具，专注于帮助开发者发现和修复提示词相关的安全问题。它提供命令行工具和 Web 界面，支持大规模的提示词评估。 Promptfoo 的核心优势在于其红队测试能力——内置多种攻击向量（注入、越狱、信息泄露等），可以自动化测试 LLM 应用的安全边界。同时支持自定义攻击策略和评估指标，满足不同场景的安全测试需求。
核心特性
1
红队测试
内置多种攻击向量，自动化安全测试
2
对抗性测试
测试提示注入、越狱等对抗攻击
3
多模型支持
支持 OpenAI、Anthropic、本地模型等多种 LLM
4
CI/CD 集成
支持 GitHub Actions 等 CI 流程集成
5
自定义策略
支持自定义攻击策略和评估指标
6
报告生成
生成详细的测试报告和安全建议
应用场景
安全测试
测试 LLM 应用的安全边界
提示词优化
评估和优化提示词的鲁棒性
红队演练
进行系统性的对抗性测试
CI 集成
在开发流程中自动化安全测试
适用人群与场景
LLM 应用开发者
构建安全 LLM 应用的开发者
安全工程师
进行 AI 安全测试的安全专家
DevOps 团队
集成安全测试到 CI/CD 的运维人员
红队测试者
进行对抗性测试的安全研究员