Promptfoo：LLM 评估与红队测试

promptfoo 是一个用于评估和红队测试基于 LLM 应用的 CLI 和库。别再反复试错了……开始交付安全、可靠的智能体吧

网站 · 快速入门 · 红队测试 · 文档 · Discord

Promptfoo 现已成为 OpenAI 的一部分。Promptfoo 仍保持开源并采用 MIT 许可证。阅读公司更新。

快速开始

npm install -g promptfoo
promptfoo init --example getting-started

也可通过 brew install promptfoo 和 pip install promptfoo 安装。或者使用 npx promptfoo@latest 无需安装即可运行任何命令。

大多数 LLM 提供商都需要 API 密钥。将你的密钥设置为环境变量：

export OPENAI_API_KEY=sk-abc123

运行评估并查看结果：

cd getting-started
promptfoo eval
promptfoo view

更多内容请参阅快速入门（评估）或红队测试（漏洞扫描）！

你可以用 Promptfoo 做什么？

• 测试你的提示词和模型，使用自动化评估
• 保护你的 LLM 应用，使用红队测试和漏洞扫描
• 并排比较模型（OpenAI、Anthropic、Azure、Bedrock、Ollama 以及更多）
• 在 CI/CD 中自动化检查
• 审查拉取请求，通过代码扫描发现与 LLM 相关的安全和合规问题
• 与团队共享结果

以下是它的实际运行效果：

它也可以在命令行中使用：

它还可以生成安全漏洞报告：

为什么选择 Promptfoo？

• 开发者优先：快速，具备实时重载和缓存等功能
• 隐私保护：LLM 评估 100% 在本地运行——你的提示词永远不会离开你的机器
• 灵活：适用于任何 LLM API 或编程语言
• 久经考验：为生产环境中服务超过 1000 万用户的 LLM 应用提供支持
• 数据驱动：基于指标而非直觉做出决策
• 开源：MIT 许可证，拥有活跃的社区

了解更多

• 快速入门
• 完整文档
• 红队测试指南
• CLI 用法
• Node.js 包
• 支持的模型
• 代码扫描指南

贡献

我们欢迎贡献！查看我们的贡献指南开始参与。

加入我们的 Discord 社区获取帮助和讨论。