Promptfoo：LLM 评估与红队测试

promptfoo 是一个用于评估和对 LLM 应用进行红队测试的命令行工具与库。告别反复试错——开始交付安全、可靠的 AI 应用。

网站 · 入门指南 · 红队测试 · 文档 · Discord

Promptfoo 现已加入 OpenAI。Promptfoo 仍然保持开源并采用 MIT 许可。阅读 公司更新。

快速开始

需要 Node.js ^20.20.0 或 >=22.22.0 才能使用 npm 和 npx。 Node.js 20 的支持将于 2026 年 7 月 30 日 00:00 UTC 结束；请在此截止日期之前升级到 Node.js 24 LTS 再更新 promptfoo。

npm install -g promptfoo
promptfoo init --example getting-started

也可以通过 brew install promptfoo 和 pip install promptfoo 安装。你也可以使用 npx promptfoo@latest 来运行任何命令而无需安装。

大多数 LLM 提供商需要 API 密钥。请将其设置为环境变量：

export OPENAI_API_KEY=sk-abc123

进入示例目录后，运行评估并查看结果：

cd getting-started
promptfoo eval
promptfoo view

更多信息请参阅 入门指南（评估）或 红队测试（漏洞扫描）。

你可以用 Promptfoo 做什么？

• 测试你的提示词和模型，使用 自动化评估
• 保护你的 LLM 应用，通过 红队测试 和漏洞扫描
• 并排比较模型（OpenAI、Anthropic、Azure、Bedrock、Ollama 以及 更多）
• 在 CI/CD 中自动化检查，参考 CI/CD 集成
• 审查拉取请求中的 LLM 相关安全与合规问题，使用 代码扫描
• 与团队分享结果

以下是实际运行效果：

它也适用于命令行：

它还能生成 安全漏洞报告：

为什么选择 Promptfoo？

• 开发者优先：速度快，支持热重载和缓存
• 私密：LLM 评估完全在本地运行——你的提示词永远不会离开你的机器
• 灵活：适用于任何 LLM API 或编程语言
• 久经考验：为生产环境中服务 1000 万以上用户的 LLM 应用提供支持
• 数据驱动：基于指标而非直觉做决策
• 开源：MIT 许可，拥有活跃的社区

了解更多

• 入门指南
• 完整文档
• 红队测试指南
• CLI 用法
• Node.js 包
• 支持的模型
• 代码扫描指南

贡献

欢迎贡献！请查看我们的 贡献指南 开始。

加入我们的 Discord 社区 获取帮助和讨论。