promptfoo v0.121.19
プロンプト、エージェント、RAGをテスト。AI向けのレッドチーミング/ペネトレーションテスト/脆弱性スキャン。GPT、Claude、Gemini、DeepSeekなどのパフォーマンスを比較。シンプルな宣言的設定で、コマンドラインおよびCI/CD統合に対応。OpenAIやAnthropicが使用しています。
Promptfoo: LLM 評価とレッドチーミング
promptfoo は、LLM ベースのアプリを評価しレッドチーミングするための CLI およびライブラリです。試行錯誤はやめて…安全で信頼性の高いエージェントを出荷しましょう
ウェブサイト · はじめに · レッドチーミング · ドキュメント · Discord
Promptfoo は現在 OpenAI の一部となっています。Promptfoo はオープンソースかつ MIT ライセンスのままです。企業アップデートをお読みください。
クイックスタート
npm install -g promptfoo
promptfoo init --example getting-started
brew install promptfoo および pip install promptfoo でも利用できます。または、npx promptfoo@latest を使用して、インストールせずに任意のコマンドを実行できます。
ほとんどの LLM プロバイダーは API キーを必要とします。ご自身のキーを環境変数として設定してください:
export OPENAI_API_KEY=sk-abc123
評価を実行して結果を表示します:
cd getting-started
promptfoo eval
promptfoo view
詳細については、Getting Started（評価）または Red Teaming（脆弱性スキャン）をご覧ください！
Promptfoo でできること
- 自動評価によるプロンプトとモデルのテスト
- レッドチーミングと脆弱性スキャンによるLLM アプリのセキュリティ保護
- モデルの比較を並べて実行（OpenAI、Anthropic、Azure、Bedrock、Ollama、その他）
- CI/CD でのチェックの自動化
- コードスキャンによる LLM 関連のセキュリティおよびコンプライアンス問題についてのプルリクエストのレビュー
- チームとの結果の共有
実際の動作は次のとおりです：
コマンドラインでも動作します：
セキュリティ脆弱性レポートを生成することもできます：
Promptfoo を選ぶ理由
- 開発者ファースト：ライブリロードやキャッシュなどの機能を備え、高速に動作
- プライベート：LLM 評価は 100% ローカルで実行され、プロンプトがマシンの外に出ることはありません
- 柔軟：あらゆる LLM API やプログラミング言語で動作
- 実績豊富：本番環境で 1,000 万人以上のユーザーにサービスを提供する LLM アプリを支えています
- データドリブン：直感ではなく指標に基づいて意思決定
- オープンソース：MIT ライセンスで、活発なコミュニティあり
さらに詳しく
コントリビューション
コントリビューションを歓迎します！まずはコントリビューションガイドをご覧ください。
ヘルプやディスカッションには Discord コミュニティにご参加ください。