Promptfoo: LLM-Evaluierungen & Red Teaming

promptfoo ist ein CLI und eine Bibliothek zur Evaluierung und zum Red Teaming von LLM-Apps. Beenden Sie den Trial-and-Error-Ansatz – beginnen Sie, sichere und zuverlässige KI-Apps auszuliefern.

Webseite · Erste Schritte · Red Teaming · Dokumentation · Discord

Promptfoo ist jetzt Teil von OpenAI. Promptfoo bleibt Open Source und unter MIT-Lizenz. Lesen Sie das Unternehmensupdate.

Schnellstart

Erfordert Node.js ^20.20.0 oder >=22.22.0 für die Verwendung von npm und npx. Der Node.js 20-Support endet am 30. Juli 2026 um 00:00 UTC; aktualisieren Sie auf Node.js 24 LTS, bevor Sie promptfoo am oder nach diesem Datum aktualisieren.

npm install -g promptfoo
promptfoo init --example getting-started

Auch verfügbar über brew install promptfoo und pip install promptfoo. Sie können auch npx promptfoo@latest verwenden, um jeden Befehl ohne Installation auszuführen.

Die meisten LLM-Anbieter benötigen einen API-Schlüssel. Setzen Sie Ihren als Umgebungsvariable:

export OPENAI_API_KEY=sk-abc123

Sobald Sie sich im Beispielverzeichnis befinden, führen Sie einen Eval aus und zeigen Sie die Ergebnisse an:

cd getting-started
promptfoo eval
promptfoo view

Weitere Informationen finden Sie unter Erste Schritte (Evaluierungen) oder Red Teaming (Sicherheitsüberprüfungen).

Was können Sie mit Promptfoo tun?

• Testen Sie Ihre Prompts und Modelle mit automatisierten Evaluierungen
• Sichern Sie Ihre LLM-Apps mit Red Teaming und Sicherheitsüberprüfungen
• Vergleichen Sie Modelle nebeneinander (OpenAI, Anthropic, Azure, Bedrock, Ollama und weitere)
• Automatisieren Sie Prüfungen in CI/CD
• Überprüfen Sie Pull Requests auf LLM-bezogene Sicherheits- und Compliance-Probleme mit Code-Scanning
• Teilen Sie Ergebnisse mit Ihrem Team

So sieht es in Aktion aus:

Es funktioniert auch über die Kommandozeile:

Es kann auch Sicherheitsberichte über Schwachstellen erstellen:

Warum Promptfoo?

• Entwickler-zentriert: Schnell, mit Funktionen wie Live-Reload und Caching
• Privat: LLM-Evaluierungen laufen zu 100% lokal – Ihre Prompts verlassen nie Ihren Rechner
• Flexibel: Funktioniert mit jeder LLM-API oder Programmiersprache
• Erprobt: Betreibt LLM-Apps, die in der Produktion über 10 Millionen Nutzer bedienen
• Datengetrieben: Treffen Sie Entscheidungen auf Basis von Metriken, nicht dem Bauchgefühl
• Open Source: MIT-lizenziert, mit einer aktiven Community

Weitere Informationen

• Erste Schritte
• Vollständige Dokumentation
• Red Teaming-Anleitung
• CLI-Nutzung
• Node.js-Paket
• Unterstützte Modelle
• Code-Scanning-Anleitung

Mitwirken

Wir freuen uns über Beiträge! Schauen Sie sich unseren Mitwirkungsleitfaden an, um loszulegen.

Treten Sie unserer Discord-Community bei, um Hilfe und Diskussionen zu erhalten.