Promptfoo: LLM-Evaluierungen & Red Teaming

promptfoo ist eine CLI und Bibliothek zum Evaluieren und Red-Teaming von LLM-basierten Apps. Schluss mit Versuch und Irrtum... fangen Sie an, sichere, zuverlässige Agenten auszuliefern

Website · Erste Schritte · Red Teaming · Dokumentation · Discord

Promptfoo ist jetzt Teil von OpenAI. Promptfoo bleibt Open Source und MIT-lizenziert. Lesen Sie das Unternehmens-Update.

Schnellstart

npm install -g promptfoo
promptfoo init --example getting-started

Auch verfügbar über brew install promptfoo und pip install promptfoo. Oder verwenden Sie npx promptfoo@latest, um jeden Befehl ohne Installation auszuführen.

Die meisten LLM-Anbieter erfordern einen API-Schlüssel. Legen Sie Ihren als Umgebungsvariable fest:

export OPENAI_API_KEY=sk-abc123

Führen Sie eine Evaluierung aus und sehen Sie sich die Ergebnisse an:

cd getting-started
promptfoo eval
promptfoo view

Siehe Erste Schritte (Evaluierungen) oder Red Teaming (Schwachstellen-Scanning) für mehr!

Was können Sie mit Promptfoo tun?

• Testen Sie Ihre Prompts und Modelle mit automatisierten Evaluierungen
• Sichern Sie Ihre LLM-Apps mit Red Teaming und Schwachstellen-Scanning
• Vergleichen Sie Modelle Seite an Seite (OpenAI, Anthropic, Azure, Bedrock, Ollama und mehr)
• Automatisieren Sie Prüfungen in CI/CD
• Überprüfen Sie Pull Requests auf LLM-bezogene Sicherheits- und Compliance-Probleme mit Code-Scanning
• Teilen Sie Ergebnisse mit Ihrem Team

So sieht es in Aktion aus:

Es funktioniert auch auf der Kommandozeile:

Es kann auch Sicherheitsschwachstellen-Berichte generieren:

Warum Promptfoo?

• Developer-first: Schnell, mit Funktionen wie Live-Reload und Caching
• Privat: LLM-Evaluierungen laufen zu 100 % lokal - Ihre Prompts verlassen niemals Ihren Rechner
• Flexibel: Funktioniert mit jeder LLM-API oder Programmiersprache
• Kampferprobt: Treibt LLM-Apps an, die über 10 Mio. Nutzer in der Produktion bedienen
• Datengetrieben: Treffen Sie Entscheidungen auf Basis von Metriken, nicht aus dem Bauchgefühl
• Open Source: MIT-lizenziert, mit einer aktiven Community

Mehr erfahren

• Erste Schritte
• Vollständige Dokumentation
• Red-Teaming-Leitfaden
• CLI-Nutzung
• Node.js-Paket
• Unterstützte Modelle
• Code-Scanning-Leitfaden

Mitwirken

Wir freuen uns über Beiträge! Schauen Sie sich unseren Beitragsleitfaden an, um loszulegen.

Treten Sie unserer Discord-Community für Hilfe und Diskussionen bei.