Promptfoo: LLM-Evals & Red Teaming

promptfoo ist eine CLI und Bibliothek zum Evaluieren und Red-Teaming von LLM-basierten Apps. Schluss mit Trial-and-Error... liefere jetzt sichere, zuverlässige Agenten aus

Website · Erste Schritte · Red Teaming · Dokumentation · Discord

Promptfoo ist jetzt Teil von OpenAI. Promptfoo bleibt Open Source und MIT-lizenziert. Lies das Unternehmens-Update.

Schnellstart

npm install -g promptfoo
promptfoo init --example getting-started

Auch verfügbar über brew install promptfoo und pip install promptfoo. Oder verwende npx promptfoo@latest, um jeden Befehl ohne Installation auszuführen.

Die meisten LLM-Anbieter erfordern einen API-Schlüssel. Setze deinen als Umgebungsvariable:

export OPENAI_API_KEY=sk-abc123

Führen Sie eine Auswertung aus und zeigen Sie die Ergebnisse an:

cd getting-started
promptfoo eval
promptfoo view

Siehe Erste Schritte (Evals) oder Red Teaming (Schwachstellen-Scanning) für mehr!

Was kann man mit Promptfoo machen?

• Prompts und Modelle testen mit automatisierten Evaluierungen
• LLM-Apps absichern mit Red Teaming und Schwachstellen-Scanning
• Modelle vergleichen Seite an Seite (OpenAI, Anthropic, Azure, Bedrock, Ollama und mehr)
• Prüfungen automatisieren in CI/CD
• Pull Requests prüfen auf LLM-bezogene Sicherheits- und Compliance-Probleme mit Code-Scanning
• Ergebnisse teilen mit Ihrem Team

So sieht es in Aktion aus:

Es funktioniert auch auf der Kommandozeile:

Es kann auch Berichte zu Sicherheitsschwachstellen generieren:

Warum Promptfoo?

• Developer-first: Schnell, mit Funktionen wie Live Reload und Caching
• Privat: LLM-Evals laufen zu 100 % lokal – Ihre Prompts verlassen niemals Ihren Rechner
• Flexibel: Funktioniert mit jeder LLM-API oder Programmiersprache
• Praxisbewährt: Treibt LLM-Apps an, die über 10 Mio. Nutzer in der Produktion bedienen
• Datengetrieben: Entscheidungen auf Basis von Metriken treffen, nicht aus dem Bauch heraus
• Open Source: MIT-lizenziert, mit einer aktiven Community

Mehr erfahren

• Erste Schritte
• Vollständige Dokumentation
• Red-Teaming-Leitfaden
• CLI-Nutzung
• Node.js-Paket
• Unterstützte Modelle
• Code-Scanning-Leitfaden

Mitwirken

Wir freuen uns über Beiträge! Schauen Sie sich unseren Leitfaden zum Mitwirken an, um loszulegen.

Treten Sie unserer Discord-Community bei, um Hilfe und Diskussionen zu erhalten.