Promptfoo: valutazioni LLM e red teaming

promptfoo è una CLI e una libreria per valutare e fare red-teaming di app basate su LLM. Smetti di procedere per tentativi ed errori... inizia a distribuire agenti sicuri e affidabili

Sito web · Guida introduttiva · Red Teaming · Documentazione · Discord

Promptfoo ora fa parte di OpenAI. Promptfoo rimane open source e con licenza MIT. Leggi l'aggiornamento aziendale.

Avvio rapido

npm install -g promptfoo
promptfoo init --example getting-started

Disponibile anche tramite brew install promptfoo e pip install promptfoo. Oppure usa npx promptfoo@latest per eseguire qualsiasi comando senza installarlo.

La maggior parte dei provider LLM richiede una chiave API. Imposta la tua come variabile d'ambiente:

export OPENAI_API_KEY=sk-abc123

Esegui una valutazione e visualizza i risultati:

cd getting-started
promptfoo eval
promptfoo view

Consulta la Guida introduttiva (valutazioni) o il Red Teaming (scansione delle vulnerabilità) per saperne di più!

Cosa puoi fare con Promptfoo?

• Testare i tuoi prompt e modelli con valutazioni automatizzate
• Mettere in sicurezza le tue app LLM con il red teaming e la scansione delle vulnerabilità
• Confrontare i modelli fianco a fianco (OpenAI, Anthropic, Azure, Bedrock, Ollama e altri)
• Automatizzare i controlli in CI/CD
• Revisionare le pull request per problemi di sicurezza e conformità legati agli LLM con la scansione del codice
• Condividere i risultati con il tuo team

Ecco come appare in azione:

Funziona anche da riga di comando:

Può anche generare report sulle vulnerabilità di sicurezza:

Perché Promptfoo?

• Developer-first: Veloce, con funzionalità come il live reload e la cache
• Privato: Le valutazioni LLM vengono eseguite al 100% in locale - i tuoi prompt non lasciano mai la tua macchina
• Flessibile: Funziona con qualsiasi API LLM o linguaggio di programmazione
• Collaudato: Alimenta app LLM che servono oltre 10 milioni di utenti in produzione
• Basato sui dati: Prendi decisioni in base alle metriche, non all'istinto
• Open source: Con licenza MIT e una community attiva

Scopri di più

• Guida introduttiva
• Documentazione completa
• Guida al Red Teaming
• Utilizzo della CLI
• Pacchetto Node.js
• Modelli supportati
• Guida alla scansione del codice

Contribuire

Accogliamo con piacere i contributi! Dai un'occhiata alla nostra guida ai contributi per iniziare.

Unisciti alla nostra community su Discord per assistenza e discussioni.