Promptfoo: valutazioni LLM e red teaming

promptfoo è una CLI e una libreria per valutare e fare red-teaming di app LLM. Abbandona l'approccio per tentativi ed errori - inizia a distribuire app AI sicure e affidabili.

Sito web · Per iniziare · Red Teaming · Documentazione · Discord

Promptfoo ora fa parte di OpenAI. Promptfoo rimane open source e con licenza MIT. Leggi l'aggiornamento aziendale.

Per iniziare

Richiede Node.js ^20.20.0 o >=22.22.0 per l'uso con npm e npx. Il supporto per Node.js 20 termina il 30 luglio 2026 alle 00:00 UTC; aggiorna a Node.js 24 LTS prima di aggiornare promptfoo alla scadenza o dopo.

npm install -g promptfoo
promptfoo init --example getting-started

Disponibile anche tramite brew install promptfoo e pip install promptfoo. Puoi anche usare npx promptfoo@latest per eseguire qualsiasi comando senza installare.

La maggior parte dei provider LLM richiede una chiave API. Imposta la tua come variabile d'ambiente:

export OPENAI_API_KEY=sk-abc123

Una volta nella directory di esempio, esegui una valutazione e visualizza i risultati:

cd getting-started
promptfoo eval
promptfoo view

Vedi Per iniziare (valutazioni) o Red Teaming (scansione delle vulnerabilità) per maggiori informazioni.

Cosa puoi fare con Promptfoo?

• Testa i tuoi prompt e modelli con valutazioni automatizzate
• Proteggi le tue app LLM con red teaming e scansione delle vulnerabilità
• Confronta i modelli fianco a fianco (OpenAI, Anthropic, Azure, Bedrock, Ollama e altri)
• Automatizza i controlli in CI/CD
• Revisiona le pull request per problemi di sicurezza e conformità legati alle LLM con la scansione del codice
• Condividi i risultati con il tuo team

Ecco come appare in azione:

Funziona anche da riga di comando:

Può anche generare report di vulnerabilità di sicurezza:

Perché Promptfoo?

• Priorità allo sviluppatore: Veloce, con funzionalità come ricarica live e caching
• Privato: Le valutazioni LLM vengono eseguite al 100% in locale - i tuoi prompt non lasciano mai la tua macchina
• Flessibile: Funziona con qualsiasi API LLM o linguaggio di programmazione
• Collaudato sul campo: Alimenta app LLM che servono oltre 10 milioni di utenti in produzione
• Basato sui dati: Prendi decisioni basate su metriche, non sull'intuito
• Open source: Con licenza MIT, con una community attiva

Per saperne di più

• Per iniziare
• Documentazione completa
• Guida al Red Teaming
• Utilizzo della CLI
• Pacchetto Node.js
• Modelli supportati
• Guida alla scansione del codice

Contribuire

Accogliamo con favore i contributi! Dai un'occhiata alla nostra guida per contribuire per iniziare.

Unisciti alla nostra community su Discord per aiuto e discussioni.