Promptfoo : évaluations LLM et red teaming

promptfoo est un outil en ligne de commande (CLI) et une bibliothèque pour évaluer et effectuer du red teaming d'applications LLM. Arrêtez l'approche par essais et erreurs - commencez à livrer des applications d'IA sécurisées et fiables.

Site web · Premiers pas · Red teaming · Documentation · Discord

Promptfoo fait désormais partie d'OpenAI. Promptfoo reste open source et sous licence MIT. Lisez la mise à jour de l'entreprise.

Démarrage rapide

Nécessite Node.js ^20.20.0 ou >=22.22.0 pour l'utilisation de npm et npx. Le support de Node.js 20 se termine le 30 juillet 2026 à 00:00 UTC ; mettez à jour vers Node.js 24 LTS avant de mettre à jour promptfoo à cette date ou après.

npm install -g promptfoo
promptfoo init --example getting-started

Également disponible via brew install promptfoo et pip install promptfoo. Vous pouvez aussi utiliser npx promptfoo@latest pour exécuter n'importe quelle commande sans installation.

La plupart des fournisseurs LLM nécessitent une clé API. Définissez la vôtre comme variable d'environnement :

export OPENAI_API_KEY=sk-abc123

Une fois dans le répertoire d'exemple, lancez une évaluation et visualisez les résultats :

cd getting-started
promptfoo eval
promptfoo view

Voir Premiers pas (évaluations) ou Red teaming (scan de vulnérabilités) pour plus d'informations.

Que pouvez-vous faire avec Promptfoo ?

• Testez vos prompts et modèles avec des évaluations automatisées
• Sécurisez vos applications LLM avec le red teaming et le scan de vulnérabilités
• Comparez les modèles côte à côte (OpenAI, Anthropic, Azure, Bedrock, Ollama, et plus)
• Automatisez les vérifications dans l'intégration continue / déploiement continu
• Examinez les pull requests pour les problèmes de sécurité et de conformité liés aux LLM avec le scan de code
• Partagez les résultats avec votre équipe

Voici à quoi cela ressemble en action :

Cela fonctionne aussi en ligne de commande :

Cela peut aussi générer des rapports de vulnérabilités de sécurité :

Pourquoi Promptfoo ?

• Développeur d'abord : Rapide, avec des fonctionnalités comme le rechargement à chaud et le cache
• Privé : Les évaluations LLM s'exécutent 100% localement - vos prompts ne quittent jamais votre machine
• Flexible : Fonctionne avec n'importe quelle API LLM ou langage de programmation
• Éprouvé sur le terrain : Alimente des applications LLM servant plus de 10 millions d'utilisateurs en production
• Basé sur les données : Prenez des décisions basées sur des métriques, pas sur l'intuition
• Open source : Sous licence MIT, avec une communauté active

En savoir plus

• Premiers pas
• Documentation complète
• Guide de red teaming
• Utilisation du CLI
• Paquet Node.js
• Modèles pris en charge
• Guide de scan de code

Contribuer

Nous accueillons les contributions ! Consultez notre guide de contribution pour commencer.

Rejoignez notre communauté Discord pour de l'aide et des discussions.