Promptfoo: evaluaciones de LLM y red teaming

promptfoo es una CLI y biblioteca para evaluar y hacer red teaming de aplicaciones LLM. Abandona el enfoque de prueba y error: comienza a lanzar aplicaciones de IA seguras y confiables.

Sitio web · Primeros pasos · Red Teaming · Documentación · Discord

Promptfoo ahora es parte de OpenAI. Promptfoo sigue siendo de código abierto y con licencia MIT. Lee la actualización de la empresa.

Inicio rápido

Requiere Node.js ^20.20.0 o >=22.22.0 para uso con npm y npx. El soporte de Node.js 20 finaliza el 30 de julio de 2026 a las 00:00 UTC; actualiza a Node.js 24 LTS antes de actualizar promptfoo en o después de esa fecha.

npm install -g promptfoo
promptfoo init --example getting-started

También disponible mediante brew install promptfoo y pip install promptfoo. También puedes usar npx promptfoo@latest para ejecutar cualquier comando sin instalar.

La mayoría de los proveedores de LLM requieren una clave API. Configura la tuya como una variable de entorno:

export OPENAI_API_KEY=sk-abc123

Una vez que estés en el directorio de ejemplo, ejecuta una evaluación y ve los resultados:

cd getting-started
promptfoo eval
promptfoo view

Consulta Primeros pasos (evaluaciones) o Red Teaming (escaneo de vulnerabilidades) para más información.

¿Qué puedes hacer con Promptfoo?

• Prueba tus prompts y modelos con evaluaciones automatizadas
• Asegura tus aplicaciones LLM con red teaming y escaneo de vulnerabilidades
• Compara modelos uno al lado del otro (OpenAI, Anthropic, Azure, Bedrock, Ollama y más)
• Automatiza comprobaciones en CI/CD
• Revisa solicitudes de extracción para problemas de seguridad y cumplimiento relacionados con LLM con escaneo de código
• Comparte resultados con tu equipo

Así es como se ve en acción:

También funciona en la línea de comandos:

También puede generar informes de vulnerabilidades de seguridad:

¿Por qué Promptfoo?

• Prioriza al desarrollador: Rápido, con funciones como recarga en vivo y caché
• Privado: Las evaluaciones de LLM se ejecutan 100% localmente - tus prompts nunca salen de tu máquina
• Flexible: Funciona con cualquier API de LLM o lenguaje de programación
• Probado en batalla: Impulsa aplicaciones LLM que atienden a más de 10 millones de usuarios en producción
• Basado en datos: Toma decisiones basadas en métricas, no en corazonadas
• Código abierto: Con licencia MIT, con una comunidad activa

Más información

• Primeros pasos
• Documentación completa
• Guía de Red Teaming
• Uso de la CLI
• Paquete Node.js
• Modelos compatibles
• Guía de escaneo de código

Contribuciones

¡Aceptamos contribuciones! Consulta nuestra guía de contribución para comenzar.

Únete a nuestra comunidad de Discord para obtener ayuda y debatir.