Promptfoo: evaluaciones de LLM y red teaming

promptfoo es una CLI y biblioteca para evaluar y hacer red teaming de aplicaciones basadas en LLM. Deja de usar prueba y error... empieza a desplegar agentes seguros y confiables

Sitio web · Primeros pasos · Red Teaming · Documentación · Discord

Promptfoo ahora forma parte de OpenAI. Promptfoo sigue siendo de código abierto y con licencia MIT. Lee la actualización de la compañía.

Inicio rápido

npm install -g promptfoo
promptfoo init --example getting-started

También disponible mediante brew install promptfoo y pip install promptfoo. O usa npx promptfoo@latest para ejecutar cualquier comando sin instalarlo.

La mayoría de los proveedores de LLM requieren una clave de API. Configura la tuya como variable de entorno:

export OPENAI_API_KEY=sk-abc123

Ejecuta una evaluación y visualiza los resultados:

cd getting-started
promptfoo eval
promptfoo view

¡Consulta Primeros pasos (evaluaciones) o Red Teaming (escaneo de vulnerabilidades) para más información!

¿Qué puedes hacer con Promptfoo?

• Probar tus prompts y modelos con evaluaciones automatizadas
• Proteger tus aplicaciones LLM con red teaming y escaneo de vulnerabilidades
• Comparar modelos en paralelo (OpenAI, Anthropic, Azure, Bedrock, Ollama y más)
• Automatizar comprobaciones en CI/CD
• Revisar pull requests en busca de problemas de seguridad y cumplimiento relacionados con LLM con escaneo de código
• Compartir resultados con tu equipo

Así se ve en acción:

También funciona en la línea de comandos:

También puede generar informes de vulnerabilidades de seguridad:

¿Por qué Promptfoo?

• Enfocado en el desarrollador: Rápido, con funciones como recarga en vivo y caché
• Privado: Las evaluaciones de LLM se ejecutan 100% localmente - tus prompts nunca salen de tu máquina
• Flexible: Funciona con cualquier API de LLM o lenguaje de programación
• Probado en batalla: Impulsa aplicaciones LLM que sirven a más de 10M de usuarios en producción
• Basado en datos: Toma decisiones basadas en métricas, no en intuiciones
• Código abierto: Licencia MIT, con una comunidad activa

Más información

• Primeros pasos
• Documentación completa
• Guía de Red Teaming
• Uso de la CLI
• Paquete de Node.js
• Modelos compatibles
• Guía de escaneo de código

Contribuir

¡Aceptamos contribuciones! Consulta nuestra guía de contribución para empezar.

Únete a nuestra comunidad de Discord para obtener ayuda y participar en debates.