Promptfoo: avaliações de LLM e red teaming

promptfoo é uma CLI e biblioteca para avaliar e fazer red teaming de aplicações LLM. Pare com a abordagem de tentativa e erro - comece a lançar aplicações de IA seguras e confiáveis.

Site · Começando · Red Teaming · Documentação · Discord

Promptfoo agora faz parte da OpenAI. Promptfoo continua open source e licenciado MIT. Leia a atualização da empresa.

Início Rápido

Requer Node.js ^20.20.0 ou >=22.22.0 para uso de npm e npx. O suporte ao Node.js 20 termina em 30 de julho de 2026 às 00:00 UTC; faça upgrade para Node.js 24 LTS antes de atualizar o promptfoo no ou após o limite.

npm install -g promptfoo
promptfoo init --example getting-started

Também disponível via brew install promptfoo e pip install promptfoo. Você também pode usar npx promptfoo@latest para executar qualquer comando sem instalar.

A maioria dos provedores de LLM requer uma chave de API. Defina a sua como uma variável de ambiente:

export OPENAI_API_KEY=sk-abc123

Depois de estar no diretório de exemplo, execute uma avaliação e veja os resultados:

cd getting-started
promptfoo eval
promptfoo view

Veja Começando (avaliações) ou Red Teaming (varredura de vulnerabilidades) para mais informações.

O que você pode fazer com o Promptfoo?

• Teste seus prompts e modelos com avaliações automatizadas
• Proteja suas aplicações LLM com red teaming e varredura de vulnerabilidades
• Compare modelos lado a lado (OpenAI, Anthropic, Azure, Bedrock, Ollama e mais)
• Automatize verificações em CI/CD
• Revise pull requests para questões de segurança e conformidade relacionadas a LLM com code scanning
• Compartilhe resultados com sua equipe

Veja como funciona na prática:

Funciona também na linha de comando:

Também pode gerar relatórios de vulnerabilidades de segurança:

Por que Promptfoo?

• Prioriza desenvolvedores: Rápido, com recursos como recarga ao vivo e cache
• Privado: Avaliações de LLM rodam 100% localmente - seus prompts nunca saem da sua máquina
• Flexível: Funciona com qualquer API de LLM ou linguagem de programação
• Testado em batalha: Alimenta aplicações LLM atendendo 10M+ usuários em produção
• Baseado em dados: Tome decisões baseadas em métricas, não em intuição
• Open source: Licenciado MIT, com uma comunidade ativa

Saiba Mais

• Começando
• Documentação Completa
• Guia de Red Teaming
• Uso da CLI
• Pacote Node.js
• Modelos Suportados
• Guia de Code Scanning

Contribuindo

Aceitamos contribuições! Confira nosso guia de contribuição para começar.

Junte-se à nossa comunidade no Discord para ajuda e discussão.