Promptfoo: avaliações e red teaming de LLMs

promptfoo é uma CLI e biblioteca para avaliar e fazer red teaming de aplicações baseadas em LLM. Pare de usar tentativa e erro... comece a entregar agentes seguros e confiáveis

Website · Getting Started · Red Teaming · Documentation · Discord

O Promptfoo agora faz parte da OpenAI. O Promptfoo continua open source e licenciado sob MIT. Leia a atualização da empresa.

Início Rápido

npm install -g promptfoo
promptfoo init --example getting-started

Também disponível via brew install promptfoo e pip install promptfoo. Ou use npx promptfoo@latest para executar qualquer comando sem instalar.

A maioria dos provedores de LLM exige uma chave de API. Defina a sua como uma variável de ambiente:

export OPENAI_API_KEY=sk-abc123

Execute uma avaliação e visualize os resultados:

cd getting-started
promptfoo eval
promptfoo view

Consulte Getting Started (evals) ou Red Teaming (varredura de vulnerabilidades) para saber mais!

O que você pode fazer com o Promptfoo?

• Testar seus prompts e modelos com avaliações automatizadas
• Proteger seus aplicativos LLM com red teaming e varredura de vulnerabilidades
• Comparar modelos lado a lado (OpenAI, Anthropic, Azure, Bedrock, Ollama e mais)
• Automatizar verificações em CI/CD
• Revisar pull requests em busca de problemas de segurança e conformidade relacionados a LLM com code scanning
• Compartilhar resultados com sua equipe

Veja como funciona na prática:

Também funciona na linha de comando:

Também pode gerar relatórios de vulnerabilidades de segurança:

Por que o Promptfoo?

• Focado no desenvolvedor: Rápido, com recursos como live reload e cache
• Privado: As avaliações de LLM são executadas 100% localmente - seus prompts nunca saem da sua máquina
• Flexível: Funciona com qualquer API de LLM ou linguagem de programação
• Testado em batalha: Alimenta aplicativos LLM que atendem mais de 10 milhões de usuários em produção
• Orientado por dados: Tome decisões com base em métricas, não em intuição
• Código aberto: Licenciado sob MIT, com uma comunidade ativa

Saiba Mais

• Getting Started
• Documentação Completa
• Guia de Red Teaming
• Uso da CLI
• Pacote Node.js
• Modelos Suportados
• Guia de Code Scanning

Contribuindo

Aceitamos contribuições! Confira nosso guia de contribuição para começar.

Junte-se à nossa comunidade no Discord para obter ajuda e participar de discussões.