Promptfoo: avaliações de LLM e red teaming

promptfoo é uma CLI e biblioteca para avaliar e fazer red-teaming de aplicações baseadas em LLM. Pare de usar tentativa e erro... comece a entregar agentes seguros e confiáveis

Website · Getting Started · Red Teaming · Documentation · Discord

O Promptfoo agora faz parte da OpenAI. O Promptfoo continua open source e licenciado sob MIT. Leia a atualização da empresa.

Início Rápido

npm install -g promptfoo
promptfoo init --example getting-started

Também disponível via brew install promptfoo e pip install promptfoo. Ou use npx promptfoo@latest para executar qualquer comando sem instalar.

A maioria dos provedores de LLM exige uma chave de API. Defina a sua como uma variável de ambiente:

export OPENAI_API_KEY=sk-abc123

Execute uma avaliação e visualize os resultados:

cd getting-started
promptfoo eval
promptfoo view

Consulte Getting Started (avaliações) ou Red Teaming (varredura de vulnerabilidades) para saber mais!

O que você pode fazer com o Promptfoo?

• Teste seus prompts e modelos com avaliações automatizadas
• Proteja suas aplicações de LLM com red teaming e varredura de vulnerabilidades
• Compare modelos lado a lado (OpenAI, Anthropic, Azure, Bedrock, Ollama e mais)
• Automatize verificações em CI/CD
• Revise pull requests em busca de questões de segurança e conformidade relacionadas a LLM com code scanning
• Compartilhe resultados com sua equipe

Veja como isso funciona na prática:

Também funciona na linha de comando:

Também pode gerar relatórios de vulnerabilidades de segurança:

Por que o Promptfoo?

• Focado no desenvolvedor: Rápido, com recursos como live reload e cache
• Privado: As avaliações de LLM são executadas 100% localmente - seus prompts nunca saem da sua máquina
• Flexível: Funciona com qualquer API de LLM ou linguagem de programação
• Testado em batalha: Impulsiona aplicações de LLM que atendem mais de 10 milhões de usuários em produção
• Orientado por dados: Tome decisões com base em métricas, não em intuição
• Open source: Licenciado sob MIT, com uma comunidade ativa

Saiba Mais

• Getting Started
• Full Documentation
• Red Teaming Guide
• CLI Usage
• Node.js Package
• Supported Models
• Code Scanning Guide

Contribuindo

Aceitamos contribuições! Confira nosso guia de contribuição para começar.

Junte-se à nossa comunidade no Discord para obter ajuda e participar de discussões.