
Scaneia diffs de código com contexto para construir um grafo de impacto e usa LLMs para encontrar vulnerabilidades, suportando varreduras multi-repositório e gating de CI com saída SARIF.
Os testes unitários do zairo verificam se ele constrói os prompts corretos e trata as respostas corretamente. Eles não conseguem dizer se um modelo, recebendo esses prompts, encontra uma vulnerabilidade introduzida por uma mudança, ou sinaliza uma que não existe. É para isso que serve este diretório: um conjunto de mudanças rotuladas, e um runner que escaneia cada uma várias vezes com um modelo real e pontua os resultados.
pip install -e . # from the repo root
export GEMINI_API_KEY=... # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json
Cada caso custa aproximadamente uma requisição por símbolo alterado por repetição. Os 16 casos aqui alteram de 1 a 4 símbolos cada, então uma execução de 3 repetições faz cerca de 100 requisições. Cada execução consulta o modelo do zero: sem cache, sem notas de aquecimento.
Cada diretório em cases/ é uma alteração: before/ e after/
contêm o repositório (pequeno) inteiro em cada lado, e case.json o rotula:
{
"description": "What the change does, and why it's vulnerable or not.",
"vulnerable": true,
"symbol": "search_users",
"cwe": "CWE-89",
"source": "synthetic"
}
Um caso vulnerável nomeia o symbol alterado em que a vulnerabilidade está e
seu cwe, além, em also_cwe, quaisquer outros que também a descrevam: um
cabeçalho falsificável é CWE-290, mas CWE-287 e CWE-306 não estão errados. Um
caso limpo não tem nenhum destes, e deve ser limpo sem discussão. Uma alteração
que é segura em high mas tem um achado medium razoável mede ruído,
não falsos alarmes. O executor faz commit de before, depois
after, em um repositório novo e escaneia HEAD~1..HEAD, como faria um scan de PR.
Há 9 casos vulneráveis (injeção de SQL, path traversal, uma verificação de
tenant removida, carregamento inseguro de YAML, injeção de comando, um open redirect,
SSRF, verificação de TLS desabilitada e um bypass de autenticação por meio de um cabeçalho
falsificável) e 7 limpos. Vários limpos são construídos para parecer arriscados: uma
injeção de SQL sendo corrigida, um ORDER BY formatado a partir de uma allowlist,
uma chamada de subprocess com uma lista de argumentos fixa.
Estes arquivos são código de exemplo deliberadamente vulnerável. Eles nunca são empacotados ou executados, mas um scanner apontado para este repositório os encontrará.
Um achado bloqueia quando --fail-on impediria o PR por causa dele: marcado
introduced_by_change: true, no nível de --fail-on ou acima (padrão high).
Cada execução recebe um veredito:
symbol do caso), o encontrou abaixo do limite (um achado que a alteração
introduziu ali, em uma severidade menor), ou o perdeu.Uma execução fica sem pontuação apenas quando não diz nada em nenhum dos sentidos: o símbolo
que importa não pôde ser avaliado, ou um caso limpo não foi sinalizado mas algum
símbolo falhou. Um achado bloqueante conta independentemente do que mais falhou, já que o
limite ainda teria bloqueado o PR por causa dele. O executor imprime os motivos mais
comuns de falha dos símbolos, e --out os mantém por execução. Um modelo de raciocínio
que gasta todo o --max-tokens pensando nunca responde, então aumente-o
(para 16384, por exemplo) se esse for o motivo informado.
name e sort na mesma consulta).--out grava os achados de cada execução (símbolo, título, severidade, CWE, linha,
se a alteração o introduziu e se ele bloqueia), os símbolos que
falharam e por quê, contagens de tokens, custos e tempos, para que duas execuções, como dois modelos ou
antes e depois de uma mudança de prompt, possam ser comparadas caso a caso.
Dezesseis casos pequenos e sintéticos são um teste rápido de qualidade de detecção, não um benchmark. Cada um é uma única alteração com um único bug pretendido, em código muito mais simples que um serviço real, e os vulneráveis são o tipo de bug que um revisor esperaria capturar. Commits reais que introduzem vulnerabilidades (o inverso de uma correção de CVE, digamos) são os melhores casos a adicionar. Coloque os arquivos que ele tocou, antes e depois, em um novo diretório, e rotule-o. Mantenha-os pequenos o suficiente para que a alteração seja o ponto central.
tests/test_evals.py verifica cada caso sem um modelo: que ele compila,
que o zairo analisa cada arquivo que altera, e que o symbol de um caso
vulnerável está entre os símbolos que a alteração tocou. Caso contrário, nenhuma varredura
poderia ser pontuada como tendo-o detectado.