
Escanea diffs de código con contexto para construir un grafo de impacto y utiliza LLMs para encontrar vulnerabilidades, con soporte para escaneos multi-repositorio y control de CI con salida SARIF.
Las pruebas unitarias de zairo verifican que construye las indicaciones correctas y maneja las respuestas correctamente. No pueden decirte si un modelo, dadas esas indicaciones, encuentra una vulnerabilidad que introdujo un cambio, o señala una que no está ahí. Para eso sirve este directorio: un conjunto de cambios etiquetados y un ejecutor que escanea cada uno varias veces con un modelo real y puntúa los resultados.
pip install -e . # from the repo root
export GEMINI_API_KEY=... # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json
Cada caso cuesta aproximadamente una solicitud por símbolo modificado por repetición. Los 16 casos aquí cambian de 1 a 4 símbolos cada uno, por lo que una ejecución de 3 repeticiones genera alrededor de 100 solicitudes. Cada ejecución consulta al modelo desde cero: sin caché, sin notas de calentamiento.
Cada directorio en cases/ es un cambio: before/ y after/
contienen el repositorio completo (pequeño) en cada lado, y case.json lo etiqueta:
{
"description": "What the change does, and why it's vulnerable or not.",
"vulnerable": true,
"symbol": "search_users",
"cwe": "CWE-89",
"source": "synthetic"
}
Un caso vulnerable nombra el symbol modificado en el que está la vulnerabilidad y su cwe, además, en also_cwe, cualquier otro que también la describa: una cabecera suplantable es CWE-290, pero CWE-287 y CWE-306 no son incorrectos. Un caso limpio no tiene ninguno de estos, y debería ser limpio sin discusión. Un cambio que es seguro en high pero tiene un hallazgo razonable en medium mide ruido, no falsas alarmas. El runner hace commit de before, luego de after, en un repositorio nuevo y escanea HEAD~1..HEAD, como lo haría un escaneo de PR.
Hay 9 casos vulnerables (inyección SQL, path traversal, una comprobación de tenant eliminada, carga insegura de YAML, inyección de comandos, una redirección abierta, SSRF, verificación de TLS deshabilitada y un bypass de autenticación mediante una cabecera suplantable) y 7 limpios. Varios de los limpios están construidos para parecer riesgosos: una inyección SQL que se está corrigiendo, un ORDER BY formateado a partir de una lista de permitidos, una llamada a subprocess con una lista de argumentos fija.
Estos archivos son código de muestra deliberadamente vulnerable. Nunca se empaquetan ni se ejecutan, pero un escáner apuntado a este repositorio los encontrará.
Un hallazgo bloquea cuando --fail-on impediría el PR por él: marcado con introduced_by_change: true, en o por encima de --fail-on (por defecto high). Cada ejecución recibe un veredicto:
symbol del caso), lo encontró por debajo del umbral (un hallazgo que el cambio introdujo allí, con una severidad menor), o lo pasó por alto.Una ejecución queda sin puntuar solo cuando no dice nada en ningún sentido: el símbolo que importa no pudo evaluarse, o un caso limpio no fue marcado pero algún símbolo falló. Un hallazgo bloqueante cuenta sin importar qué más falló, ya que el umbral igualmente habría bloqueado el PR por él. El runner imprime las razones más comunes por las que fallaron los símbolos, y --out las conserva por ejecución. Un modelo de razonamiento que consume todo --max-tokens pensando nunca responde, así que auméntalo (a 16384, por ejemplo) si esa es la razón indicada.
name y sort en la misma consulta).--out escribe los hallazgos de cada ejecución (símbolo, título, severidad, CWE, línea, si el cambio lo introdujo y si bloquea), los símbolos que fallaron y por qué, recuentos de tokens, costes y tiempos, de modo que dos ejecuciones, como dos modelos o antes y después de un cambio de prompt, puedan compararse caso por caso.
Dieciséis casos pequeños y sintéticos son una prueba de humo para la calidad de detección, no un benchmark. Cada uno es un único cambio con un único bug previsto, en código mucho más simple que un servicio real, y los vulnerables son el tipo de bug que un revisor esperaría detectar. Los commits reales que introducen vulnerabilidades (lo inverso de una corrección de CVE, por ejemplo) son los mejores casos para añadir. Coloca los archivos que tocó, antes y después, en un directorio nuevo, y etiquétalo. Mantenlos lo bastante pequeños como para que el cambio sea lo importante.
tests/test_evals.py comprueba cada caso sin un modelo: que se construye,
que zairo analiza cada archivo que modifica, y que el symbol de un caso
vulnerable está entre los símbolos que tocó el cambio. De lo contrario, ningún escaneo
podría puntuarse como que lo detecta.