
Scanne les diffs de code avec contexte pour construire un graphe d'impact et utilise des LLM pour détecter les vulnérabilités, prenant en charge les scans multi-dépôts et le contrôle CI avec sortie SARIF.
Les tests unitaires de zairo vérifient qu'il construit les bons prompts et traite correctement les réponses. Ils ne peuvent pas vous dire si un modèle, confronté à ces prompts, trouve une vulnérabilité introduite par un changement, ou en signale une qui n'existe pas. C'est l'objet de ce répertoire : un ensemble de changements étiquetés, et un exécuteur qui scanne chacun d'eux plusieurs fois avec un vrai modèle et évalue les résultats.
pip install -e . # from the repo root
export GEMINI_API_KEY=... # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json
Chaque cas coûte environ une requête par symbole modifié par répétition. Les 16 cas ici modifient de 1 à 4 symboles chacun, donc une exécution de 3 répétitions génère environ 100 requêtes. Chaque exécution interroge le modèle à nouveau : pas de cache, pas de notes de préchauffage.
Chaque répertoire dans cases/ correspond à un changement : before/ et after/ contiennent l'intégralité du (petit) dépôt de chaque côté, et case.json l'étiquette :
{
"description": "What the change does, and why it's vulnerable or not.",
"vulnerable": true,
"symbol": "search_users",
"cwe": "CWE-89",
"source": "synthetic"
}
Un cas vulnérable nomme le symbol modifié dans lequel se trouve la vulnérabilité et son cwe, plus, dans also_cwe, tous les autres qui la décrivent également : un en-tête usurpable est CWE-290, mais CWE-287 et CWE-306 ne sont pas faux. Un cas propre n'en a aucun, et doit être propre sans contestation. Un changement sûr à high mais comportant une constatation medium équitable mesure le bruit, pas les fausses alertes. Le runner commit before, puis after, dans un dépôt neuf et scanne HEAD~1..HEAD, comme le ferait un scan de PR.
Il y a 9 cas vulnérables (injection SQL, traversée de chemin, contrôle de tenant supprimé, chargement YAML non sécurisé, injection de commande, redirection ouverte, SSRF, vérification TLS désactivée et contournement d'authentification via un en-tête usurpable) et 7 cas propres. Plusieurs cas propres sont conçus pour paraître risqués : une injection SQL en cours de correction, un ORDER BY formaté à partir d'une liste blanche, un appel subprocess avec une liste d'arguments fixe.
Ces fichiers sont du code d'exemple délibérément vulnérable. Ils ne sont jamais empaquetés ni exécutés, mais un scanner pointé sur ce dépôt les trouvera.
Une constatation bloque lorsque --fail-on empêcherait la PR à cause d'elle : marquée introduced_by_change: true, à ou au-dessus de --fail-on (par défaut high). Chaque exécution reçoit un verdict :
symbol du cas), l'a trouvé sous le seuil (une constatation introduite par le changement à cet endroit, à une sévérité inférieure), ou l'a manqué.Une exécution n'est laissée sans score que lorsqu'elle ne dit rien dans un sens ou dans l'autre : le symbole qui compte n'a pas pu être évalué, ou un cas propre n'a pas été signalé mais un symbole a échoué. Une constatation bloquante compte quel que soit ce qui a échoué par ailleurs, puisque le seuil aurait quand même bloqué la PR à cause d'elle. Le runner affiche les raisons les plus courantes d'échec des symboles, et --out les conserve par exécution. Un modèle de raisonnement qui dépense tout --max-tokens à réfléchir ne répond jamais, donc augmentez-le (à 16384, par exemple) si c'est la raison indiquée.
name et sort dans la même requête).--out écrit les constatations de chaque exécution (symbole, titre, sévérité, CWE, ligne, si le changement l'a introduite et si elle bloque), les symboles qui ont échoué et pourquoi, les décomptes de tokens, les coûts et les durées, afin que deux exécutions, par exemple deux modèles ou avant et après un changement de prompt, puissent être comparées cas par cas.
Seize petits cas synthétiques constituent un test de fumée pour la qualité de détection, pas un benchmark. Chacun est un changement unique avec un seul bug intentionnel, dans du code bien plus simple qu'un vrai service, et les cas vulnérables sont le genre de bug qu'un relecteur espérerait attraper. De vrais commits introduisant des vulnérabilités (l'inverse d'un correctif de CVE, par exemple) sont les meilleurs cas à ajouter. Placez les fichiers qu'il a touchés, avant et après, dans un nouveau répertoire, et étiquetez-le. Gardez-les assez petits pour que le changement soit l'essentiel.
tests/test_evals.py vérifie chaque cas sans modèle : qu'il se construit,
que zairo analyse chaque fichier qu'il modifie, et que le symbol d'un cas
vulnérable figure parmi les symboles touchés par la modification. Sinon, aucun scan
ne pourrait jamais être évalué comme l'ayant détecté.