
Scannt Code-Diffs mit Kontext, um einen Auswirkungsgraphen zu erstellen, und nutzt LLMs, um Schwachstellen zu finden. Unterstützt Multi-Repo-Scans und CI-Gating mit SARIF-Ausgabe.
Die Unit-Tests von zairo prüfen, ob die richtigen Prompts erzeugt und Antworten korrekt verarbeitet werden. Sie können jedoch nicht sagen, ob ein Modell mit diesen Prompts eine durch eine Änderung eingeführte Schwachstelle findet oder eine meldet, die gar nicht vorhanden ist. Genau dafür ist dieses Verzeichnis gedacht: eine Sammlung gelabelter Änderungen und ein Runner, der jede davon mehrmals mit einem echten Modell scannt und die Ergebnisse bewertet.
pip install -e . # from the repo root
export GEMINI_API_KEY=... # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json
Jeder Fall kostet ungefähr eine Anfrage pro geändertem Symbol pro Wiederholung. Die 16 Fälle hier ändern jeweils 1 bis 4 Symbole, sodass ein Durchlauf mit 3 Wiederholungen etwa 100 Anfragen erzeugt. Jeder Durchlauf fragt das Modell von Neuem: kein Cache, keine Warm-up-Notizen.
Jedes Verzeichnis in cases/ ist eine Änderung: before/ und after/
enthalten das gesamte (kleine) Repo auf jeder Seite, und case.json kennzeichnet es:
{
"description": "What the change does, and why it's vulnerable or not.",
"vulnerable": true,
"symbol": "search_users",
"cwe": "CWE-89",
"source": "synthetic"
}
Ein verwundbarer Fall benennt das geänderte symbol, in dem die Schwachstelle liegt, und
seine cwe, plus in also_cwe alle weiteren, die sie ebenfalls beschreiben: ein
spoofbarer Header ist CWE-290, aber CWE-287 und CWE-306 sind nicht falsch. Ein sauberer
Fall hat nichts davon und sollte über jeden Zweifel erhaben sauber sein. Eine Änderung,
die bei high sicher ist, aber einen berechtigten medium-Fund enthält, misst Rauschen,
nicht Fehlalarme. Der Runner committet before, dann
after, in ein frisches Repo und scannt HEAD~1..HEAD, wie es ein PR-Scan tun würde.
Es gibt 9 verwundbare Fälle (SQL-Injection, Path Traversal, eine entfernte
Tenant-Prüfung, unsicheres YAML-Laden, Command Injection, ein offenes Redirect,
SSRF, deaktivierte TLS-Verifikation und ein Auth-Bypass über einen spoofbaren
Header) und 7 saubere. Mehrere saubere sind so gebaut, dass sie riskant aussehen: eine
SQL-Injection, die behoben wird, ein ORDER BY, das aus einer Allowlist formatiert wird,
ein subprocess-Aufruf mit fester Argumentliste.
Diese Dateien sind absichtlich verwundbarer Beispielcode. Sie werden nie gepackt oder ausgeführt, aber ein Scanner, der auf dieses Repository gerichtet wird, findet sie.
Ein Fund blockiert (gates), wenn --fail-on den PR deswegen blockieren würde: markiert
mit introduced_by_change: true, auf oder über --fail-on (Standard high).
Jeder Lauf erhält ein Urteil:
symbol des Falls), ihn unterhalb der Schwelle gefunden (ein Fund, den die Änderung
dort eingeführt hat, mit geringerer Schwere) oder ihn verpasst.Ein Lauf bleibt nur dann unbewertet, wenn er sich in keine Richtung äußert: das Symbol,
auf das es ankommt, konnte nicht bewertet werden, oder ein sauberer Fall wurde nicht markiert, aber ein
Symbol schlug fehl. Ein blockierender Fund zählt unabhängig davon, was sonst fehlschlug, da die
Schwelle den PR deswegen trotzdem blockiert hätte. Der Runner gibt die häufigsten Gründe aus, warum
Symbole fehlschlugen, und --out behält sie pro Lauf. Ein Reasoning-
Modell, das sein gesamtes --max-tokens mit Nachdenken verbringt, antwortet nie, also erhöhe
es (etwa auf 16384), wenn das der angegebene Grund ist.
name und sort in dieselbe Query).--out schreibt die Funde jedes Laufs (Symbol, Titel, Schwere, CWE, Zeile,
ob die Änderung ihn eingeführt hat und ob er blockiert), die Symbole, die
fehlschlugen und warum, Token-Zahlen, Kosten und Zeiten, sodass zwei Läufe, etwa zwei Modelle oder
vor und nach einer Prompt-Änderung, Fall für Fall verglichen werden können.
Sechzehn kleine, synthetische Fälle sind ein Smoke-Test für die Erkennungsqualität, kein Benchmark. Jeder ist eine einzelne Änderung mit einem einzigen beabsichtigten Bug, in Code, der weit einfacher ist als ein echter Dienst, und die verwundbaren sind die Art von Bug, die ein Reviewer zu finden hofft. Echte, Schwachstellen einführende Commits (etwa die Umkehrung eines CVE-Fixes) sind die besten Fälle zum Hinzufügen. Lege die Dateien, die er berührt hat, vorher und nachher, in ein neues Verzeichnis und beschrifte es. Halte sie klein genug, dass die Änderung der Punkt ist.
tests/test_evals.py prüft jeden Fall ohne ein Modell: dass er sich bauen lässt,
dass zairo jede Datei parst, die er ändert, und dass das symbol eines
verwundbaren Falls unter den Symbolen ist, die die Änderung berührt hat. Andernfalls
könnte kein Scan jemals als den Fall erkennend bewertet werden.