
Scansiona i diff del codice con contesto per costruire un grafo di impatto e usa gli LLM per trovare vulnerabilità, supportando scansioni multi-repo e gating CI con output SARIF.
Gli unit test di zairo verificano che costruisca i prompt corretti e gestisca correttamente le risposte. Non possono dirti se un modello, dati quei prompt, individua una vulnerabilità introdotta da una modifica, oppure ne segnala una che non c'è. È a questo che serve questa directory: un insieme di modifiche etichettate, e un runner che analizza ciascuna di esse più volte con un modello reale e valuta i risultati.
pip install -e . # from the repo root
export GEMINI_API_KEY=... # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json
Ogni caso costa all'incirca una richiesta per simbolo modificato per ripetizione. I 16 casi qui cambiano da 1 a 4 simboli ciascuno, quindi una serie di 3 ripetizioni genera circa 100 richieste. Ogni esecuzione interroga il modello da zero: nessuna cache, nessuna nota di warm-up.
Ogni directory in cases/ rappresenta una modifica: before/ e after/
contengono l'intero (piccolo) repository su ciascun lato, e case.json lo etichetta:
{
"description": "What the change does, and why it's vulnerable or not.",
"vulnerable": true,
"symbol": "search_users",
"cwe": "CWE-89",
"source": "synthetic"
}
Un caso vulnerabile indica il symbol modificato in cui si trova la vulnerabilità e il suo cwe, più, in also_cwe, eventuali altri che la descrivono altrettanto bene: un header falsificabile è CWE-290, ma CWE-287 e CWE-306 non sono sbagliati. Un caso pulito non ha nessuno di questi e dovrebbe essere pulito senza ombra di dubbio. Una modifica sicura a high ma con un ragionevole rilevamento medium al suo interno misura il rumore, non i falsi allarmi. Il runner esegue il commit di before, poi di after, in un repository nuovo e analizza HEAD~1..HEAD, come farebbe una scansione di una PR.
Ci sono 9 casi vulnerabili (SQL injection, path traversal, un controllo del tenant omesso, caricamento YAML non sicuro, command injection, un open redirect, SSRF, verifica TLS disabilitata e un bypass dell'autenticazione tramite un header falsificabile) e 7 casi puliti. Diversi casi puliti sono costruiti per sembrare rischiosi: una SQL injection che viene corretta, un ORDER BY formattato a partire da una allowlist, una chiamata a subprocess con una lista di argomenti fissa.
Questi file sono codice di esempio deliberatamente vulnerabile. Non vengono mai pacchettizzati né eseguiti, ma uno scanner puntato su questo repository li troverà.
Un rilevamento fa da gate quando --fail-on bloccherebbe la PR su di esso: contrassegnato con introduced_by_change: true, pari o superiore a --fail-on (predefinito high). Ogni esecuzione riceve un verdetto:
symbol del caso), l'ha trovato sotto la soglia (un rilevamento introdotto dalla modifica in quel punto, a una severità inferiore) oppure l'ha mancato.Un'esecuzione resta senza punteggio solo quando non dice nulla in nessuno dei due sensi: il symbol che conta non è stato valutabile, oppure un caso pulito non è stato segnalato ma qualche symbol ha fallito. Un rilevamento che fa da gate conta a prescindere da cos'altro è fallito, poiché il gate avrebbe comunque bloccato la PR su di esso. Il runner stampa i motivi più comuni dei fallimenti dei symbol, e --out li conserva per ogni esecuzione. Un modello di ragionamento che spende tutti i --max-tokens pensando non risponde mai, quindi aumentalo (a 16384, ad esempio) se è questo il motivo indicato.
name e sort nella stessa query).--out scrive i rilevamenti di ogni esecuzione (symbol, titolo, severità, CWE, riga, se la modifica l'ha introdotto e se fa da gate), i symbol falliti e il perché, i conteggi dei token, i costi e i tempi, così due esecuzioni, come due modelli o prima e dopo una modifica al prompt, possono essere confrontate caso per caso.
Sedici piccoli casi sintetici sono uno smoke test per la qualità del rilevamento, non un benchmark. Ognuno è una singola modifica con un singolo bug previsto, in codice molto più semplice di un servizio reale, e quelli vulnerabili sono il tipo di bug che un revisore spererebbe di individuare. I commit reali che introducono vulnerabilità (l'inverso di una correzione di una CVE, ad esempio) sono i casi migliori da aggiungere. Metti i file toccati, prima e dopo, in una nuova directory, ed etichettala. Mantienili abbastanza piccoli che la modifica sia il punto centrale.
tests/test_evals.py verifica ogni caso senza un modello: che venga compilato,
che zairo analizzi ogni file che modifica, e che il symbol di un caso vulnerabile
sia tra i simboli toccati dalla modifica. Altrimenti nessuna scansione potrebbe
mai essere valutata come in grado di rilevarlo.
Scopri gli strumenti più utilizzati dalla nostra community.
Nessun dato di popolarità ancora.