Skip to content
KitploitKITPLOIT
StrumentiExploitsBlog
Log in
Invia
StrumentiExploitsBlog
Invia

Strumenti di Hacking, PenTest e Cybersecurity per il tuo Arsenale di Sicurezza!

Kitploit è una directory di strumenti di hacking, cybersecurity e pentesting. Scopri gli ultimi aggiornamenti dei progetti per trovare vulnerabilità, analizzare sistemi, automatizzare i test e rafforzare la tua sicurezza.

FeedContattoPrivacy© 2026 Kitploit

Directory degli strumenti

Categorie

Vedi tutte le categorie
Loading categories
zairo — Scansiona i diff del codice con contesto per costruire un grafo di impatto e usa gli LLM per trovare vulnerabilità, supportando scansioni multi-repo e gating CI con output SARIF. | Kitploit
Strumenti/GitHubGitHub/iamavu/zairo
Analisi StaticaAnalisi delle VulnerabilitàAnalisi del CodiceAnalisi Dinamica del Codice (DAST)DevSecOpsSicurezza dell'IA
GitHubiamavu/zairo

zairo

Scansiona i diff del codice con contesto per costruire un grafo di impatto e usa gli LLM per trovare vulnerabilità, supportando scansioni multi-repo e gating CI con output SARIF.

Vedi Repository
14891 mese faNon ancora revisionato
Condividi

Misurare zairo

Gli unit test di zairo verificano che costruisca i prompt corretti e gestisca correttamente le risposte. Non possono dirti se un modello, dati quei prompt, individua una vulnerabilità introdotta da una modifica, oppure ne segnala una che non c'è. È a questo che serve questa directory: un insieme di modifiche etichettate, e un runner che analizza ciascuna di esse più volte con un modello reale e valuta i risultati.

pip install -e .                      # from the repo root
export GEMINI_API_KEY=...             # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json

Ogni caso costa all'incirca una richiesta per simbolo modificato per ripetizione. I 16 casi qui cambiano da 1 a 4 simboli ciascuno, quindi una serie di 3 ripetizioni genera circa 100 richieste. Ogni esecuzione interroga il modello da zero: nessuna cache, nessuna nota di warm-up.

I casi

Ogni directory in cases/ rappresenta una modifica: before/ e after/ contengono l'intero (piccolo) repository su ciascun lato, e case.json lo etichetta:

{
  "description": "What the change does, and why it's vulnerable or not.",
  "vulnerable": true,
  "symbol": "search_users",
  "cwe": "CWE-89",
  "source": "synthetic"
}

Un caso vulnerabile indica il symbol modificato in cui si trova la vulnerabilità e il suo cwe, più, in also_cwe, eventuali altri che la descrivono altrettanto bene: un header falsificabile è CWE-290, ma CWE-287 e CWE-306 non sono sbagliati. Un caso pulito non ha nessuno di questi e dovrebbe essere pulito senza ombra di dubbio. Una modifica sicura a high ma con un ragionevole rilevamento medium al suo interno misura il rumore, non i falsi allarmi. Il runner esegue il commit di before, poi di after, in un repository nuovo e analizza HEAD~1..HEAD, come farebbe una scansione di una PR.

Ci sono 9 casi vulnerabili (SQL injection, path traversal, un controllo del tenant omesso, caricamento YAML non sicuro, command injection, un open redirect, SSRF, verifica TLS disabilitata e un bypass dell'autenticazione tramite un header falsificabile) e 7 casi puliti. Diversi casi puliti sono costruiti per sembrare rischiosi: una SQL injection che viene corretta, un ORDER BY formattato a partire da una allowlist, una chiamata a subprocess con una lista di argomenti fissa.

Questi file sono codice di esempio deliberatamente vulnerabile. Non vengono mai pacchettizzati né eseguiti, ma uno scanner puntato su questo repository li troverà.

I punteggi

Un rilevamento fa da gate quando --fail-on bloccherebbe la PR su di esso: contrassegnato con introduced_by_change: true, pari o superiore a --fail-on (predefinito high). Ogni esecuzione riceve un verdetto:

  • Su un caso vulnerabile, ha individuato il bug (un rilevamento che fa da gate sul symbol del caso), l'ha trovato sotto la soglia (un rilevamento introdotto dalla modifica in quel punto, a una severità inferiore) oppure l'ha mancato.
  • Su un caso pulito, ha segnalato la modifica (qualsiasi rilevamento che fa da gate) oppure l'ha superata.

Un'esecuzione resta senza punteggio solo quando non dice nulla in nessuno dei due sensi: il symbol che conta non è stato valutabile, oppure un caso pulito non è stato segnalato ma qualche symbol ha fallito. Un rilevamento che fa da gate conta a prescindere da cos'altro è fallito, poiché il gate avrebbe comunque bloccato la PR su di esso. Il runner stampa i motivi più comuni dei fallimenti dei symbol, e --out li conserva per ogni esecuzione. Un modello di ragionamento che spende tutti i --max-tokens pensando non risponde mai, quindi aumentalo (a 16384, ad esempio) se è questo il motivo indicato.

  • recall: delle esecuzioni con punteggio sui casi vulnerabili, la quota che l'ha individuato. Un rilevamento su un altro symbol non conta.
  • found: la quota che l'ha trovato a qualsiasi severità. Un bug trovato sotto la soglia viene comunque segnalato; semplicemente non blocca. Un open redirect, ad esempio, è comunemente valutato medium.
  • falsi allarmi: delle esecuzioni con punteggio sui casi puliti, la quota segnalata: una PR bloccata per nulla.
  • precision: delle esecuzioni con un rilevamento che fa da gate, la quota in cui era centrato in un caso vulnerabile.
  • stable: la quota di casi in cui tutte le esecuzioni con punteggio concordavano sul fatto che il gate blocchi. Le risposte dei modelli variano; un caso individuato una volta su tre è un lancio di moneta in CI.
  • CWE matched: delle esecuzioni centrate, la quota che ha anche indicato il CWE del caso. È secondario: il bug giusto sotto un CWE vicino blocca comunque la PR giusta.
  • elsewhere: nelle esecuzioni che hanno individuato il bug, i rilevamenti che fanno da gate su altri symbol. Di solito è lo stesso bug segnalato di nuovo, ad esempio sul file che contiene la funzione: un bug, diversi avvisi. Due rilevamenti sul symbol vulnerabile stesso non contano: è il modello che divide un bug in base a come viene raggiunto (name e sort nella stessa query).

--out scrive i rilevamenti di ogni esecuzione (symbol, titolo, severità, CWE, riga, se la modifica l'ha introdotto e se fa da gate), i symbol falliti e il perché, i conteggi dei token, i costi e i tempi, così due esecuzioni, come due modelli o prima e dopo una modifica al prompt, possono essere confrontate caso per caso.

Limiti

Sedici piccoli casi sintetici sono uno smoke test per la qualità del rilevamento, non un benchmark. Ognuno è una singola modifica con un singolo bug previsto, in codice molto più semplice di un servizio reale, e quelli vulnerabili sono il tipo di bug che un revisore spererebbe di individuare. I commit reali che introducono vulnerabilità (l'inverso di una correzione di una CVE, ad esempio) sono i casi migliori da aggiungere. Metti i file toccati, prima e dopo, in una nuova directory, ed etichettala. Mantienili abbastanza piccoli che la modifica sia il punto centrale.

tests/test_evals.py verifica ogni caso senza un modello: che venga compilato, che zairo analizzi ogni file che modifica, e che il symbol di un caso vulnerabile sia tra i simboli toccati dalla modifica. Altrimenti nessuna scansione potrebbe mai essere valutata come in grado di rilevarlo.

Scarica lo strumento

Più Popolari

Vedi tutti →

Scopri gli strumenti più utilizzati dalla nostra community.

Nessun dato di popolarità ancora.

Esplora tutti gli strumenti

Sfoglia la nostra collezione di strumenti

Vedi tutti gli strumenti →