FuzzBench: Benchmarking di Fuzzer come Servizio

FuzzBench è un servizio gratuito che valuta i fuzzer su un'ampia varietà di benchmark reali, su scala Google. L'obiettivo di FuzzBench è rendere semplice valutare rigorosamente la ricerca sui fuzzer e facilitare l'adozione di tale ricerca da parte della comunità. Invitiamo i membri della comunità scientifica a contribuire con i propri fuzzer e a fornire feedback per migliorare le nostre tecniche di valutazione.

FuzzBench fornisce:

• Una semplice API per integrare i fuzzer.
• Benchmark da progetti reali. FuzzBench può utilizzare qualsiasi progetto OSS-Fuzz come benchmark.
• Una libreria di report che produce report con grafici e test statistici per aiutarti a comprendere la significatività dei risultati.

Per partecipare, invia il tuo fuzzer per l'esecuzione sulla piattaforma FuzzBench seguendo la nostra semplice guida. Dopo che la tua integrazione sarà accettata, eseguiremo un esperimento su larga scala utilizzando il tuo fuzzer e genereremo un report confrontando il tuo fuzzer con altri. Vedi un report di esempio.

Panoramica

Report di Esempio

Puoi visualizzare il nostro report di esempio qui e i nostri report generati periodicamente qui. Il report di esempio è generato utilizzando 10 fuzzer contro 24 benchmark reali, con 20 prove ciascuno e per una durata di 24 ore. I dati grezzi in formato CSV compresso si trovano alla fine del report.

Quando si analizzano i report, consigliamo:

• Controllare i punti di forza e di debolezza di un fuzzer rispetto a vari benchmark.
• Osservare i risultati aggregati per comprendere la significatività complessiva del risultato.

Fornisci feedback su eventuali imprecisioni e potenziali miglioramenti (come modifiche all'integrazione, nuovi benchmark, ecc.) aprendo un problema GitHub qui.

Documentazione

Leggi la nostra documentazione dettagliata per imparare come usare FuzzBench.

Contatti

Unisciti alla nostra mailing list per discussioni e annunci, oppure inviaci un'email privata a [email protected].