FuzzBench : Service de benchmarking de fuzzers en tant que service

FuzzBench est un service gratuit qui évalue les fuzzers sur une grande variété de benchmarks réels, à l'échelle de Google. L'objectif de FuzzBench est de permettre une évaluation rigoureuse et sans effort de la recherche en fuzzing, et de faciliter l'adoption de cette recherche par la communauté. Nous invitons les membres de la communauté de recherche à contribuer leurs fuzzers et à nous donner leur avis pour améliorer nos techniques d'évaluation.

FuzzBench fournit :

• Une API simple pour intégrer des fuzzers.
• Des benchmarks provenant de projets réels. FuzzBench peut utiliser n'importe quel projet OSS-Fuzz comme benchmark.
• Une bibliothèque de rapports qui produit des rapports avec des graphiques et des tests statistiques pour vous aider à comprendre la significativité des résultats.

Pour participer, soumettez votre fuzzer pour qu'il soit exécuté sur la plateforme FuzzBench en suivant notre guide simple. Une fois votre intégration acceptée, nous exécuterons une expérience à grande échelle avec votre fuzzer et générerons un rapport comparant votre fuzzer à d'autres. Consultez un exemple de rapport.

Aperçu

Exemple de rapport

Vous pouvez consulter notre exemple de rapport ici et nos rapports générés périodiquement ici. L'exemple de rapport est généré à l'aide de 10 fuzzers contre 24 benchmarks réels, avec 20 essais chacun et sur une durée de 24 heures. Les données brutes au format CSV compressé se trouvent à la fin du rapport.

Lors de l'analyse des rapports, nous recommandons :

• De vérifier les forces et les faiblesses d'un fuzzer face à divers benchmarks.
• D'examiner les résultats agrégés pour comprendre la significativité globale du résultat.

Veuillez nous faire part de vos retours sur toute inexactitude et amélioration potentielle (telles que des modifications d'intégration, de nouveaux benchmarks, etc.) en ouvrant un ticket GitHub ici.

Documentation

Lisez notre documentation détaillée pour apprendre comment utiliser FuzzBench.

Contacts

Rejoignez notre liste de diffusion pour des discussions et des annonces, ou envoyez-nous un email privé à [email protected].