FuzzBench: Fuzzer-Benchmarking als Dienst

FuzzBench ist ein kostenloser Dienst, der Fuzzer auf einer Vielzahl von realen Benchmarks im Google-Maßstab evaluiert. Das Ziel von FuzzBench ist es, die rigorose Evaluierung von Fuzzing-Forschung schmerzlos zu machen und die Fuzzing-Forschung für die Community leichter zugänglich zu machen. Wir laden Mitglieder der Forschungsgemeinschaft ein, ihre Fuzzer beizutragen und uns Feedback zur Verbesserung unserer Evaluierungstechniken zu geben.

FuzzBench bietet:

• Eine einfache API zur Integration von Fuzzern.
• Benchmarks aus realen Projekten. FuzzBench kann jedes OSS-Fuzz-Projekt als Benchmark verwenden.
• Eine Berichtsbibliothek, die Berichte mit Grafiken und statistischen Tests erstellt, um die Bedeutung der Ergebnisse zu verstehen.

Um teilzunehmen, reichen Sie Ihren Fuzzer ein, um auf der FuzzBench-Plattform zu laufen, indem Sie unserer einfachen Anleitung folgen. Nachdem Ihre Integration akzeptiert wurde, führen wir ein groß angelegtes Experiment mit Ihrem Fuzzer durch und erstellen einen Bericht, der Ihren Fuzzer mit anderen vergleicht. Siehe einen Beispielbericht.

Überblick

Beispielbericht

Sie können unseren Beispielbericht hier und unsere regelmäßig generierten Berichte hier einsehen. Der Beispielbericht wird mit 10 Fuzzern gegen 24 reale Benchmarks erstellt, mit jeweils 20 Durchläufen und über eine Dauer von 24 Stunden. Die Rohdaten im komprimierten CSV-Format finden Sie am Ende des Berichts.

Bei der Analyse von Berichten empfehlen wir:

• Überprüfen der Stärken und Schwächen eines Fuzzers gegenüber verschiedenen Benchmarks.
• Betrachten der aggregierten Ergebnisse, um die Gesamtbedeutung des Ergebnisses zu verstehen.

Bitte geben Sie Feedback zu etwaigen Ungenauigkeiten und potenziellen Verbesserungen (wie Integrationsänderungen, neue Benchmarks usw.), indem Sie ein GitHub-Issue hier eröffnen.

Dokumentation

Lesen Sie unsere detaillierte Dokumentation, um zu erfahren, wie Sie FuzzBench verwenden.

Kontakte

Treten Sie unserer Mailingliste für Diskussionen und Ankündigungen bei, oder senden Sie uns eine private E-Mail an [email protected].