FuzzBench: ファザーベンチマークのサービス

FuzzBenchは、実際のベンチマークの多種多様なセットに対してファザーを評価する無料サービスであり、Google規模で動作します。FuzzBenchの目標は、ファジング研究を厳密に評価し、コミュニティがその成果を採用しやすくすることです。研究コミュニティのメンバーがファザーを提供し、評価手法の改善に関するフィードバックをいただくことを歓迎します。

FuzzBenchが提供するもの：

• ファザーを統合するための簡単なAPI。
• 実際のプロジェクトからのベンチマーク。FuzzBenchは任意のOSS-Fuzzプロジェクトをベンチマークとして使用できます。
• グラフや統計的検定を含むレポートを生成するレポートライブラリ。結果の有意性を理解するのに役立ちます。

参加するには、簡単なガイドに従ってファザーを提出し、FuzzBenchプラットフォームで実行してください。統合が承認された後、大規模な実験を実行し、あなたのファザーと他のファザーを比較したレポートを生成します。サンプルレポートをご覧ください。

概要

サンプルレポート

サンプルレポートはこちらで、定期的に生成されるレポートはこちらでご覧いただけます。サンプルレポートは、10個のファザーを24の実際のベンチマークに対して、それぞれ20回の試行、24時間の期間で生成されています。生データは圧縮CSV形式でレポートの最後にあります。

レポートを分析する際には、以下をお勧めします：

• さまざまなベンチマークに対するファザーの強みと弱みを確認する。
• 全体的な結果を見て、結果の全体的な有意性を理解する。

不正確な点や改善点（統合の変更、新しいベンチマークなど）については、GitHubのイシューこちらからフィードバックをお寄せください。

ドキュメント

詳細なドキュメントを読んで、FuzzBenchの使い方を学んでください。

連絡先

議論やお知らせについてはメーリングリストにご参加いただくか、プライベートメールを[email protected]までお送りください。