FuzzBench: Benchmarking de Fuzzers como Serviço

FuzzBench é um serviço gratuito que avalia fuzzers em uma grande variedade de benchmarks do mundo real, na escala do Google. O objetivo do FuzzBench é tornar indolor a avaliação rigorosa de pesquisas sobre fuzzing e facilitar a adoção dessas pesquisas pela comunidade. Convidamos membros da comunidade de pesquisa a contribuir com seus fuzzers e nos dar feedback sobre como melhorar nossas técnicas de avaliação.

O FuzzBench fornece:

• Uma API fácil para integrar fuzzers.
• Benchmarks de projetos do mundo real. O FuzzBench pode usar qualquer projeto do OSS-Fuzz como benchmark.
• Uma biblioteca de relatórios que produz relatórios com gráficos e testes estatísticos para ajudá-lo a entender a significância dos resultados.

Para participar, envie seu fuzzer para ser executado na plataforma FuzzBench seguindo nosso guia simples. Após a aceitação da sua integração, realizaremos um experimento em larga escala usando seu fuzzer e geraremos um relatório comparando seu fuzzer com outros. Veja um relatório de exemplo.

Visão geral

Relatório de Exemplo

Você pode ver nosso relatório de exemplo aqui e nossos relatórios gerados periodicamente aqui. O relatório de exemplo é gerado usando 10 fuzzers contra 24 benchmarks do mundo real, com 20 tentativas cada e duração de 24 horas. Os dados brutos em formato CSV compactado podem ser encontrados ao final do relatório.

Ao analisar relatórios, recomendamos:

• Verificar os pontos fortes e fracos de um fuzzer em relação a vários benchmarks.
• Observar os resultados agregados para entender a significância geral do resultado.

Por favor, forneça feedback sobre quaisquer imprecisões e melhorias potenciais (como mudanças na integração, novos benchmarks, etc.) abrindo uma issue no GitHub aqui.

Documentação

Leia nossa documentação detalhada para aprender como usar o FuzzBench.

Contatos

Junte-se à nossa lista de discussão para discussões e anúncios, ou envie-nos um e-mail privado para [email protected].