google/oss-fuzz-genFuzzing alimentado por LLM via OSS-Fuzz.
Este framework gera alvos de fuzz para projetos reais em C/C++/Java/Python com vários Modelos de Linguagem de Grande Porte (LLM) e os avalia por meio da plataforma OSS-Fuzz.
Mais detalhes disponíveis em Fuzzing com IA: Rompendo a Barreira da Caça a Bugs:
Os modelos atualmente suportados são:
Os alvos de fuzz gerados são avaliados com quatro métricas em relação aos dados mais atualizados do ambiente de produção:
OSS-Fuzz.Aqui está um exemplo de resultado de experimento de 31 de janeiro de 2024. O experimento incluiu mais de 1300 benchmarks de 297 projetos de código aberto.
No geral, este framework consegue aproveitar com sucesso os LLMs para gerar alvos de fuzz válidos (que geram aumento de cobertura diferente de zero) para 160 projetos em C/C++. O aumento máximo de cobertura de linhas é de 29% em relação aos alvos escritos por humanos existentes.
Observe que esses relatórios não são públicos, pois podem conter vulnerabilidades não divulgadas.
Consulte nosso guia de uso detalhado para instruções sobre como executar este framework e gerar relatórios com base nos resultados.
Você também pode executar ou avaliar agentes individuais sem executar experimentos completos, usando o framework integrado de execução de agentes. Consulte a documentação do framework para instruções detalhadas sobre como executar agentes individuais ou sequências de agentes.
Interessado em colaborações de pesquisa ou na comunidade de código aberto? Sinta-se à vontade para criar uma issue ou enviar um e-mail para: [email protected].
