
Fuzzing alimentado por LLM via OSS-Fuzz.
Esta estrutura gera alvos de fuzzing para projetos reais em C/C++/Java/Python com
vários Modelos de Linguagem de Grande Porte (LLM) e os avalia por meio da
plataforma OSS-Fuzz.
Mais detalhes disponíveis em Fuzzing com IA: Rompendo a Barreira da Caça a Bugs:

Os modelos suportados atualmente são:
Os alvos de fuzzing gerados são avaliados com quatro métricas em relação aos dados mais atualizados do ambiente de produção:
OSS-Fuzz.Aqui está um exemplo de resultado de experimento de 31 de janeiro de 2024. O experimento incluiu mais de 1300 benchmarks de 297 projetos de código aberto.

No geral, esta estrutura consegue aproveitar com sucesso os LLMs para gerar alvos de fuzzing válidos (que geram aumento de cobertura diferente de zero) para 160 projetos em C/C++. O aumento máximo de cobertura de linhas é de 29% em relação aos alvos existentes escritos por humanos.
Observe que esses relatórios não são públicos, pois podem conter vulnerabilidades não divulgadas.
Consulte nosso guia de uso detalhado para instruções sobre como executar esta estrutura e gerar relatórios com base nos resultados.
Você também pode executar ou avaliar agentes individuais sem executar experimentos completos, usando a estrutura integrada de execução de agentes. Consulte a documentação da estrutura para instruções detalhadas sobre como executar agentes individuais ou sequências de agentes.
Interessado em pesquisa ou colaborações com a comunidade de código aberto? Sinta-se à vontade para criar uma issue ou nos enviar um e-mail: [email protected].