Un framework para la generación y evaluación de fuzz targets

Este framework genera fuzz targets para proyectos reales de C/C++/Java/Python con varios modelos de lenguaje de gran tamaño (LLM) y los evalúa mediante la plataforma OSS-Fuzz.

Más detalles disponibles en Fuzzing impulsado por IA: rompiendo la barrera de la caza de bugs:

Los modelos admitidos actualmente son:

• Vertex AI code-bison
• Vertex AI code-bison-32k
• Gemini Pro
• Gemini Ultra
• Gemini Experimental
• Gemini 1.5
• OpenAI GPT-3.5-turbo
• OpenAI GPT-4
• OpenAI GPT-4o
• OpenAI GPT-4o-mini
• OpenAI GPT-4-turbo
• OpenAI GPT-3.5-turbo (Azure)
• OpenAI GPT-4 (Azure)
• OpenAI GPT-4o (Azure)

Los fuzz targets generados se evalúan con cuatro métricas frente a los datos más actualizados del entorno de producción:

• Compilabilidad
• Bloqueos en tiempo de ejecución
• Cobertura en tiempo de ejecución
• Diferencia de cobertura de líneas en tiempo de ejecución frente a los fuzz targets escritos por humanos existentes en OSS-Fuzz.

Aquí hay un ejemplo de resultado de experimento del 31 de enero de 2024. El experimento incluyó más de 1300 benchmarks de 297 proyectos de código abierto.

En general, este framework logra aprovechar con éxito los LLM para generar fuzz targets válidos (que generan un aumento de cobertura distinto de cero) para 160 proyectos de C/C++. El aumento máximo de cobertura de líneas es del 29% respecto a los fuzz targets escritos por humanos existentes.

Ten en cuenta que estos informes no son públicos, ya que pueden contener vulnerabilidades no divulgadas.

Uso

Consulta nuestra guía de uso para obtener instrucciones sobre cómo ejecutar este framework y generar informes basados en los resultados.

Ejecución y evaluación independiente de agentes

También puedes ejecutar o evaluar agentes individuales sin ejecutar experimentos completos, utilizando el framework integrado de ejecución de agentes. Consulta la documentación del framework para obtener instrucciones detalladas sobre cómo ejecutar agentes individuales o secuencias de agentes.

Colaboraciones

¿Te interesan las colaboraciones de investigación o con la comunidad de código abierto? No dudes en crear un issue o enviarnos un correo electrónico: [email protected].

Bugs descubiertos

Hasta ahora, hemos reportado 30 nuevos bugs/vulnerabilidades encontrados por fuzz targets generados automáticamente construidos por este framework:

Estos bugs solo pudieron descubrirse con fuzz targets generados recientemente. No eran alcanzables con los fuzz targets OSS-Fuzz existentes.

Principales mejoras de cobertura actuales por proyecto

* "Líneas totales del proyecto" mide el código fuente del proyecto bajo prueba compilado y enlazado por los fuzz targets escritos por humanos preexistentes de OSS-Fuzz.

* La "ganancia total de cobertura" se calcula utilizando como denominador las "líneas totales del proyecto". La "ganancia relativa total" es el aumento de cobertura en comparación con el número anterior de líneas cubiertas.

* Puede incluirse código adicional del proyecto bajo prueba al compilar los nuevos fuzz targets, lo que resulta en ganancias de alto porcentaje.

Cómo citar este trabajo

Haz clic en el botón 'Cite this repository' situado en el lado derecho de esta página de GitHub para obtener los detalles de la cita.