Ein Framework für die Generierung und Bewertung von Fuzz-Targets

Dieses Framework generiert Fuzz-Targets für reale C/C++/Java/Python-Projekte mit verschiedenen Large Language Models (LLM) und benchmarkt sie über die OSS-Fuzz-Plattform.

Weitere Details finden Sie in AI-Powered Fuzzing: Breaking the Bug Hunting Barrier:

Derzeit unterstützte Modelle sind:

• Vertex AI code-bison
• Vertex AI code-bison-32k
• Gemini Pro
• Gemini Ultra
• Gemini Experimental
• Gemini 1.5
• OpenAI GPT-3.5-turbo
• OpenAI GPT-4
• OpenAI GPT-4o
• OpenAI GPT-4o-mini
• OpenAI GPT-4-turbo
• OpenAI GPT-3.5-turbo (Azure)
• OpenAI GPT-4 (Azure)
• OpenAI GPT-4o (Azure)

Generierte Fuzz-Targets werden anhand von vier Metriken gegen die aktuellsten Daten aus der Produktionsumgebung bewertet:

• Kompilierbarkeit
• Laufzeitabstürze
• Laufzeitabdeckung
• Differenz der Laufzeit-Zeilenabdeckung gegenüber vorhandenen, von Menschen geschriebenen Fuzz-Targets in OSS-Fuzz.

Hier ist ein Beispiel-Ergebnis eines Experiments vom 31. Januar 2024. Das Experiment umfasste 1300+ Benchmarks aus 297 Open-Source-Projekten.

Insgesamt gelingt es diesem Framework, LLMs erfolgreich einzusetzen, um gültige Fuzz-Targets (die eine Abdeckungssteigerung ungleich null erzeugen) für 160 C/C++-Projekte zu generieren. Die maximale Steigerung der Zeilenabdeckung gegenüber den vorhandenen, von Menschen geschriebenen Targets beträgt 29 %.

Beachten Sie, dass diese Berichte nicht öffentlich sind, da sie möglicherweise nicht offengelegte Schwachstellen enthalten.

Verwendung

In unserer ausführlichen Nutzungsanleitung finden Sie Anweisungen, wie Sie dieses Framework ausführen und auf Grundlage der Ergebnisse Berichte erstellen können.

Unabhängige Agent-Ausführung und -Bewertung

Sie können auch einzelne Agents ausführen oder bewerten, ohne vollständige Experimente auszuführen, indem Sie das integrierte Agent-Ausführungsframework verwenden. In der Dokumentation des Frameworks finden Sie detaillierte Anweisungen, wie Sie einzelne Agents oder Agent-Sequenzen ausführen können.

Kooperationen

Interessiert an Forschung oder Kooperationen mit der Open-Source-Community? Erstellen Sie gerne ein Issue oder schreiben Sie uns eine E-Mail: [email protected].

Entdeckte Bugs

Bisher haben wir 30 neue Bugs/Schwachstellen gemeldet, die von automatisch generierten Targets gefunden wurden, die mit diesem Framework erstellt wurden:

Diese Bugs konnten ausschließlich mit neu generierten Targets entdeckt werden. Sie waren mit den vorhandenen OSS-Fuzz-Targets nicht erreichbar.

Aktuelle Top-Verbesserungen der Abdeckung nach Projekt

* „Total project lines" misst den Quellcode des getesteten Projekts, der von den bereits vorhandenen, von Menschen geschriebenen Fuzz-Targets aus OSS-Fuzz kompiliert und gelinkt wird.

* „Total coverage gain" wird mithilfe eines Nenners von „Total project lines" berechnet. „Total relative gain" ist die Steigerung der Abdeckung im Vergleich zur bisherigen Anzahl abgedeckter Zeilen.

* Beim Kompilieren der neuen Fuzz-Targets kann zusätzlicher Code aus dem getesteten Projekt einbezogen werden, was zu hohen prozentualen Gewinnen führt.

Zitieren dieser Arbeit

Bitte klicken Sie für Zitationsdetails auf die Schaltfläche 'Cite this repository' auf der rechten Seite dieser GitHub-Seite.