Voici un exemple de résultat d'expérimentation du 31 janvier 2024. L'expérimentation comprenait 1300+ benchmarks issus de 297 projets open-source.

Dans l'ensemble, ce framework parvient à exploiter avec succès les LLM pour générer des cibles de fuzzing valides (qui produisent une augmentation non nulle de la couverture) pour 160 projets C/C++. L'augmentation maximale de la couverture de lignes est de 29 % par rapport aux cibles existantes écrites par des humains.

Notez que ces rapports ne sont pas publics car ils peuvent contenir des vulnérabilités non divulguées.

Utilisation

Consultez notre guide d'utilisation détaillé pour savoir comment exécuter ce framework et générer des rapports à partir des résultats.

Exécution et évaluation indépendantes des agents

Vous pouvez également exécuter ou évaluer des agents individuels sans lancer d'expérimentations complètes, à l'aide du framework intégré d'exécution d'agents. Consultez la documentation du framework pour obtenir des instructions détaillées sur la façon d'exécuter des agents individuels ou des séquences d'agents.

Collaborations

Intéressé par des collaborations de recherche ou avec la communauté open-source ? N'hésitez pas à créer une issue ou à nous écrire : [email protected].

Bugs découverts

Jusqu'à présent, nous avons signalé 30 nouveaux bugs/vulnérabilités trouvés par des cibles générées automatiquement par ce framework :

Ces bugs n'ont pu être découverts qu'avec des cibles nouvellement générées. Ils n'étaient pas atteignables avec les cibles OSS-Fuzz existantes.

Principales améliorations actuelles de la couverture par projet

* « Total de lignes du projet » mesure le code source du projet testé compilé et lié par les cibles de fuzzing préexistantes écrites par des humains provenant d'OSS-Fuzz.

* « Gain total de couverture » est calculé en utilisant comme dénominateur le « Total de lignes du projet ». « Gain relatif total » correspond à l'augmentation de couverture par rapport à l'ancien nombre de lignes couvertes.

* Du code supplémentaire du projet testé peut être inclus lors de la compilation des nouvelles cibles de fuzzing et entraîner des gains en pourcentage élevés.

Citation de ce travail

Veuillez cliquer sur le bouton 'Cite this repository' situé sur le côté droit de cette page GitHub pour obtenir les détails de citation.