
LLM-управляемый фаззинг через OSS-Fuzz.
Этот фреймворк генерирует фазз-цели для реальных проектов на C/C++/Java/Python с
помощью различных больших языковых моделей (LLM) и проводит их бенчмаркинг через
платформу OSS-Fuzz.
Более подробная информация доступна в AI-Powered Fuzzing: Breaking the Bug Hunting Barrier:

Текущие поддерживаемые модели:
Сгенерированные фазз-цели оцениваются по четырём метрикам на основе самых актуальных данных из производственной среды:
OSS-Fuzz.Вот пример результата эксперимента от 31 января 2024 года. Эксперимент включал 1300+ бенчмарков из 297 проектов с открытым исходным кодом.

В целом, этому фреймворку удаётся успешно использовать LLM для генерации валидных фазз-целей (которые дают ненулевой прирост покрытия) для 160 проектов на C/C++. Максимальный прирост покрытия строк составляет 29% по сравнению с существующими целями, написанными людьми.
Обратите внимание, что эти отчёты не являются публичными, так как могут содержать нераскрытые уязвимости.
Ознакомьтесь с нашим подробным руководством по использованию, чтобы узнать, как запускать этот фреймворк и генерировать отчёты на основе результатов.
Вы также можете выполнять или оценивать отдельных агентов без запуска полных экспериментов, используя встроенный фреймворк выполнения агентов. Подробные инструкции о том, как запускать отдельных агентов или последовательности агентов, см. в документации фреймворка.
Заинтересованы в исследованиях или сотрудничестве с сообществом открытого исходного кода? Не стесняйтесь создать issue или написать нам: [email protected].