google/oss-fuzz-genLLM-управляемый фаззинг через OSS-Fuzz.
Эта платформа генерирует фаззинг-таргеты для реальных проектов на C/C++/Java/Python с помощью различных больших языковых моделей (LLM) и проводит их бенчмаркинг на платформе OSS-Fuzz.
Более подробная информация доступна в статье Фаззинг на основе ИИ: разрушая барьер в охоте за ошибками:
Поддерживаемые в настоящее время модели:
Сгенерированные фаззинг-таргеты оцениваются по четырём метрикам на основе самых актуальных данных из производственной среды:
OSS-Fuzz.Ниже приведён пример результатов эксперимента от 31 января 2024 г. Эксперимент включал 1300+ бенчмарков из 297 проектов с открытым исходным кодом.
В целом, этой платформе удаётся успешно использовать LLM для генерации корректных фаззинг-таргетов (обеспечивающих ненулевой прирост покрытия) для 160 проектов на C/C++. Максимальный прирост построчного покрытия по сравнению с существующими написанными вручную таргетами составляет 29%.
Обратите внимание, что эти отчёты не являются публичными, поскольку могут содержать нераскрытые уязвимости.
Ознакомьтесь с подробным руководством по использованию — в нём описано, как запустить эту платформу и сформировать отчёты на основе результатов.
Вы также можете запускать или оценивать отдельных агентов без проведения полных экспериментов, используя встроенную среду выполнения агентов. Подробные инструкции по запуску отдельных агентов или последовательностей агентов приведены в документации платформы.
Интересуетесь исследовательскими или open-source коллаборациями? Пожалуйста, создавайте issue или пишите нам: [email protected].
