Платформа для генерации и оценки фаззинг-таргетов

Эта платформа генерирует фаззинг-таргеты для реальных проектов на C/C++/Java/Python с помощью различных больших языковых моделей (LLM) и проводит их бенчмаркинг на платформе OSS-Fuzz.

Более подробная информация доступна в статье Фаззинг на основе ИИ: разрушая барьер в охоте за ошибками:

Поддерживаемые в настоящее время модели:

• Vertex AI code-bison
• Vertex AI code-bison-32k
• Gemini Pro
• Gemini Ultra
• Gemini Experimental
• Gemini 1.5
• OpenAI GPT-3.5-turbo
• OpenAI GPT-4
• OpenAI GPT-4o
• OpenAI GPT-4o-mini
• OpenAI GPT-4-turbo
• OpenAI GPT-3.5-turbo (Azure)
• OpenAI GPT-4 (Azure)
• OpenAI GPT-4o (Azure)

Сгенерированные фаззинг-таргеты оцениваются по четырём метрикам на основе самых актуальных данных из производственной среды:

• Компилируемость
• Сбои во время выполнения
• Покрытие во время выполнения
• Разница в построчном покрытии во время выполнения по сравнению с существующими написанными вручную фаззинг-таргетами в OSS-Fuzz.

Ниже приведён пример результатов эксперимента от 31 января 2024 г. Эксперимент включал 1300+ бенчмарков из 297 проектов с открытым исходным кодом.

В целом, этой платформе удаётся успешно использовать LLM для генерации корректных фаззинг-таргетов (обеспечивающих ненулевой прирост покрытия) для 160 проектов на C/C++. Максимальный прирост построчного покрытия по сравнению с существующими написанными вручную таргетами составляет 29%.

Обратите внимание, что эти отчёты не являются публичными, поскольку могут содержать нераскрытые уязвимости.

Использование

Ознакомьтесь с подробным руководством по использованию — в нём описано, как запустить эту платформу и сформировать отчёты на основе результатов.

Автономное выполнение и оценка агентов

Вы также можете запускать или оценивать отдельных агентов без проведения полных экспериментов, используя встроенную среду выполнения агентов. Подробные инструкции по запуску отдельных агентов или последовательностей агентов приведены в документации платформы.

Сотрудничество

Интересуетесь исследовательскими или open-source коллаборациями? Пожалуйста, создавайте issue или пишите нам: [email protected].

Обнаруженные ошибки

На данный момент мы сообщили о 30 новых ошибках/уязвимостях, найденных с помощью автоматически сгенерированных таргетов, созданных этой платформой:

Эти ошибки можно было обнаружить только с помощью вновь сгенерированных таргетов. Они были недостижимы с помощью существующих таргетов OSS-Fuzz.

Текущие лучшие улучшения покрытия по проектам

* «Всего строк в проекте» — это объём исходного кода тестируемого проекта, скомпилированного и скомпонованного ранее существовавшими написанными вручную фаззинг-таргетами из OSS-Fuzz.

* «Общий прирост покрытия» вычисляется с использованием «Всего строк в проекте» в качестве знаменателя. «Общий относительный прирост» — это увеличение покрытия по сравнению с прежним количеством покрытых строк.

* При компиляции новых фаззинг-таргетов может быть включён дополнительный код тестируемого проекта, что приводит к высоким процентным приростам.

Цитирование этой работы

Для получения сведений о цитировании нажмите кнопку 'Cite this repository', расположенную в правой части этой страницы GitHub.