
Сканирует диффы кода с контекстом для построения графа влияния и использует LLM для поиска уязвимостей, поддерживая сканирование нескольких репозиториев и CI-гейтинг с выводом в формате SARIF.
Модульные тесты zairo проверяют, что он строит правильные промпты и корректно обрабатывает ответы. Они не могут сказать, находит ли модель, получив эти промпты, уязвимость, которую внесло изменение, или отмечает ту, которой нет. Для этого и нужен этот каталог: набор размеченных изменений и раннер, который несколько раз сканирует каждое из них реальной моделью и оценивает результаты.
pip install -e . # from the repo root
export GEMINI_API_KEY=... # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json
Каждый случай стоит примерно один запрос на изменённый символ на повтор. 16 случаев здесь меняют от 1 до 4 символов каждый, поэтому прогон из 3 повторов делает около 100 запросов. Каждый прогон обращается к модели заново: без кэша, без заметок для разогрева.
Каждый каталог в cases/ — это одно изменение: before/ и after/
содержат весь (небольшой) репозиторий с каждой стороны, а case.json его помечает:
{
"description": "What the change does, and why it's vulnerable or not.",
"vulnerable": true,
"symbol": "search_users",
"cwe": "CWE-89",
"source": "synthetic"
}
В уязвимом случае указывается изменённый symbol, в котором находится уязвимость, и его cwe, а также в also_cwe — любые другие, которые её тоже описывают: подделываемый заголовок — это CWE-290, но CWE-287 и CWE-306 не ошибочны. В чистом случае ничего из этого нет, и он должен быть чистым без всяких сомнений. Изменение, безопасное при high, но имеющее справедливую находку medium, измеряет шум, а не ложные тревоги. Раннер коммитит before, затем after в свежий репозиторий и сканирует HEAD~1..HEAD, как это делал бы PR-скан.
Есть 9 уязвимых случаев (SQL-инъекция, обход пути, отброшенная проверка арендатора, небезопасная загрузка YAML, инъекция команд, открытый редирект, SSRF, отключённая проверка TLS и обход аутентификации через подделываемый заголовок) и 7 чистых. Несколько чистых построены так, чтобы выглядеть рискованно: исправляемая SQL-инъекция, ORDER BY, форматируемый из белого списка, вызов subprocess с фиксированным списком аргументов.
Эти файлы — намеренно уязвимый пример кода. Они никогда не упаковываются и не запускаются, но сканер, направленный на этот репозиторий, их найдёт.
Находка блокирует (gates), когда --fail-on заблокировал бы на ней PR: помечена introduced_by_change: true, на уровне --fail-on или выше (по умолчанию high). Каждый запуск получает вердикт:
symbol случая), нашёл его ниже порога (находка, которую изменение внесло туда, при более низкой серьёзности) или пропустил его.Запуск остаётся без оценки только когда он не говорит ничего ни в ту, ни в другую сторону: значимый символ не удалось оценить, или чистый случай не был отмечен, но какой-то символ не прошёл. Блокирующая находка засчитывается независимо от того, что ещё не прошло, поскольку порог всё равно заблокировал бы на ней PR. Раннер печатает наиболее частые причины, по которым символы не прошли, а --out сохраняет их для каждого запуска. Модель рассуждений, тратящая все --max-tokens на размышления, никогда не отвечает, поэтому увеличьте его (скажем, до 16384), если указана эта причина.
name и sort в одном запросе).--out записывает находки каждого запуска (символ, заголовок, серьёзность, CWE, строка, внесло ли их изменение и блокируют ли они), символы, которые не прошли, и почему, количество токенов, затраты и тайминги, чтобы два запуска, например две модели или до и после изменения промпта, можно было сравнить случай за случаем.
Шестнадцать небольших синтетических случаев — это дымовой тест качества обнаружения, а не бенчмарк. Каждый — это одно изменение с одним предполагаемым багом, в коде гораздо проще реального сервиса, а уязвимые — это тот вид бага, который ревьюер надеялся бы поймать. Реальные коммиты, вносящие уязвимости (скажем, обратные исправлению CVE), — лучшие случаи для добавления. Поместите файлы, которых они касались, до и после, в новый каталог и пометьте его. Держите их достаточно малыми, чтобы изменение было сутью.
tests/test_evals.py проверяет каждый случай без модели: что он собирается,
что zairo разбирает каждый изменяемый им файл и что symbol уязвимого случая
входит в число символов, затронутых изменением. Иначе ни одно сканирование
нельзя было бы засчитать как обнаружившее его.