FLAWED

Артефакты, похожие на исправления, со встроенными дефектами

Каждая стадия выполняется в собственном контейнере. Только у clone есть доступ к сети. Каждая последующая стадия ограничена доступом только к API провайдера LLM, поэтому агенты не могут получить подсказки или исправление из upstream во время выполнения.

Возможности

FLAWED сталкивает Claude, Codex и Gemini CLI лицом к лицу на одинаковых входных данных.

Быстрый старт

[!WARNING] FLAWED монтирует сокет Docker (эквивалент root на хосте) и выполняет недоверенный сторонний код внутри своих стадийных контейнеров. Запускайте его на машине, которой доверяете такую нагрузку. См. docs/security-model.md.

Вам нужен Docker с доступным сокетом демона.

Затем выполните первый запуск.

1. Импортируйте спецификацию бага. Примеры спецификаций поставляются в bugs/. Перетащите одну на страницу Bug Specs в веб-интерфейсе или используйте CLI.
   root@kitploit:~

   ./scripts/import-all-bugs.sh
   

2. Запустите прогон из веб-интерфейса. Выберите спецификацию, агента + модель, вариант и число итераций. Страница прогона транслирует прогресс в реальном времени.

[!NOTE] Первый прогон против крупного upstream (например, Chromium) идёт медленно. Стадия validate клонирует весь репозиторий один раз, чтобы сравнить с настоящим патчем из upstream. Клон кэшируется и переиспользуется в дальнейшем.

Спецификации багов

Спецификация бага — это единица ввода. Она содержит репозиторий, уязвимый коммит, описание бага, необязательный воспроизводитель и набор вариантов промпта, моделирующих то, как баг мог бы реалистично быть описан (находка SAST, отчёт bug-bounty, embargoed advisory, сырой PoC, …). Спецификации версионированы и неизменяемы, поэтому промпт и вердикт исторического прогона никогда не меняются незаметно.

Контракт JSON находится в bugs.schema.json и описан в docs/bug-specs.md. Все поставляемые спецификации описывают публично раскрытые уязвимости, исправленные в upstream.

Хранилище

Postgres — единственный источник истины. Метаданные прогонов и байты артефактов (патчи, вердикты, транскрипты, логи) хранятся в базе данных, поэтому развёртывание полностью описывается его БД. Каталог data/ — это временная рабочая область, которую стадии монтируют во время выполнения.

• Резервное копирование / восстановление всего развёртывания с помощью scripts/export_dataset.py и scripts/import_dataset.py (также доступно из веб-интерфейса).
• Пересборка дерева артефактов на диске для офлайн-инспекции с помощью scripts/export_artifacts.py.
• Изменения схемы управляются через Alembic (uv run alembic upgrade head выполняется автоматически при запуске).

Наборы данных

Мы публикуем готовые наборы данных, чтобы вы могли загружать завершённые кампании вместо того, чтобы запускать всё самостоятельно. Каждый набор данных — это .tar.gz одного полного снимка, размещённый по адресу https://flawed.s3.us-east-1.amazonaws.com.

Все кампании в одном пакете.

Из веб-интерфейса (рекомендуется)

Snapshots → Import datasets, вставьте одну из ссылок на архив выше и нажмите Find archives. FLAWED импортирует прямую ссылку .tar.gz как есть и распаковывает её в ваши снимки. Затем восстановите её из списка снимков (восстановление — это отдельный шаг с явным подтверждением).

Импорт обнаруживает несколько архивов сразу только тогда, когда URL — это доступный для листинга бакет или страница-индекс каталога. Ни то, ни другое здесь не применимо, поэтому импортируйте ссылки по одной.

Вручную

Скачайте архив, распакуйте его в каталог снимков (FLAWED_HOST_SNAPSHOT_DIR, или ./flawed-snapshots по умолчанию), и он появится в списке снимков, готовый к восстановлению.

Импорт лишь размещает пакет на диске. Восстановление, которое заменяет текущее развёртывание, выполняется отдельно со страницы снимков.

Документация

Структура репозитория

Разработка

Тестам нужен Docker. Они поднимают собственный Postgres через testcontainers.

Лицензия и участие

FLAWED выпущен под лицензией MIT. Мы приветствуем вклад. См. CONTRIBUTING.md, и, пожалуйста, сообщайте о проблемах безопасности приватно согласно SECURITY.md.