Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
FuzzingBrain-Bench — Бенчмарк для поиска ошибок с помощью LLM: 77 задач в 43 проектах с открытым исходным кодом (C/C++/Java). | Kitploit
Инструменты/GitHubGitHub/fuzzingbrain/fuzzingbrain-bench
Динамический анализ (песочница)Анализ уязвимостейФаззингОбучение и ОбразованиеБезопасность ИИЛаборатории и Практика
GitHubfuzzingbrain/fuzzingbrain-bench

FuzzingBrain-Bench

Бенчмарк для поиска ошибок с помощью LLM: 77 задач в 43 проектах с открытым исходным кодом (C/C++/Java).

РепозиторийСайт
9310116 дней назадЕщё не проверено
Поделиться

FuzzingBrain Bench

Бенчмарк для воспроизведения уязвимостей на основе LLM на 77 реальных zero-day багах в 43 проектах с открытым исходным кодом (C / C++ / Java).

Каждое задание даёт агенту только fuzz harness (цель) и исходный код проекта на уязвимой ревизии — без патча, без фиксирующего коммита, без целевой строки. Агент должен найти входные данные, которые повторно вызывают сбой под санитайзером. Каждая оценка детерминирована (без LLM-as-judge) и выполняется внутри образа и офлайн: кандидат прогоняется через официальный harness с инструментированием санитайзером, встроенный в контейнер задания, а прогон оценивается по различным крашам, которые вызвал агент. Ничего не покидает машину, и никакой сервис не должен быть запущен.

ЗаданияПроектыЯзыкиГрейдер
77 сквозных43C · C++ · Javaдетерминированный — внутри образа, офлайн

Ничто в образах или этом репозитории не раскрывает, в чём заключается баг — задания названы по нейтральному псевдониму (<project>-NN, например avro-03), и ключ ответов (PoC, ожидаемый сбой, исправленная сборка) отсутствует в обоих: он остаётся у мейнтейнера. Просмотреть все 77: tools/sealed/CHALLENGES.md.


Быстрый старт

1. Настройка

git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench

python3 -m venv .venv && source .venv/bin/activate   # recommended (and required on
                                                     # Debian/Ubuntu, PEP 668)
pip install -e .                              # needs Python ≥ 3.10 and Docker

# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF

fb-bench list                                 # the 77 challenges (by alias)
fb-bench models                               # supported models + which keys are loaded

(./.env читается автоматически; обычный export ANTHROPIC_API_KEY=... тоже работает.)

Повторно выполняйте source .venv/bin/activate в каждой новой оболочке. Или пропустите venv с помощью pip install --break-system-packages -e . (не рекомендуется).

fb-bench run загружает публичный образ с заданием, запускает цикл агента на хосте (вызывая API вашей модели) и оценивает каждого кандидата внутри этого образа — без сети, ничего не нужно достигать. Требуются только Docker + ключ вашей модели, а запуск засчитывает различные падения, найденные агентом — идентичность падения — это тип ошибки санитайзера плюс верхние кадры стека, поэтому одна и та же ошибка, встреченная двадцать раз, считается один раз.

По умолчанию --arm api не требует ничего сверх вышеперечисленного. Бэкенды --arm codex и --arm claudecode требуют дополнительных CLI от вендоров — опционально, устанавливаемых отдельно (никогда не входят в pip install -e .); см. §4.

2. Запуск одного задания с моделью

# Claude family  (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5

# GPT family
fb-bench run avro-03 --model gpt-5.5

# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview

# DeepSeek family  (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash

Модели: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 · gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash · deepseek-v4-pro · deepseek-v4-flash (любой идентификатор из каталога работает через --model; см. fb-bench models).

3. Запуск множества — одна команда, один или много

fb-bench run принимает один баг или много, одну модель или много. Одиночный запуск — это просто матрица размером один, поэтому отдельной команды «sweep» нет:

# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100

# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4

# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe

# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only

<bugs> — это один псевдоним, список через запятую или all; --model — это один id, список через запятую, default-lineup или all. Результаты сохраняются в output/<name>/<bug>/<model>/seed-N/ (score.json, episode.jsonl, transcript.jsonl, cost.json, дистиллированный traj.md); в конце выводится таблица лидеров. --output принимает либо простое имя (вложенное в output/), либо путь (используется как есть). Каждый запуск получает собственную папку: если опустить --output, результаты попадут в output/run_<timestamp>; если указать уже существующую папку, новый запуск создаст ответвление <name>_<timestamp>, а не продолжит работу в ней — так два запуска никогда не делят результаты (--report-only — единственный режим чтения, открывающий папку на месте).

4. Режимы агента — тот же run, выбор бэкенда через --arm

Три бэкенда агента используют одну точку входа. --arm выбирает, какой из них управляет испытанием; всё остальное (<bugs>, --jobs, --samples, --output, папка для каждого запуска, таблица лидеров) одинаково для всех режимов.

fb-bench run avro-03 --model gpt-5.5            # --arm api (default): provider model
fb-bench run avro-03 --arm codex               # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub   # Claude Code CLI
fb-bench run all     --arm codex --jobs 4      # whole corpus, batched
  • --arm codex запускает codex exec от OpenAI через MCP-сервер bench. --model задаёт модель codex (по умолчанию gpt-5.5), закрепляемую через его config.toml.
  • --arm claudecode запускает Claude Code CLI. --model выбирает модель claude (sonnet/opus/haiku).

Оба варианта от вендоров принимают --auth {api,sub}: api = API-ключ провайдера (OPENAI_API_KEY / ANTHROPIC_API_KEY, оплата по факту, без троттлинга), sub = вход по подписке (codex: план ChatGPT Plus/Pro/Business/Edu/Enterprise; claudecode: OAuth claude.ai). По умолчанию — auto — предпочитается api, если API-ключ присутствует, иначе используется sub.

Опционально — установка CLI вендора для используемого варианта

Это опциональные дополнения, и они не устанавливаются через pip install -e .. Варианту по умолчанию --arm api они никогда не нужны. Устанавливайте только тот CLI, вариант которого планируете запускать (обоим нужен Node):

# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
#   --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
#   --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
#   ChatGPT account can't use the codex models):
codex login                                  # sign in with your ChatGPT plan

# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
#   --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
#   --auth sub: one-time claude.ai OAuth login
claude

Задача всегда слепая

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Полный набор инструментов OSINT: граф расследования, оценка достоверности, семейства псевдонимов, карта, временная шкала и отчёты. 49 модулей, более 400 сайтов, API-ключи не требуются.

    755
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Приложение GhostLock с запуском в один клик (CVE-2026-43499)

    510
  • 3

    ARTEX

    baarai/artex

    Платформа автономного тестирования на проникновение на основе мультиагентной LLM с агентами-планировщиками и агентами-исполнителями, графами активов и исследования, записью MITM-трафика и повторной проверкой уязвимостей.

    415
  • 4

    redforge

    cybersecurity91/redforge

    Браузерный инструментарий для red team с 102 офлайн-инструментами для разведки, генерации полезной нагрузки, атак на учётные данные, криптографии, кодирования и отчётности по проектам.

    343
  • 5

    antifox

    antifox-ai/antifox

    Мультиагентная платформа автономного тестирования на проникновение на базе ИИ, которая выполняет разведку, обнаружение поверхности атаки, валидацию эксплуатации и подготовку отчётов с подтверждающими доказательствами.

    259
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Система действий для кибербезопасности на базе ИИ — где намерение превращается в управляемое исполнение, доказательства становятся оперативной памятью, а каждая операция улучшает следующую.

    258

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →