Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
CyBiasBench — Бенчмаркинг предвзятости LLM-агентов в сценариях кибератак | Kitploit
Инструменты/GitHubGitHub/harry24k/cybiasbench
Анализ уязвимостейЭксплуатация веб-приложенийТестирование на ПроникновениеМашинное ОбучениеСтатьи и ИсследованияОбучение и ОбразованиеПодобранные РесурсыБезопасность ИИЛаборатории и Практика
GitHubharry24k/cybiasbench

CyBiasBench

525 дней назадЕщё не проверено

Бенчмаркинг предвзятости LLM-агентов в сценариях кибератак

Репозиторий
Поделиться

CyBiasBench

Бенчмарк для поведенческих смещений у LLM-агентов наступательной безопасности. Каждая запись обобщает сессию одного агента против одного намеренно уязвимого целевого приложения, фиксируя не только то, увенчались ли атаки успехом, но и как агент выбирал семейства атак, выстраивал их последовательность и придерживался их.

Статус: публичный релиз, сопровождающий статью для трека Evaluations & Datasets конференции NeurIPS 2026. Статья: https://arxiv.org/abs/2605.07830. Интерактивная панель результатов: https://trustworthyai.co.kr/CyBiasBench/. Датасет на Hugging Face: https://huggingface.co/datasets/taeng0204/CyBiasBench.

Что входит в комплект

  • 5 агентов — claude, codex, gemini, kimi, glm
  • 3 уязвимых целевых приложения — juice-shop, mlflow, vuln-shop
  • Два режима:
    • Наблюдение смещений (свободный выбор): 4 условия промпта × 3 повтора = 180 сессий. Условия сочетают руководство промптом (guided / unguided) со структурой вывода (structured / unstructured).
    • Инъекция смещений (запрошенное семейство): 10 семейств атак × 3 повтора = 450 сессий. Каждой сессии предлагается сосредоточиться на одном конкретном семействе (SQLi, CMDi, SSRF, IDOR, …).
  • 11 столбцов на строку в режиме наблюдения смещений (счётчики, ASR сессии, энтропия, наиболее часто выбираемое семейство, Selection CR1, общее число токенов). 13 столбцов на строку в режиме инъекции смещений (соответствие запросу, ASR запрошенного семейства, те же счётчики).
  • Подробные сопутствующие таблицы с разбивкой по (сессия, семейство атак).
  • Очищенные трассировки на уровне запросов (схема из Таблицы 5 статьи): 19 116 строк (наблюдение) + 258 019 строк (инъекция) HTTP-запросов с метками семейств атак, идентификаторами правил классификатора, сопоставлениями CAPEC / CWE и флагами успеха, а также порядком запросов в сессии. Тела, заголовки, абсолютные временные метки и детальная хронометрия удалены.

В статье анализируются 10 семейств атак (sqli, xss, cmdi, path_traversal, auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure), выбранных посредством анализа CAPEC + CWE + OWASP WSTG как семейства, наиболее непосредственно проверяемые против трёх целевых приложений. Классификатор на уровне трассировок наследует одиннадцатую метку (deserialization) из семейства правил 944 OWASP CRS; она никогда не является запрошенной целью и составляет <0,1% строк трассировок. Полные подробности см. в schema/glossary.md §"Attack-family scope".

Общий объём релиза: 630 агрегированных записей + 277 135 строк трассировок ≈ 48 МБ.

Интерпретация и ограничения

Эти измерения описывают пять снимков развёрнутых агентов на трёх веб-целях, а не стабильные рейтинги моделей. Распределение отражает модель, системный промпт, CLI, инструменты и взаимодействие с целью. На доли семейств также влияют доступность уязвимостей, обнаружимость, сложность эксплуатации и стоимость запросов; дизайн не выявляет внутренние предпочтения и не разделяет эти факторы причинно.

Анализ начальной загрузки сессий при исходных автоматических метках не обнаруживает улучшения агрегированного среднего ASR сессий при управлении. Он не устанавливает надёжного снижения для каждого агента. Альтернативные единицы подсчёта запросов сохраняют разделение между агентами, изменяя его величину. Ценность решения в более крупном масштабе, превосходство над простыми эвристиками разнообразия и обобщение на невиданные цели остаются открытыми. Воспроизводимые анализы см. в HOW_TO_REPRODUCE.md.

Быстрый старт

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

Или загрузите CSV / Parquet напрямую:

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

Тот же релиз также доступен на Hugging Face. При установленном datasets (pip install datasets):

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

Каждая из шести таблиц представляет собой отдельную конфигурацию. Сплит test содержит полную таблицу; он не обозначает отложенную партицию.

Воспроизведение: см. HOW_TO_REPRODUCE.md — руководство по двухуровневому воспроизведению (R1 — повторный анализ по опубликованным трассам; R3 — полный повторный эксперимент через benchmark/).

Структура

CyBiasBench/
├── data/                                 # tabular release (CSV + Parquet)
│   ├── bias_observation_records.{csv,parquet}        180 rows
│   ├── bias_observation_family_long.{csv,parquet}    1,082 rows
│   ├── bias_observation_traces.{csv,parquet}         19,116 rows (request-level)
│   ├── bias_injection_records.{csv,parquet}          450 rows
│   ├── bias_injection_family_long.{csv,parquet}      1,597 rows
│   └── bias_injection_traces.{csv,parquet}           258,019 rows (request-level)
├── schema/
│   ├── glossary.md                       metric definitions
│   ├── columns_bias_observation.md
│   ├── columns_bias_injection.md
│   └── columns_traces.md
├── src/cybiasbench/                      python loader package
├── scripts/                              R1 re-analysis + R3 post-processing
│   ├── build_records.py                  final_stats JSON → aggregate CSV/Parquet
│   ├── build_traces.py                   labeled JSONL → request-level CSV/Parquet
│   ├── verify_consistency.py             sanity suite (+ --round-trip closure)
│   ├── reviewer_revisions.py             bootstrap CIs + request-unit robustness
│   ├── momentum_repro.py                 compliance correlations + estimator comparison
│   ├── agent_identification.py           random-forest agent identification
│   ├── temporal_repro.py                 response to failure in request order
│   ├── classify/                         OWASP CRS + victim-specific classifiers
│   ├── verify/                           response heuristics + session verifier
│   ├── aggregate/                        final_stats.json generator
│   └── jsd_repro/                        Prompt-stability JSD reproduction
│       ├── table2_jsd_robustness.py      paper Table 2 (within/between-agent JSD)
│       └── prompt_profile_stability.py   paper appendix per-condition JSD
├── benchmark/                            R3 re-experiment harness (Docker + agents)
│   ├── run.sh                            one invocation = one (agent, target, prompt) session
│   ├── agents/                           6 agent CLI Dockerfiles (CLI versions pinned)
│   ├── metrics/                          LiteLLM proxy + mitmproxy HTTP logger
│   ├── prompts/                          guided/unguided + 10 injection prompts
│   ├── output_formats/                   4 condition templates
│   └── victims/                          locally-built target images
├── HOW_TO_REPRODUCE.md                   R1 + R3 reproduction walkthrough
├── DATASHEET.md                          Gebru et al. datasheet
├── RESPONSIBLE_USE.md                    dual-use guidance
├── croissant.json                        Croissant metadata (core + RAI)
├── LICENSE                               CC BY-NC-ND 4.0 (data / docs)
├── LICENSE-CODE                          MIT (code)
└── dashboard/                            Next.js source of the interactive result dashboard

Настройки (соответствуют терминологии статьи)

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

Данных о популярности пока нет.

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →