一个用于评估 LLM 攻击性安全智能体行为偏差 的基准。 每条记录汇总了一个智能体针对一个故意存在漏洞的目标应用的会话,不仅记录了攻击是否成功,还记录了 智能体如何选择、排序并坚持使用攻击族。
状态: 随 NeurIPS 2026 Evaluations & Datasets Track 论文发布的公开版本。论文:https://arxiv.org/abs/2605.07830。 交互式结果仪表盘:https://trustworthyai.co.kr/CyBiasBench/。 Hugging Face 上的数据集:https://huggingface.co/datasets/taeng0204/CyBiasBench。
claude、codex、gemini、kimi、glmjuice-shop、mlflow、vuln-shopguided / unguided)
与输出结构(structured / unstructured)交叉组合。论文分析了 10 个攻击族(sqli、xss、cmdi、path_traversal、
auth_bypass、idor、ssrf、csrf、file_upload、info_disclosure),通过
CAPEC + CWE + OWASP WSTG 分析选出,这些攻击族是最能直接针对三个目标应用进行测试的族。轨迹级分类器从 OWASP CRS 规则族 944 继承了一个第十一标签(deserialization);它
从未作为请求目标,占轨迹行数 <0.1%。完整细节见
schema/glossary.md §“攻击族范围”。
发布总量:630 条聚合记录 + 277,135 行轨迹 ≈ 48 MB。
这些测量描述的是三个 Web 目标上的五个已部署智能体快照, 而非稳定的模型排名。分配结果反映了模型、系统提示、CLI、 工具以及目标交互。漏洞可用性、可发现性、 执行难度和请求成本也会影响攻击族份额;该设计 无法识别内在偏好,也无法因果性地分离这些因素。
在原始自动标签下进行的会话引导分析发现,在引导下聚合平均会话 ASR 没有
改善。它并未证明每个智能体都有可靠下降。替代的请求计数单位保留了
智能体之间的区分度,同时改变了其幅度。更大规模下的决策价值、
相对于简单多样性启发式的优越性,以及对未见目标的泛化能力仍有待研究。可复现分析见 HOW_TO_REPRODUCE.md。
git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e . # loader: pandas + pyarrow
pip install -e '.[jsd]' # add matplotlib + scipy + numpy for re-analysis
python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape) # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"
或直接加载 CSV / Parquet:
import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")
同一版本也可在 Hugging Face 上获取。
安装 datasets 后(pip install datasets):
from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
split="test", revision="v1.0.0")
六张表各自是一份独立的配置。test 划分包含完整的表;它并不表示留出的分区。
复现: 参见
HOW_TO_REPRODUCE.md了解 两级复现指南(R1 基于已发布轨迹的重新分析; R3 通过benchmark/进行的完整重新实验)。
CyBiasBench/
├── data/ # tabular release (CSV + Parquet)
│ ├── bias_observation_records.{csv,parquet} 180 rows
│ ├── bias_observation_family_long.{csv,parquet} 1,082 rows
│ ├── bias_observation_traces.{csv,parquet} 19,116 rows (request-level)
│ ├── bias_injection_records.{csv,parquet} 450 rows
│ ├── bias_injection_family_long.{csv,parquet} 1,597 rows
│ └── bias_injection_traces.{csv,parquet} 258,019 rows (request-level)
├── schema/
│ ├── glossary.md metric definitions
│ ├── columns_bias_observation.md
│ ├── columns_bias_injection.md
│ └── columns_traces.md
├── src/cybiasbench/ python loader package
├── scripts/ R1 re-analysis + R3 post-processing
│ ├── build_records.py final_stats JSON → aggregate CSV/Parquet
│ ├── build_traces.py labeled JSONL → request-level CSV/Parquet
│ ├── verify_consistency.py sanity suite (+ --round-trip closure)
│ ├── reviewer_revisions.py bootstrap CIs + request-unit robustness
│ ├── momentum_repro.py compliance correlations + estimator comparison
│ ├── agent_identification.py random-forest agent identification
│ ├── temporal_repro.py response to failure in request order
│ ├── classify/ OWASP CRS + victim-specific classifiers
│ ├── verify/ response heuristics + session verifier
│ ├── aggregate/ final_stats.json generator
│ └── jsd_repro/ Prompt-stability JSD reproduction
│ ├── table2_jsd_robustness.py paper Table 2 (within/between-agent JSD)
│ └── prompt_profile_stability.py paper appendix per-condition JSD
├── benchmark/ R3 re-experiment harness (Docker + agents)
│ ├── run.sh one invocation = one (agent, target, prompt) session
│ ├── agents/ 6 agent CLI Dockerfiles (CLI versions pinned)
│ ├── metrics/ LiteLLM proxy + mitmproxy HTTP logger
│ ├── prompts/ guided/unguided + 10 injection prompts
│ ├── output_formats/ 4 condition templates
│ └── victims/ locally-built target images
├── HOW_TO_REPRODUCE.md R1 + R3 reproduction walkthrough
├── DATASHEET.md Gebru et al. datasheet
├── RESPONSIBLE_USE.md dual-use guidance
├── croissant.json Croissant metadata (core + RAI)
├── LICENSE CC BY-NC-ND 4.0 (data / docs)
├── LICENSE-CODE MIT (code)
└── dashboard/ Next.js source of the interactive result dashboard
这里的两个设置对应随附论文的第 4 节和第 5 节:
| 设置 | 论文章节 | 记录数 | 设计 |
|---|---|---|---|
| 偏差观察 | §4(“自由选择设置”) | 180 | 5 个智能体 × 3 个目标 × 4 种条件 × 3 次重复 |
| 偏差注入 | §5 | 450 | 5 个智能体 × 3 个目标 × 10 个请求家族 × 3 次重复 |
列名与论文的会话摘要模式(表 4)一致:
agent、target、condition、entropy、attack_total、session_asr、
compliance、requested_family 等。完整映射见 schema/glossary.md。
来自论文表 1 的三个层级:
entropy($H(X)$)、selection_rate_pct(长格式中的 $\mathrm{Sel}_i$)、
most_selected_family、selection_cr1。session_asr(会话 ASR)、asr(长格式中每个家族的 $\mathrm{ASR}_i$)。total_tokens(论文中的 TPS = total_tokens / attack_success)。
提示稳定性 JSD 由 scripts/jsd_repro/ 从发布的长格式选择表复现
(论文第 4 节的智能体内/智能体间以及附录 B 的每种条件)。发布的 CSV / Parquet 文件由 scripts/build_records.py
(聚合表)和 scripts/build_traces.py(请求级轨迹)
从实验框架输出的上游 JSON / JSONL 产物生成。
上游产物打包在随附论文的补充归档中。
python scripts/build_records.py # rebuild data/*records and *family_long
python scripts/build_traces.py # rebuild data/*traces
python scripts/verify_consistency.py # rows, domains, cross-table sums
# Strongest internal-consistency proof — re-derive records counts from the
# released traces (CSRF success-exclusion policy applied) and require an
# exact match. Closes the loop traces → policy → records:
python scripts/verify_consistency.py --round-trip
# Reproduce the paper's Prompt-stability JSD numbers from the released artefacts:
python scripts/jsd_repro/table2_jsd_robustness.py # within/between-agent JSD
python scripts/jsd_repro/prompt_profile_stability.py # per-condition JSD vs centroid
将原始 HTTP 捕获转换为已发布产物的分类器、验证器和聚合器位于 scripts/classify/、scripts/verify/ 和 scripts/aggregate/ 下。每个目录都有自己的 README,记录策略决策(最重要的是 schema/columns_traces.md 中引用的 CSRF 成功排除策略)。
请求体和响应体、响应头以及逐字的智能体推理记录均被保留不公开。发布的脱敏轨迹仅保留请求路径(已去除控制字符)、方法、响应状态码以及分类器输出(attack_family、matched_rules、CAPEC、CWE、成功标志、简短的非载荷证据标签)。完整的脱敏协议见 RESPONSIBLE_USE.md。
位于 https://trustworthyai.co.kr/CyBiasBench/ 的交互式结果仪表板由 dashboard/(Next.js,静态导出)构建,并由 .github/workflows/deploy.yml 在每次涉及该目录的推送时部署。它与上述数据发布相互独立:data/、scripts/ 和 croissant.json 不依赖 dashboard/ 下的任何内容。