Skip to content
KitploitKITPLOIT
工具漏洞利用博客
Log in
提交
工具漏洞利用博客
提交

黑客、渗透测试和网络安全工具,武装您的安全武器库!

Kitploit 是一个黑客、网络安全和渗透测试工具的目录。发现最新的项目更新,查找漏洞、分析系统、自动化测试并加强你的安全。

订阅源联系隐私© 2026 Kitploit

工具目录

分类

查看所有分类
Loading categories
CyBiasBench — 针对网络攻击场景的 LLM 智能体基准测试偏差 | Kitploit
工具/GitHubGitHub/harry24k/cybiasbench
漏洞分析Web应用程序漏洞利用渗透测试机器学习论文与研究学习与教育精选资源AI 安全实验室与实践
GitHubharry24k/cybiasbench

CyBiasBench

针对网络攻击场景的 LLM 智能体基准测试偏差

525天前尚未审核
查看仓库
分享

CyBiasBench

一个用于评估 LLM 攻击性安全智能体行为偏差 的基准。 每条记录汇总了一个智能体针对一个故意存在漏洞的目标应用的会话,不仅记录了攻击是否成功,还记录了 智能体如何选择、排序并坚持使用攻击族。

状态: 随 NeurIPS 2026 Evaluations & Datasets Track 论文发布的公开版本。论文:https://arxiv.org/abs/2605.07830。 交互式结果仪表盘:https://trustworthyai.co.kr/CyBiasBench/。 Hugging Face 上的数据集:https://huggingface.co/datasets/taeng0204/CyBiasBench。

内容概览

  • 5 个智能体 — claude、codex、gemini、kimi、glm
  • 3 个存在漏洞的目标应用 — juice-shop、mlflow、vuln-shop
  • 两种设置:
    • 偏差观察(自由选择):4 种提示条件 × 3 次重复 = 180 个会话。条件将提示引导(guided / unguided) 与输出结构(structured / unstructured)交叉组合。
    • 偏差注入(指定攻击族):10 个攻击族 × 3 次重复 = 450 个会话。每个会话被要求专注于一个特定攻击族 (SQLi、CMDi、SSRF、IDOR 等)。
  • 偏差观察设置中每行 11 列(计数、会话 ASR、熵、最常选择的攻击族、Selection CR1、总 token 数)。 偏差注入设置中每行 13 列(合规性、 指定攻击族 ASR、相同计数)。
  • 长格式配套表,包含按(会话、攻击族)的细分。
  • 经过脱敏的请求级轨迹(论文表 5 模式):19,116 行 (观察)+ 258,019 行(注入)HTTP 请求,带有攻击 族标签、分类器规则标识符、CAPEC / CWE 映射以及 成功标志和每会话请求顺序。请求体、请求头、绝对 时间戳和细粒度时序信息已被剥离。

论文分析了 10 个攻击族(sqli、xss、cmdi、path_traversal、 auth_bypass、idor、ssrf、csrf、file_upload、info_disclosure),通过 CAPEC + CWE + OWASP WSTG 分析选出,这些攻击族是最能直接针对三个目标应用进行测试的族。轨迹级分类器从 OWASP CRS 规则族 944 继承了一个第十一标签(deserialization);它 从未作为请求目标,占轨迹行数 <0.1%。完整细节见 schema/glossary.md §“攻击族范围”。

发布总量:630 条聚合记录 + 277,135 行轨迹 ≈ 48 MB。

解释与局限

这些测量描述的是三个 Web 目标上的五个已部署智能体快照, 而非稳定的模型排名。分配结果反映了模型、系统提示、CLI、 工具以及目标交互。漏洞可用性、可发现性、 执行难度和请求成本也会影响攻击族份额;该设计 无法识别内在偏好,也无法因果性地分离这些因素。

在原始自动标签下进行的会话引导分析发现,在引导下聚合平均会话 ASR 没有 改善。它并未证明每个智能体都有可靠下降。替代的请求计数单位保留了 智能体之间的区分度,同时改变了其幅度。更大规模下的决策价值、 相对于简单多样性启发式的优越性,以及对未见目标的泛化能力仍有待研究。可复现分析见 HOW_TO_REPRODUCE.md。

快速开始

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

或直接加载 CSV / Parquet:

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

同一版本也可在 Hugging Face 上获取。 安装 datasets 后(pip install datasets):

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

六张表各自是一份独立的配置。test 划分包含完整的表;它并不表示留出的分区。

复现: 参见 HOW_TO_REPRODUCE.md 了解 两级复现指南(R1 基于已发布轨迹的重新分析; R3 通过 benchmark/ 进行的完整重新实验)。

布局

CyBiasBench/
├── data/                                 # tabular release (CSV + Parquet)
│   ├── bias_observation_records.{csv,parquet}        180 rows
│   ├── bias_observation_family_long.{csv,parquet}    1,082 rows
│   ├── bias_observation_traces.{csv,parquet}         19,116 rows (request-level)
│   ├── bias_injection_records.{csv,parquet}          450 rows
│   ├── bias_injection_family_long.{csv,parquet}      1,597 rows
│   └── bias_injection_traces.{csv,parquet}           258,019 rows (request-level)
├── schema/
│   ├── glossary.md                       metric definitions
│   ├── columns_bias_observation.md
│   ├── columns_bias_injection.md
│   └── columns_traces.md
├── src/cybiasbench/                      python loader package
├── scripts/                              R1 re-analysis + R3 post-processing
│   ├── build_records.py                  final_stats JSON → aggregate CSV/Parquet
│   ├── build_traces.py                   labeled JSONL → request-level CSV/Parquet
│   ├── verify_consistency.py             sanity suite (+ --round-trip closure)
│   ├── reviewer_revisions.py             bootstrap CIs + request-unit robustness
│   ├── momentum_repro.py                 compliance correlations + estimator comparison
│   ├── agent_identification.py           random-forest agent identification
│   ├── temporal_repro.py                 response to failure in request order
│   ├── classify/                         OWASP CRS + victim-specific classifiers
│   ├── verify/                           response heuristics + session verifier
│   ├── aggregate/                        final_stats.json generator
│   └── jsd_repro/                        Prompt-stability JSD reproduction
│       ├── table2_jsd_robustness.py      paper Table 2 (within/between-agent JSD)
│       └── prompt_profile_stability.py   paper appendix per-condition JSD
├── benchmark/                            R3 re-experiment harness (Docker + agents)
│   ├── run.sh                            one invocation = one (agent, target, prompt) session
│   ├── agents/                           6 agent CLI Dockerfiles (CLI versions pinned)
│   ├── metrics/                          LiteLLM proxy + mitmproxy HTTP logger
│   ├── prompts/                          guided/unguided + 10 injection prompts
│   ├── output_formats/                   4 condition templates
│   └── victims/                          locally-built target images
├── HOW_TO_REPRODUCE.md                   R1 + R3 reproduction walkthrough
├── DATASHEET.md                          Gebru et al. datasheet
├── RESPONSIBLE_USE.md                    dual-use guidance
├── croissant.json                        Croissant metadata (core + RAI)
├── LICENSE                               CC BY-NC-ND 4.0 (data / docs)
├── LICENSE-CODE                          MIT (code)
└── dashboard/                            Next.js source of the interactive result dashboard

设置(与论文术语一致)

这里的两个设置对应随附论文的第 4 节和第 5 节:

设置论文章节记录数设计
偏差观察§4(“自由选择设置”)1805 个智能体 × 3 个目标 × 4 种条件 × 3 次重复
偏差注入§54505 个智能体 × 3 个目标 × 10 个请求家族 × 3 次重复

列名与论文的会话摘要模式(表 4)一致: agent、target、condition、entropy、attack_total、session_asr、 compliance、requested_family 等。完整映射见 schema/glossary.md。

指标层级

来自论文表 1 的三个层级:

  • 偏差 — entropy($H(X)$)、selection_rate_pct(长格式中的 $\mathrm{Sel}_i$)、 most_selected_family、selection_cr1。
  • 性能 — session_asr(会话 ASR)、asr(长格式中每个家族的 $\mathrm{ASR}_i$)。
  • 效率与鲁棒性 — total_tokens(论文中的 TPS = total_tokens / attack_success)。 提示稳定性 JSD 由 scripts/jsd_repro/ 从发布的长格式选择表复现 (论文第 4 节的智能体内/智能体间以及附录 B 的每种条件)。

复现记录

发布的 CSV / Parquet 文件由 scripts/build_records.py (聚合表)和 scripts/build_traces.py(请求级轨迹) 从实验框架输出的上游 JSON / JSONL 产物生成。 上游产物打包在随附论文的补充归档中。

python scripts/build_records.py            # rebuild data/*records and *family_long
python scripts/build_traces.py             # rebuild data/*traces
python scripts/verify_consistency.py       # rows, domains, cross-table sums

# Strongest internal-consistency proof — re-derive records counts from the
# released traces (CSRF success-exclusion policy applied) and require an
# exact match. Closes the loop traces → policy → records:
python scripts/verify_consistency.py --round-trip

# Reproduce the paper's Prompt-stability JSD numbers from the released artefacts:
python scripts/jsd_repro/table2_jsd_robustness.py     # within/between-agent JSD
python scripts/jsd_repro/prompt_profile_stability.py  # per-condition JSD vs centroid

将原始 HTTP 捕获转换为已发布产物的分类器、验证器和聚合器位于 scripts/classify/、scripts/verify/ 和 scripts/aggregate/ 下。每个目录都有自己的 README,记录策略决策(最重要的是 schema/columns_traces.md 中引用的 CSRF 成功排除策略)。

本发布中不包含的内容

请求体和响应体、响应头以及逐字的智能体推理记录均被保留不公开。发布的脱敏轨迹仅保留请求路径(已去除控制字符)、方法、响应状态码以及分类器输出(attack_family、matched_rules、CAPEC、CWE、成功标志、简短的非载荷证据标签)。完整的脱敏协议见 RESPONSIBLE_USE.md。

交互式仪表板

位于 https://trustworthyai.co.kr/CyBiasBench/ 的交互式结果仪表板由 dashboard/(Next.js,静态导出)构建,并由 .github/workflows/deploy.yml 在每次涉及该目录的推送时部署。它与上述数据发布相互独立:data/、scripts/ 和 croissant.json 不依赖 dashboard/ 下的任何内容。

下载工具

最受欢迎

查看全部 →

发现我们社区最常用的工具。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 终极 OSINT 工具包:调查图谱、置信度评分、别名家族、地图、时间线和报告。49 个模块、400+ 个站点,无需 API 密钥。

    546
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock 一键执行应用(CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    基于LLM的多智能体自主渗透测试平台,具备规划器/执行器智能体、资产与探索图谱、MITM流量记录以及漏洞复测功能。

    377
  • 4

    redforge

    cybersecurity91/redforge

    浏览器端红队工具包,包含 102 个离线工具,用于侦察、载荷生成、凭据攻击、加密、编码和交战报告。

    324
  • 5

    estorides

    grisuno/estorides

    并行聚合 99+ 个免费 OSINT 来源,将实体解析为知识图谱,并借助 LLM 辅助分析导出 STIX 2.1、MISP 或 GraphML。

    269
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI原生网络安全的行动系统——在这里,意图转化为受治理的执行,证据沉淀为运营记忆,每一次操作都让下一次更出色。

    252

探索所有工具

浏览我们的工具集合

查看所有工具 →