사이버 공격 시나리오에서 LLM 에이전트의 편향 벤치마킹
LLM 공격 보안 에이전트의 행동 편향을 위한 벤치마크입니다. 각 레코드는 하나의 의도적으로 취약한 대상 애플리케이션에 대한 한 에이전트의 세션을 요약하며, 공격이 성공했는지 여부뿐만 아니라 에이전트가 공격 계열을 어떻게 선택하고, 순서를 정하고, 고수했는지를 포착합니다.
상태: NeurIPS 2026 Evaluations & Datasets Track 논문과 함께 제공되는 공개 릴리스입니다. 논문: https://arxiv.org/abs/2605.07830. 대화형 결과 대시보드: https://trustworthyai.co.kr/CyBiasBench/. Hugging Face의 데이터셋: https://huggingface.co/datasets/taeng0204/CyBiasBench.
claude, codex, gemini, kimi, glmjuice-shop, mlflow, vuln-shopguided / unguided)와
출력 구조(structured / unstructured)를 교차합니다.논문은 세 대상 애플리케이션에 대해 가장 직접적으로 테스트 가능한 계열로
CAPEC + CWE + OWASP WSTG 분석을 통해 선택된 10개 공격 계열(sqli, xss, cmdi, path_traversal,
auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure)을 분석합니다. 트레이스 수준 분류기는 OWASP CRS 규칙 계열 944에서
열한 번째 레이블(deserialization)을 상속합니다. 이는
요청 대상이 된 적이 없으며 트레이스 행의 <0.1%를 차지합니다. 자세한 내용은
schema/glossary.md §"Attack-family scope"를 참조하세요.
총 릴리스: 630개 집계 레코드 + 277,135개 트레이스 행 ≈ 48 MB.
이 측정값은 세 개의 웹 대상에 대한 다섯 개 배포 에이전트 스냅샷을 설명하며, 안정적인 모델 순위가 아닙니다. 할당은 모델, 시스템 프롬프트, CLI, 도구, 대상 상호작용을 반영합니다. 취약점 가용성, 발견 가능성, 실행 난이도, 요청 비용도 계열 점유율에 영향을 미칩니다. 이 설계는 내재적 선호를 식별하거나 이러한 요인들을 인과적으로 분리하지 않습니다.
원래의 자동 레이블 하에서의 세션 부트스트랩 분석은 조향 하에서 집계 평균 세션 ASR의
개선을 발견하지 못합니다. 이는 모든 에이전트에 대해 신뢰할 수 있는
감소를 입증하지 않습니다. 대체 요청 집계 단위는
에이전트 간 분리를 유지하면서 그 크기를 변화시킵니다. 더 큰
규모에서의 의사결정 가치, 단순 다양성 휴리스틱에 대한 우월성, 보지 못한
대상으로의 일반화는 여전히 미해결 과제입니다. 재현 가능한 분석은 HOW_TO_REPRODUCE.md를 참조하세요.
git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e . # loader: pandas + pyarrow
pip install -e '.[jsd]' # add matplotlib + scipy + numpy for re-analysis
python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape) # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"
또는 CSV / Parquet를 직접 로드하세요:
import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")
동일한 릴리스는 Hugging Face에서도 이용할 수 있습니다.
datasets가 설치된 경우(pip install datasets):
from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
split="test", revision="v1.0.0")
여섯 개의 테이블은 각각 별도의 구성입니다. test 분할은
전체 테이블을 포함하며, 홀드아웃 파티션을 의미하지 않습니다.
재현: 2단계 재현 가이드(R1: 공개된 트레이스로부터의 재분석; R3:
benchmark/를 통한 전체 재실험)는HOW_TO_REPRODUCE.md를 참조하세요.
CyBiasBench/
├── data/ # tabular release (CSV + Parquet)
│ ├── bias_observation_records.{csv,parquet} 180 rows
│ ├── bias_observation_family_long.{csv,parquet} 1,082 rows
│ ├── bias_observation_traces.{csv,parquet} 19,116 rows (request-level)
│ ├── bias_injection_records.{csv,parquet} 450 rows
│ ├── bias_injection_family_long.{csv,parquet} 1,597 rows
│ └── bias_injection_traces.{csv,parquet} 258,019 rows (request-level)
├── schema/
│ ├── glossary.md metric definitions
│ ├── columns_bias_observation.md
│ ├── columns_bias_injection.md
│ └── columns_traces.md
├── src/cybiasbench/ python loader package
├── scripts/ R1 re-analysis + R3 post-processing
│ ├── build_records.py final_stats JSON → aggregate CSV/Parquet
│ ├── build_traces.py labeled JSONL → request-level CSV/Parquet
│ ├── verify_consistency.py sanity suite (+ --round-trip closure)
│ ├── reviewer_revisions.py bootstrap CIs + request-unit robustness
│ ├── momentum_repro.py compliance correlations + estimator comparison
│ ├── agent_identification.py random-forest agent identification
│ ├── temporal_repro.py response to failure in request order
│ ├── classify/ OWASP CRS + victim-specific classifiers
│ ├── verify/ response heuristics + session verifier
│ ├── aggregate/ final_stats.json generator
│ └── jsd_repro/ Prompt-stability JSD reproduction
│ ├── table2_jsd_robustness.py paper Table 2 (within/between-agent JSD)
│ └── prompt_profile_stability.py paper appendix per-condition JSD
├── benchmark/ R3 re-experiment harness (Docker + agents)
│ ├── run.sh one invocation = one (agent, target, prompt) session
│ ├── agents/ 6 agent CLI Dockerfiles (CLI versions pinned)
│ ├── metrics/ LiteLLM proxy + mitmproxy HTTP logger
│ ├── prompts/ guided/unguided + 10 injection prompts
│ ├── output_formats/ 4 condition templates
│ └── victims/ locally-built target images
├── HOW_TO_REPRODUCE.md R1 + R3 reproduction walkthrough
├── DATASHEET.md Gebru et al. datasheet
├── RESPONSIBLE_USE.md dual-use guidance
├── croissant.json Croissant metadata (core + RAI)
├── LICENSE CC BY-NC-ND 4.0 (data / docs)
├── LICENSE-CODE MIT (code)
└── dashboard/ Next.js source of the interactive result dashboard
여기서의 두 설정은 함께 제공되는 논문의 4장과 5장에 해당합니다:
| 설정 | 논문 섹션 | 레코드 | 설계 |
|---|---|---|---|
| 편향 관찰 | §4 ("자유 선택 설정") | 180 | 5개 에이전트 × 3개 대상 × 4개 조건 × 3회 반복 |
| 편향 주입 | §5 | 450 | 5개 에이전트 × 3개 대상 × 10개 요청 패밀리 × 3회 반복 |
컬럼 이름은 논문의 세션 요약 스키마(표 4)와 일치합니다:
agent, target, condition, entropy, attack_total, session_asr,
compliance, requested_family 등. 전체 매핑은 schema/glossary.md를
참조하세요.
논문 표 1의 세 계층:
entropy ($H(X)$), selection_rate_pct (긴 형식의 $\mathrm{Sel}_i$),
most_selected_family, selection_cr1.session_asr (세션 ASR), asr (긴 형식의 패밀리별 $\mathrm{ASR}_i$).total_tokens (논문의 TPS = total_tokens / attack_success).
프롬프트 안정성 JSD는 공개된 긴 형식 선택 표로부터
scripts/jsd_repro/에 의해 재현됩니다 (논문 4장의 에이전트 내/에이전트 간 및 부록 B의 조건별).공개된 CSV / Parquet 파일은 실험 하네스가 생성한 업스트림 JSON / JSONL 아티팩트로부터
scripts/build_records.py (집계 표)와 scripts/build_traces.py (요청 수준 트레이스)에
의해 생성됩니다.
업스트림 아티팩트는 논문과 함께 제공되는
보충 아카이브에 번들로 포함되어 있습니다.
python scripts/build_records.py # rebuild data/*records and *family_long
python scripts/build_traces.py # rebuild data/*traces
python scripts/verify_consistency.py # rows, domains, cross-table sums
# Strongest internal-consistency proof — re-derive records counts from the
# released traces (CSRF success-exclusion policy applied) and require an
# exact match. Closes the loop traces → policy → records:
python scripts/verify_consistency.py --round-trip
# Reproduce the paper's Prompt-stability JSD numbers from the released artefacts:
python scripts/jsd_repro/table2_jsd_robustness.py # within/between-agent JSD
python scripts/jsd_repro/prompt_profile_stability.py # per-condition JSD vs centroid