Skip to content
KitploitKITPLOIT
도구익스플로잇블로그
Log in
제출
도구익스플로잇블로그
제출

해킹, 침투 테스트 및 사이버 보안 도구를 당신의 보안 무기고에!

Kitploit은 해킹, 사이버 보안 및 침투 테스트 도구 디렉토리입니다. 최신 프로젝트 업데이트를 발견하여 취약점을 찾고, 시스템을 분석하고, 테스트를 자동화하고, 보안을 강화하세요.

피드문의개인정보© 2026 Kitploit

도구 디렉토리

카테고리

모든 카테고리 보기
Loading categories
CyBiasBench — 사이버 공격 시나리오에서 LLM 에이전트의 편향 벤치마킹 | Kitploit
도구/GitHubGitHub/harry24k/cybiasbench
Vulnerability AnalysisWeb Application ExploitationPenetration TestingMachine LearningPapers & ResearchLearning & EducationCurated ResourcesAI SecurityLabs & Practice
GitHubharry24k/cybiasbench

CyBiasBench

525일 전아직 검토되지 않음

사이버 공격 시나리오에서 LLM 에이전트의 편향 벤치마킹

저장소 보기
공유

CyBiasBench

LLM 공격 보안 에이전트의 행동 편향을 위한 벤치마크입니다. 각 레코드는 하나의 의도적으로 취약한 대상 애플리케이션에 대한 한 에이전트의 세션을 요약하며, 공격이 성공했는지 여부뿐만 아니라 에이전트가 공격 계열을 어떻게 선택하고, 순서를 정하고, 고수했는지를 포착합니다.

상태: NeurIPS 2026 Evaluations & Datasets Track 논문과 함께 제공되는 공개 릴리스입니다. 논문: https://arxiv.org/abs/2605.07830. 대화형 결과 대시보드: https://trustworthyai.co.kr/CyBiasBench/. Hugging Face의 데이터셋: https://huggingface.co/datasets/taeng0204/CyBiasBench.

구성 내용

  • 5개 에이전트 — claude, codex, gemini, kimi, glm
  • 3개 취약 대상 앱 — juice-shop, mlflow, vuln-shop
  • 두 가지 설정:
    • 편향 관찰 (자유 선택): 4개 프롬프트 조건 × 3회 반복 = 180개 세션. 조건은 프롬프트 안내(guided / unguided)와 출력 구조(structured / unstructured)를 교차합니다.
    • 편향 주입 (요청 계열): 10개 공격 계열 × 3회 반복 = 450개 세션. 각 세션은 하나의 특정 계열 (SQLi, CMDi, SSRF, IDOR, …)에 집중하도록 요청받습니다.
  • 편향 관찰 설정에서 행당 11개 열 (횟수, 세션 ASR, 엔트로피, 가장 많이 선택된 계열, Selection CR1, 총 토큰). 편향 주입 설정에서 행당 13개 열 (준수율, 요청 계열 ASR, 동일한 횟수).
  • (세션, 공격 계열)별 분석을 담은 장문 보조 테이블.
  • 정제된 요청 수준 트레이스 (논문 Table 5 스키마): 공격 계열 레이블, 분류기 규칙 식별자, CAPEC / CWE 매핑, 성공 플래그 및 세션별 요청 순서가 포함된 HTTP 요청 19,116개 행 (관찰) + 258,019개 행 (주입). 본문, 헤더, 절대 타임스탬프, 세밀한 타이밍은 제거됩니다.

논문은 세 대상 애플리케이션에 대해 가장 직접적으로 테스트 가능한 계열로 CAPEC + CWE + OWASP WSTG 분석을 통해 선택된 10개 공격 계열(sqli, xss, cmdi, path_traversal, auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure)을 분석합니다. 트레이스 수준 분류기는 OWASP CRS 규칙 계열 944에서 열한 번째 레이블(deserialization)을 상속합니다. 이는 요청 대상이 된 적이 없으며 트레이스 행의 <0.1%를 차지합니다. 자세한 내용은 schema/glossary.md §"Attack-family scope"를 참조하세요.

총 릴리스: 630개 집계 레코드 + 277,135개 트레이스 행 ≈ 48 MB.

해석 및 한계

이 측정값은 세 개의 웹 대상에 대한 다섯 개 배포 에이전트 스냅샷을 설명하며, 안정적인 모델 순위가 아닙니다. 할당은 모델, 시스템 프롬프트, CLI, 도구, 대상 상호작용을 반영합니다. 취약점 가용성, 발견 가능성, 실행 난이도, 요청 비용도 계열 점유율에 영향을 미칩니다. 이 설계는 내재적 선호를 식별하거나 이러한 요인들을 인과적으로 분리하지 않습니다.

원래의 자동 레이블 하에서의 세션 부트스트랩 분석은 조향 하에서 집계 평균 세션 ASR의 개선을 발견하지 못합니다. 이는 모든 에이전트에 대해 신뢰할 수 있는 감소를 입증하지 않습니다. 대체 요청 집계 단위는 에이전트 간 분리를 유지하면서 그 크기를 변화시킵니다. 더 큰 규모에서의 의사결정 가치, 단순 다양성 휴리스틱에 대한 우월성, 보지 못한 대상으로의 일반화는 여전히 미해결 과제입니다. 재현 가능한 분석은 HOW_TO_REPRODUCE.md를 참조하세요.

빠른 시작

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

또는 CSV / Parquet를 직접 로드하세요:

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

동일한 릴리스는 Hugging Face에서도 이용할 수 있습니다. datasets가 설치된 경우(pip install datasets):

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

여섯 개의 테이블은 각각 별도의 구성입니다. test 분할은 전체 테이블을 포함하며, 홀드아웃 파티션을 의미하지 않습니다.

재현: 2단계 재현 가이드(R1: 공개된 트레이스로부터의 재분석; R3: benchmark/를 통한 전체 재실험)는 HOW_TO_REPRODUCE.md를 참조하세요.

레이아웃

CyBiasBench/
├── data/                                 # tabular release (CSV + Parquet)
│   ├── bias_observation_records.{csv,parquet}        180 rows
│   ├── bias_observation_family_long.{csv,parquet}    1,082 rows
│   ├── bias_observation_traces.{csv,parquet}         19,116 rows (request-level)
│   ├── bias_injection_records.{csv,parquet}          450 rows
│   ├── bias_injection_family_long.{csv,parquet}      1,597 rows
│   └── bias_injection_traces.{csv,parquet}           258,019 rows (request-level)
├── schema/
│   ├── glossary.md                       metric definitions
│   ├── columns_bias_observation.md
│   ├── columns_bias_injection.md
│   └── columns_traces.md
├── src/cybiasbench/                      python loader package
├── scripts/                              R1 re-analysis + R3 post-processing
│   ├── build_records.py                  final_stats JSON → aggregate CSV/Parquet
│   ├── build_traces.py                   labeled JSONL → request-level CSV/Parquet
│   ├── verify_consistency.py             sanity suite (+ --round-trip closure)
│   ├── reviewer_revisions.py             bootstrap CIs + request-unit robustness
│   ├── momentum_repro.py                 compliance correlations + estimator comparison
│   ├── agent_identification.py           random-forest agent identification
│   ├── temporal_repro.py                 response to failure in request order
│   ├── classify/                         OWASP CRS + victim-specific classifiers
│   ├── verify/                           response heuristics + session verifier
│   ├── aggregate/                        final_stats.json generator
│   └── jsd_repro/                        Prompt-stability JSD reproduction
│       ├── table2_jsd_robustness.py      paper Table 2 (within/between-agent JSD)
│       └── prompt_profile_stability.py   paper appendix per-condition JSD
├── benchmark/                            R3 re-experiment harness (Docker + agents)
│   ├── run.sh                            one invocation = one (agent, target, prompt) session
│   ├── agents/                           6 agent CLI Dockerfiles (CLI versions pinned)
│   ├── metrics/                          LiteLLM proxy + mitmproxy HTTP logger
│   ├── prompts/                          guided/unguided + 10 injection prompts
│   ├── output_formats/                   4 condition templates
│   └── victims/                          locally-built target images
├── HOW_TO_REPRODUCE.md                   R1 + R3 reproduction walkthrough
├── DATASHEET.md                          Gebru et al. datasheet
├── RESPONSIBLE_USE.md                    dual-use guidance
├── croissant.json                        Croissant metadata (core + RAI)
├── LICENSE                               CC BY-NC-ND 4.0 (data / docs)
├── LICENSE-CODE                          MIT (code)
└── dashboard/                            Next.js source of the interactive result dashboard

설정 (논문 용어와 일치)

여기서의 두 설정은 함께 제공되는 논문의 4장과 5장에 해당합니다:

설정논문 섹션레코드설계
편향 관찰§4 ("자유 선택 설정")1805개 에이전트 × 3개 대상 × 4개 조건 × 3회 반복
편향 주입§54505개 에이전트 × 3개 대상 × 10개 요청 패밀리 × 3회 반복

컬럼 이름은 논문의 세션 요약 스키마(표 4)와 일치합니다: agent, target, condition, entropy, attack_total, session_asr, compliance, requested_family 등. 전체 매핑은 schema/glossary.md를 참조하세요.

지표 계층

논문 표 1의 세 계층:

  • 편향 — entropy ($H(X)$), selection_rate_pct (긴 형식의 $\mathrm{Sel}_i$), most_selected_family, selection_cr1.
  • 성능 — session_asr (세션 ASR), asr (긴 형식의 패밀리별 $\mathrm{ASR}_i$).
  • 효율성 및 견고성 — total_tokens (논문의 TPS = total_tokens / attack_success). 프롬프트 안정성 JSD는 공개된 긴 형식 선택 표로부터 scripts/jsd_repro/에 의해 재현됩니다 (논문 4장의 에이전트 내/에이전트 간 및 부록 B의 조건별).

레코드 재현

공개된 CSV / Parquet 파일은 실험 하네스가 생성한 업스트림 JSON / JSONL 아티팩트로부터 scripts/build_records.py (집계 표)와 scripts/build_traces.py (요청 수준 트레이스)에 의해 생성됩니다. 업스트림 아티팩트는 논문과 함께 제공되는 보충 아카이브에 번들로 포함되어 있습니다.

python scripts/build_records.py            # rebuild data/*records and *family_long
python scripts/build_traces.py             # rebuild data/*traces
python scripts/verify_consistency.py       # rows, domains, cross-table sums

# Strongest internal-consistency proof — re-derive records counts from the
# released traces (CSRF success-exclusion policy applied) and require an
# exact match. Closes the loop traces → policy → records:
python scripts/verify_consistency.py --round-trip

# Reproduce the paper's Prompt-stability JSD numbers from the released artefacts:
python scripts/jsd_repro/table2_jsd_robustness.py     # within/between-agent JSD
python scripts/jsd_repro/prompt_profile_stability.py  # per-condition JSD vs centroid
도구 다운로드

인기

모두 보기 →

커뮤니티에서 가장 많이 사용되는 도구를 찾아보세요.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 궁극의 OSINT 툴킷: 조사 그래프, 신뢰도 점수 산정, 별칭 패밀리, 지도, 타임라인 및 보고서. 49개 모듈, 400개 이상 사이트, API 키 불필요.

    546
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # GhostLock 원탭 실행 앱 (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    LLM 멀티 에이전트 자율 침투 테스트 플랫폼으로, 플래너/워커 에이전트, 자산 및 탐색 그래프, MITM 트래픽 기록, 취약점 재테스트 기능을 제공합니다.

    377
  • 4

    redforge

    cybersecurity91/redforge

    브라우저 측 레드 팀 툴킷으로, 정찰, 페이로드 생성, 자격 증명 공격, 암호화, 인코딩 및 참여 보고를 위한 102개의 오프라인 도구를 제공합니다.

    324
  • 5

    estorides

    grisuno/estorides

    99개 이상의 무료 OSINT 소스를 병렬로 집계하고, 엔티티를 지식 그래프로 해석하며, LLM 지원 분석과 함께 STIX 2.1, MISP 또는 GraphML로 내보냅니다.

    269
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI 네이티브 사이버보안을 위한 행동 체계—의도가 통제된 실행이 되고, 증거가 운영 메모리가 되며, 모든 운영이 다음 운영을 개선하는 곳.

    252

모든 도구 탐색

도구 컬렉션을 둘러보세요

모든 도구 보기 →