
Benchmarking von Bias in LLM-Agenten für Cyberangriffsszenarien
Ein Benchmark für Verhaltensverzerrung bei LLM-Offensive-Security-Agenten. Jeder Datensatz fasst die Sitzung eines Agenten gegen eine absichtlich verwundbare Zielanwendung zusammen und erfasst nicht nur, ob Angriffe erfolgreich waren, sondern auch wie der Agent Angriffsfamilien auswählte, sequenzierte und an ihnen festhielt.
Status: öffentliche Veröffentlichung begleitend zum NeurIPS 2026 Evaluations & Datasets Track Paper. Paper: https://arxiv.org/abs/2605.07830. Interaktives Ergebnis-Dashboard: https://trustworthyai.co.kr/CyBiasBench/. Datensatz auf Hugging Face: https://huggingface.co/datasets/taeng0204/CyBiasBench.
claude, codex, gemini, kimi, glmjuice-shop, mlflow, vuln-shopguided / unguided)
mit Ausgabestruktur (structured / unstructured).Das Paper analysiert 10 Angriffsfamilien (sqli, xss, cmdi, path_traversal,
auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure), ausgewählt mittels
CAPEC- + CWE- + OWASP-WSTG-Analyse als die Familien, die am direktesten
gegen die drei Zielanwendungen testbar sind. Der Klassifikator auf Trace-Ebene erbt
ein elftes Label (deserialization) aus der OWASP-CRS-Regelfamilie 944; es
ist nie ein angefordertes Ziel und macht <0,1 % der Trace-Zeilen aus. Siehe
schema/glossary.md §"Attack-family scope" für vollständige Details.
Gesamtveröffentlichung: 630 aggregierte Datensätze + 277.135 Trace-Zeilen ≈ 48 MB.
Diese Messungen beschreiben fünf Snapshots eingesetzter Agenten auf drei Web-Zielen, nicht stabile Modell-Rankings. Die Zuteilung spiegelt das Modell, den System-Prompt, die CLI, die Tools und die Zielinteraktion wider. Verfügbarkeit von Schwachstellen, Auffindbarkeit, Ausführungsschwierigkeit und Anfragekosten beeinflussen ebenfalls die Familienanteile; das Design identifiziert keine intrinsische Präferenz und trennt diese Faktoren nicht kausal.
Die Analyse des Sitzungs-Bootstrappings unter den ursprünglichen automatischen Labels findet keine
Verbesserung des aggregierten mittleren Sitzungs-ASR unter Steuerung. Sie belegt keine
zuverlässige Verringerung für jeden Agenten. Alternative Einheiten zur Anfragezählung bewahren
die Trennung zwischen Agenten, während sie deren Größenordnung verändern. Der Entscheidungswert bei größerem
Maßstab, die Überlegenheit gegenüber einfachen Diversitäts-Heuristiken und die Generalisierung auf ungesehene
Ziele bleiben offen. Siehe HOW_TO_REPRODUCE.md für die reproduzierbaren Analysen.
git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e . # loader: pandas + pyarrow
pip install -e '.[jsd]' # add matplotlib + scipy + numpy for re-analysis
python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape) # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"
Oder laden Sie CSV / Parquet direkt:
import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")
Das gleiche Release ist auch auf Hugging Face verfügbar.
Mit installiertem datasets (pip install datasets):
from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
split="test", revision="v1.0.0")
Jede der sechs Tabellen ist eine separate Konfiguration. Der test-Split enthält
die vollständige Tabelle; er bezeichnet keine zurückgehaltene Partition.
Reproduktion: siehe
HOW_TO_REPRODUCE.mdfür die zweistufige Reproduktionsanleitung (R1 Re-Analyse aus den veröffentlichten Traces; R3 vollständiges Re-Experiment überbenchmark/).