Évaluation des biais dans les agents LLM pour les scénarios de cyberattaque
Un benchmark pour le biais comportemental des agents LLM de sécurité offensive. Chaque enregistrement résume la session d'un agent contre une application cible intentionnellement vulnérable, capturant non seulement si les attaques ont réussi mais comment l'agent a choisi, séquencé et persisté dans les familles d'attaques.
Statut : version publique accompagnant l'article de la piste Evaluations & Datasets de NeurIPS 2026. Article : https://arxiv.org/abs/2605.07830. Tableau de bord interactif des résultats : https://trustworthyai.co.kr/CyBiasBench/. Jeu de données sur Hugging Face : https://huggingface.co/datasets/taeng0204/CyBiasBench.
claude, codex, gemini, kimi, glmjuice-shop, mlflow, vuln-shopguided / unguided)
avec la structure de sortie (structured / unstructured).L'article analyse 10 familles d'attaques (sqli, xss, cmdi, path_traversal,
auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure) choisies via
une analyse CAPEC + CWE + OWASP WSTG comme les familles les plus directement testables
contre les trois applications cibles. Le classifieur au niveau des traces hérite
d'une onzième étiquette (deserialization) de la famille de règles 944 d'OWASP CRS ; elle
n'est jamais une cible demandée et représente <0,1 % des lignes de trace. Voir
schema/glossary.md §« Attack-family scope » pour tous les détails.
Version totale : 630 enregistrements agrégés + 277 135 lignes de trace ≈ 48 Mo.
Ces mesures décrivent cinq instantanés d'agents déployés sur trois cibles web, et non des classements stables de modèles. L'allocation reflète le modèle, le prompt système, la CLI, les outils et l'interaction avec la cible. La disponibilité des vulnérabilités, leur découvrabilité, la difficulté d'exécution et les coûts des requêtes affectent également les parts de familles ; la conception n'identifie pas de préférence intrinsèque ni ne sépare ces facteurs de manière causale.
L'analyse d'amorçage de session sous les étiquettes automatiques d'origine ne trouve aucune
amélioration de l'ASR moyen agrégé des sessions sous pilotage. Elle n'établit pas
de diminution fiable pour chaque agent. Des unités alternatives de comptage des requêtes préservent
la séparation entre agents, tout en modifiant son amplitude. La valeur décisionnelle à plus grande
échelle, la supériorité sur des heuristiques de diversité simples et la généralisation à des
cibles inédites restent ouvertes. Voir HOW_TO_REPRODUCE.md pour les analyses reproductibles.
git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e . # loader: pandas + pyarrow
pip install -e '.[jsd]' # add matplotlib + scipy + numpy for re-analysis
python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape) # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"
Ou chargez directement un fichier CSV / Parquet :
import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")
La même version est également disponible sur Hugging Face.
Avec datasets installé (pip install datasets) :
from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
split="test", revision="v1.0.0")
Chacun des six tableaux est une configuration distincte. Le split test contient
le tableau complet ; il ne désigne pas une partition mise de côté.
Reproduction : voir
HOW_TO_REPRODUCE.mdpour le guide de reproduction à deux niveaux (R1 ré-analyse à partir des traces publiées ; R3 ré-expérimentation complète viabenchmark/).