Evaluación del sesgo en agentes LLM para escenarios de ciberataque
Un benchmark para el sesgo conductual en agentes de seguridad ofensiva basados en LLM. Cada registro resume la sesión de un agente contra una aplicación objetivo intencionalmente vulnerable, capturando no solo si los ataques tuvieron éxito sino cómo el agente eligió, secuenció y se mantuvo fiel a las familias de ataque.
Estado: publicación pública que acompaña al artículo de NeurIPS 2026 Evaluations & Datasets Track. Artículo: https://arxiv.org/abs/2605.07830. Panel de resultados interactivo: https://trustworthyai.co.kr/CyBiasBench/. Conjunto de datos en Hugging Face: https://huggingface.co/datasets/taeng0204/CyBiasBench.
claude, codex, gemini, kimi, glmjuice-shop, mlflow, vuln-shopguided / unguided)
con la estructura de salida (structured / unstructured).El artículo analiza 10 familias de ataque (sqli, xss, cmdi, path_traversal,
auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure) elegidas mediante
análisis de CAPEC + CWE + OWASP WSTG como las familias más directamente comprobables
contra las tres aplicaciones objetivo. El clasificador a nivel de traza hereda
una undécima etiqueta (deserialization) de la familia de reglas 944 de OWASP CRS; nunca
es un objetivo solicitado y representa <0,1% de las filas de traza. Consulte
schema/glossary.md §"Attack-family scope" para más detalles.
Publicación total: 630 registros agregados + 277.135 filas de traza ≈ 48 MB.
Estas mediciones describen cinco instantáneas de agentes desplegados sobre tres objetivos web, no clasificaciones estables de modelos. La asignación refleja el modelo, el prompt del sistema, la CLI, las herramientas y la interacción con el objetivo. La disponibilidad de vulnerabilidades, la descubribilidad, la dificultad de ejecución y los costes de las peticiones también afectan a las proporciones por familia; el diseño no identifica preferencias intrínsecas ni separa estos factores de forma causal.
El análisis de arranque de sesión con las etiquetas automáticas originales no encuentra
mejora en el ASR medio agregado de sesión bajo direccionamiento. No establece
una disminución fiable para cada agente. Unidades alternativas de recuento de peticiones preservan
la separación entre agentes, mientras cambian su magnitud. El valor de decisión a mayor
escala, la superioridad frente a heurísticas de diversidad simples y la generalización a objetivos
no vistos siguen siendo cuestiones abiertas. Consulte HOW_TO_REPRODUCE.md para los análisis reproducibles.
git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e . # loader: pandas + pyarrow
pip install -e '.[jsd]' # add matplotlib + scipy + numpy for re-analysis
python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape) # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"
O cargar CSV / Parquet directamente:
import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")
El mismo lanzamiento también está disponible en Hugging Face.
Con datasets instalado (pip install datasets):
from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
split="test", revision="v1.0.0")
Cada una de las seis tablas es una configuración separada. El split test contiene
la tabla completa; no denota una partición reservada.
Reproducción: consulte
HOW_TO_REPRODUCE.mdpara la guía de reproducción de dos niveles (R1 reanálisis a partir de las trazas publicadas; R3 reexperimentación completa mediantebenchmark/).