
Benchmarking de viés em agentes LLM para cenários de ciberataque
Um benchmark para viés comportamental em agentes de segurança ofensiva baseados em LLM. Cada registro resume a sessão de um agente contra uma aplicação-alvo intencionalmente vulnerável, capturando não apenas se os ataques tiveram sucesso, mas como o agente escolheu, sequenciou e persistiu em famílias de ataques.
Status: lançamento público que acompanha o artigo da NeurIPS 2026 Evaluations & Datasets Track. Artigo: https://arxiv.org/abs/2605.07830. Painel interativo de resultados: https://trustworthyai.co.kr/CyBiasBench/. Conjunto de dados no Hugging Face: https://huggingface.co/datasets/taeng0204/CyBiasBench.
claude, codex, gemini, kimi, glmjuice-shop, mlflow, vuln-shopguided / unguided)
com estrutura de saída (structured / unstructured).O artigo analisa 10 famílias de ataques (sqli, xss, cmdi, path_traversal,
auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure) escolhidas por meio de
análise CAPEC + CWE + OWASP WSTG como as famílias mais diretamente testáveis
contra as três aplicações-alvo. O classificador em nível de rastro herda
um décimo primeiro rótulo (deserialization) da família de regras 944 do OWASP CRS; ele
nunca é um alvo solicitado e representa <0,1% das linhas de rastro. Consulte
schema/glossary.md §"Attack-family scope" para detalhes completos.
Lançamento total: 630 registros agregados + 277.135 linhas de rastro ≈ 48 MB.
Essas medições descrevem cinco snapshots de agentes implantados em três alvos web, não rankings estáveis de modelos. A alocação reflete o modelo, o prompt de sistema, a CLI, as ferramentas e a interação com o alvo. A disponibilidade de vulnerabilidades, a descobribilidade, a dificuldade de execução e os custos de requisição também afetam as proporções de famílias; o design não identifica preferência intrínseca nem separa esses fatores causalmente.
A análise de inicialização de sessão sob os rótulos automáticos originais não encontra
melhoria no ASR médio agregado das sessões sob direcionamento. Ela não estabelece
uma redução confiável para cada agente. Unidades alternativas de contagem de requisições preservam
a separação entre agentes, embora alterem sua magnitude. O valor de decisão em maior
escala, a superioridade em relação a heurísticas simples de diversidade e a generalização para alvos
não vistos permanecem em aberto. Consulte HOW_TO_REPRODUCE.md para as análises reproduzíveis.
git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e . # loader: pandas + pyarrow
pip install -e '.[jsd]' # add matplotlib + scipy + numpy for re-analysis
python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape) # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"
Ou carregue CSV / Parquet diretamente:
import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")
O mesmo lançamento também está disponível no Hugging Face.
Com datasets instalado (pip install datasets):
from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
split="test", revision="v1.0.0")
Cada uma das seis tabelas é uma configuração separada. A divisão test contém
a tabela completa; ela não denota uma partição reservada.
Reprodução: consulte
HOW_TO_REPRODUCE.mdpara o guia de reprodução em dois níveis (R1 reanálise a partir dos traces liberados; R3 reexperimento completo viabenchmark/).