TarantuBench v1

Um benchmark para avaliar agentes de IA em desafios de segurança web, gerado pelo motor TarantuLabs.

O que é isso?

TarantuBench é uma coleção de 100 aplicações web vulneráveis, cada uma contendo uma flag oculta (TARANTU{...}). O trabalho de um agente é encontrar e extrair a flag interagindo com a aplicação via HTTP — exatamente como um pentester humano faria.

Os desafios variam de bypasses de login por injeção SQL de nível iniciante até cadeias de ataque avançadas de múltiplas etapas que exigem a exploração de até 5 vulnerabilidades em sequência — incluindo abuso de lógica de negócios, XSS armazenado para roubo de sessão, falsificação de JWT, SSRF e injeção SQL em APIs internas.

Cada laboratório é uma aplicação Node.js/Express autocontida com um banco de dados SQLite em memória. Sem dependências externas, sem necessidade de acesso à rede — basta iniciar o servidor e começar a sondar.

Todos os desafios desta versão foram gerados usando o motor proprietário de geração de laboratórios do TarantuLabs.

v1 — Geração em Escala

O TarantuBench v1 representa um benchmark maduro e escalável, apoiado por um pipeline de geração comprovado:

• Taxa de transferência. O pipeline gera aproximadamente 100 laboratórios verificados por hora usando o Claude Opus com pensamento adaptativo. Cada laboratório é uma aplicação web completa e temática, com interface do usuário realista, dados semeados e uma ou mais vulnerabilidades exploráveis.
• Verificação. Todo laboratório gerado é validado deterministicamente: inicie o servidor, execute um solucionador gerado automaticamente e confirme que a flag é extraível. O pipeline atinge uma taxa de verificação de 93% na primeira passagem. Laboratórios com falha são diagnosticados e regenerados automaticamente até que o lote completo seja aprovado.
• Node.js/Express por design. Todos os laboratórios têm como alvo Node.js/Express — esta é uma escolha deliberada, não uma limitação. Permite que cada desafio seja executado interativamente no navegador via WebContainers em tarantulabs.com, tornando o benchmark acessível sem qualquer configuração local.
• O que vem a seguir. Versões futuras expandirão a infraestrutura de vulnerabilidades para outras estruturas de servidor e linguagens, e explorarão desafios de segurança além de aplicações web — incluindo exploração binária, segurança de rede e ataques criptográficos.

Início Rápido

Requisitos do harness Node: Node.js 18+ e npm.

Requisitos da tarefa Inspect AI: Python 3.11+, Docker e uv ou outro instalador compatível com PEP 517.

O conjunto de dados de laboratórios executáveis está publicado no Hugging Face em tarantulabs/TarantuBench. Este repositório GitHub contém o harness de avaliação e a documentação.

git clone https://github.com/Trivulzianus/TarantuBench.git
cd TarantuBench
cd eval && npm install && cd ..

# Baixe o arquivo do dataset do Hugging Face, ou clone o repositório do dataset:
# git clone https://huggingface.co/datasets/tarantulabs/TarantuBench data

# Execute seu agente contra todos os 100 laboratórios
node eval/harness.js --dataset data/tarantubench-v1.jsonl \
  --command "python my_agent.py --url {URL}" \
  --timeout 300

# Gere o scorecard
node eval/scorecard.js

Antes de executar uma avaliação formal, valide que o dataset local ou do Hugging Face tem a contagem de linhas e o esquema esperados:

node eval/validate-dataset.js --dataset data/tarantubench-v1.jsonl --expected-count 100
node eval/validate-dataset.js --hf tarantulabs/TarantuBench --expected-count 100

O harness inicia cada laboratório, coloca um proxy de registro transparente na frente dele e executa o comando do seu agente (substituindo {URL} pelo endereço de destino). Seu agente pode ser escrito em qualquer linguagem — ele só precisa fazer requisições HTTP e enviar a flag via POST {URL}/submit-flag com o corpo {"flag": "TARANTU{...}"}.

Executar um Laboratório Único Manualmente

# Inicie um laboratório no modo servidor — o harness imprime a URL, você conecta seu agente
node eval/harness.js --dataset data/tarantubench-v1.jsonl \
  --labs corporate-portal-chain-xss-idor \
  --mode server --timeout 300

Por que este benchmark?

• Avaliação inequívoca: Ou o agente extrai a flag, ou não. Sem crédito parcial, sem necessidade de julgamento humano.
• Dificuldade graduada: De iniciante (ponto de injeção único) a avançado (cadeias de exploração de múltiplas etapas exigindo 2–5 vulnerabilidades encadeadas).
• Reprodutível: Código de servidor determinístico e sem APIs externas. O harness gera uma flag nova por execução, então o comportamento de exploração é reprodutível enquanto o valor literal da flag muda a cada execução.
• Gerado em escala: Os laboratórios são sintetizados pelo motor TarantuLabs, não escritos à mão. Isso significa que o benchmark pode crescer programaticamente à medida que adicionamos novos tipos de vulnerabilidade e definições de cadeias.

Esquema do Dataset

Cada linha em data/tarantubench-v1.jsonl representa um desafio:

Coluna	Tipo	Descrição
lab_id	string	Identificador único
title	string	Nome do desafio legível por humanos
description	string	Breve descrição do cenário (mostrada ao agente)
objectives	list[string]	O que é dito ao agente para realizar
hints	list[string]	Dicas progressivas opcionais (para estudos de ablação)
difficulty	string	Beginner, Intermediate ou Advanced
category	string	Família primária de vulnerabilidade (ex.: Injeção SQL, XSS)
vuln_subtype	string	Técnica específica (ex.: sqli-union, xss-stored)
chain_type	string ou null	Identificador de cadeia de múltiplas etapas, ou null para laboratórios de vulnerabilidade única
server_code	string	Código fonte completo Node.js/Express da aplicação vulnerável
dependencies	object	Dependências de pacotes npm necessárias para executar o servidor

Distribuição dos Desafios

Por Dificuldade

Dificuldade	Contagem	Descrição
Iniciante	35	Vulnerabilidade única, exploração direta
Intermediário	25	Requer enumeração, bypass de filtro ou lógica de múltiplas etapas
Avançado	40	Cadeias de múltiplas etapas, falhas de lógica de negócios ou exploração profunda

Por Categoria

Categoria	Contagem
Cadeias de Múltiplas Vulnerabilidades	34
Injeção SQL	20
IDOR (Referência Direta a Objeto Insegura)	11
Bypass de Autenticação/Autorização	10
XSS (Cross-Site Scripting)	10
Lógica de Negócios	8
Injeção de Comandos	5
SSRF	2

Desafios em Cadeia

34 dos 100 laboratórios exigem o encadeamento de múltiplas vulnerabilidades: