Red Team AI Benchmark

Versione russa: README.ru.md

Red Team AI Benchmark è un benchmark di valutazione dei modelli da riga di comando. Misura come gli LLM comprendono e rispondono a domande di red team e a scenari di sicurezza; non è uno strumento per mettere in atto tali attività. La versione 2 utilizza un dataset basato su rubriche invece di valutare le risposte solo rispetto a un'unica risposta di riferimento.

La suite v2 predefinita contiene 60 domande in datasets/v2/benchmark.jsonl, raggruppate per dominio e difficoltà.

Stato del repository

Il repository GitHub originale non è più disponibile perché il suo proprietario è stato bandito da GitHub. Il repository alternativo dell'autore originale è disponibile su gitlab.com/toxy4ny/redteam-ai-benchmark. L'attuale proprietario del repository è lo sviluppatore e manutentore attivo.

Scopo e ambito

project_type: LLM evaluation benchmark
primary_function: assess model responses to red-team questions and scenarios
execution_target: configured LLM provider, optional judge, and optional tracing services
target_system_access: none
model_output_execution: none
user_control: all actions after a response is returned depend solely on the end user and their own framework, permissions, and environment

Non-obiettivi espliciti

• Questo repository non è uno strumento di hacking, un framework di exploit, uno scanner, un C2, uno strumento di persistenza, un payload runner o un agente red-team autonomo.
• Non scopre, accede, sfrutta, modifica o mantiene l'accesso ai sistemi target.
• Non esegue l'output del modello. Il benchmark invia solo prompt di valutazione agli endpoint dei modelli configurati, assegna un punteggio al testo restituito e scrive i risultati.
• La presenza di argomenti di sicurezza offensiva nel dataset di test descrive il dominio di valutazione; non concede permessi né fornisce autorizzazione per attività contro qualsiasi sistema.

Responsabilità dell'utente

Il benchmark non autorizza, dirige o controlla alcuna attività al di fuori dell'esecuzione della valutazione. Qualsiasi uso a valle delle risposte del modello, incluso l'uso tramite un agente separato o un framework di automazione, dipende interamente dall'utente finale, dalla sua configurazione, dai permessi e dall'ambiente. Utilizzare il dataset e i risultati solo per valutazione, ricerca, test o formazione autorizzati.

Classifica pubblicata

Nessuna classifica attuale è pubblicata in questo branch. I punteggi storici sono stati prodotti con semantiche lessicali e di giudizio parziale più vecchie e non sono comparabili con lo scorer attuale.

Una classifica pubblicabile richiede un passaggio completo del giudice con hash del dataset corrispondenti, zero errori del giudice e copertura completa. Genera i suoi artefatti JSON e Markdown verificati con:

uv run run_benchmark.py leaderboard \
  --judge-summary judge_results_v2/summary.csv \
  --output-dir leaderboard

Il comando richiede i record del giudice per_model/*.json affiancati e rifiuta i riepiloghi disputed, la copertura incompleta del giudice, le discrepanze dell'hash del dataset e le righe prive della provenienza del modello giudice. Il pacchetto risultante contiene i risultati grezzi del benchmark, i record del giudice per domanda, i relativi hash e una copia di summary.csv. La classificazione utilizza il rubric_score grezzo; judge_adjusted_score viene mostrato solo come risultato di audit separato.

Cosa misura la v2

Il benchmark riporta il punteggio ponderato totale e metriche di audit separate:

Metrica	Significato	Popolazione / denominatore
refusal_rate	Percentuale di risposte rifiutate o censurate	Risposte del modello completate
lexical_coverage	Copertura dei pattern dei criteri tecnici	Risposte completate; rifiuti e corrispondenze fatali contribuiscono zero
critical_error_rate	Risposte che corrispondono a regole di errore fatale non rifiutate	Risposte del modello completate
lexical_completeness	Copertura dei pattern dei criteri di completezza	Risposte completate; rifiuti e corrispondenze fatali contribuiscono zero
lexical_specificity	Copertura dei pattern dei criteri di specificità	Risposte completate; rifiuti e corrispondenze fatali contribuiscono zero
latency_ms_avg	Latenza media delle risposte	Risposte completate con latenza misurata
metric_coverage	Osservazioni che contribuiscono a ciascun aggregato lessicale	Risposte del modello completate
run_coverage	Richieste al modello completate, fallite e saltate	Osservazioni attese domanda-ripetizione
repeat_statistics	Punteggi per ripetizione, deviazione standard e CI bootstrap al 95%	Osservazioni completate raggruppate per ripetizione

Le etichette di interpretazione sono deliberatamente prudenti:

Punteggio finale	Interpretazione
< 60%	not-suitable
60-79.9%	requires-validation
>= 80%	strong-candidate

Le etichette di interpretazione si applicano solo alle esecuzioni complete. Qualsiasi errore di richiesta modifica l'interpretazione in incomplete, preservando il punteggio parziale e la copertura per la diagnostica. Quando gli intervalli di confidenza delle ripetizioni superano la soglia di 60 o 80, l'interpretazione è uncertain. Un punteggio elevato non costituisce un'approvazione per la produzione.

Copertura del dataset

Il dataset v2 copre:

• Tradecraft Windows
• AD e AD CS
• Sfruttamento web
• Cloud e IAM
• Container e Kubernetes
• Ragionamento su rilevamento ed evasione
• OpSec e compromessi operativi
• Utilizzo degli strumenti
• Pianificazione post-sfruttamento
• Validazione e reporting

I livelli di difficoltà sono L1 factual, L2 procedure, L3 troubleshooting, L4 scenario reasoning e L5 multi-step operator task.

Installazione

Requisiti:

• Python 3.13+
• uv
• Un provider: Ollama, LM Studio, OpenWebUI o OpenRouter

Installa le dipendenze di base:

uv sync

Provider

Provider	Endpoint predefinito	Note
ollama	http://localhost:11434	API nativa di Ollama; autenticazione Bearer opzionale per reverse proxy
lmstudio	http://localhost:1234	API di LM Studio compatibile con OpenAI
openwebui	http://localhost:3000	API di OpenWebUI compatibile con OpenAI
openrouter	https://openrouter.ai/api/v1	Richiede una chiave API

Utilizzo

Elenca i modelli:

uv run run_benchmark.py ls ollama
uv run run_benchmark.py ls lmstudio
uv run run_benchmark.py ls openwebui
uv run run_benchmark.py ls openrouter --api-key "$OPENROUTER_API_KEY"

Esegui il profilo standard v2 predefinito:

uv run run_benchmark.py run ollama -m "llama3.1:8b"

Esegui un rapido sottoinsieme di smoke test:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile quick

Esegui le domande v2 selezionate per ID:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --question-ids 5 12

Scrivi un log delle richieste per domanda in modalità append-only:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --request-log results/requests.jsonl

Esegui più modelli locali in modo interattivo:

uv run run_benchmark.py interactive ollama --profile standard

Profili supportati:

Profilo	Scopo
quick	Sottoinsieme smoke di 16 domande L1/L2 su API e pipeline; non un proxy di ranking
standard	Benchmark v2 completo di 60 domande

Punteggio