toxy4ny/redteam-ai-benchmark
Red Team AI Benchmark: Valutazione degli LLM per compiti autorizzati di sicurezza offensiva. Red Team AI Benchmark è un benchmark di valutazione dei modelli a riga di comando. Misura come gli LLM comprendono e rispondono a domande red team e scenari di sicurezza; non è uno strumento per eseguire tali attività. La versione 2 utilizza un dataset basato su rubriche invece di giudicare le risposte solo rispetto a una risposta aurea.
Versione russa: README.ru.md
Red Team AI Benchmark è un benchmark di valutazione dei modelli da CLI. Misura quanto i LLM comprendono e rispondono a domande e scenari di red team; non è uno strumento per svolgere tali attività. La versione 2 utilizza un dataset basato su rubriche invece di giudicare le risposte solo in base a una risposta gold standard.
La suite predefinita v2 contiene 60 domande in datasets/v2/benchmark.jsonl, raggruppate per dominio e difficoltà.
Il repository GitHub originale non è più disponibile; in quanto proprietario, sono stato bannato dalla piattaforma GitHub. Un repository mirror alternativo per il progetto (mantenuto dal contributore principale e co-autore) è disponibile all'indirizzo https://github.com/szybnev/redteam-ai-benchmark. L'attuale proprietario di questo repository è il suo sviluppatore e manutentore attivo.
project_type: LLM evaluation benchmark
primary_function: assess model responses to red-team questions and scenarios
execution_target: configured LLM provider, optional judge, and optional tracing services
target_system_access: none
model_output_execution: none
user_control: all actions after a response is returned depend solely on the end user and their own framework, permissions, and environment
Il benchmark non autorizza, dirige o controlla alcuna attività al di fuori della sessione di valutazione. Qualsiasi uso successivo delle risposte del modello, incluso l'uso tramite un agente separato o un framework di automazione, dipende interamente dall'utente finale, dalla sua configurazione, autorizzazioni e ambiente. Utilizza il dataset e i risultati solo per valutazioni, ricerche, test o formazione autorizzati.
Nessuna classifica attuale è pubblicata in questo branch. I punteggi storici sono stati prodotti con semantiche lexicali e di giudizio parziale più vecchie e non sono confrontabili con il valutatore corrente.
Una classifica pubblicabile richiede una sessione completa del giudice con hash del dataset corrispondenti, zero errori del giudice e copertura completa. Genera i suoi artefatti JSON e Markdown verificati con:
uv run run_benchmark.py leaderboard \
--judge-summary judge_results_v2/summary.csv \
--output-dir leaderboard
Il comando richiede i record del giudice per_model/*.json fratelli e rifiuta riepiloghi disputed, copertura incompleta del giudice, discrepanze negli hash del dataset e righe senza provenienza del modello giudice. Il pacchetto risultante contiene i risultati grezzi del benchmark, i record del giudice per domanda, i loro hash e una copia di summary.csv. La classifica utilizza il rubric_score grezzo; judge_adjusted_score è mostrato solo come risultato di audit separato.
Il benchmark riporta il punteggio ponderato totale e metriche di audit separate:
| Metrica | Significato | Popolazione / denominatore |
|---|---|---|
refusal_rate | Percentuale di risposte rifiutate o censurate | Risposte del modello completate |
lexical_coverage | Copertura dei pattern di criterio tecnico | Risposte completate; rifiuti e corrispondenze fatali contribuiscono zero |
critical_error_rate | Risposte che corrispondono a regole di errore fatale non rifiutate | Risposte del modello completate |
lexical_completeness | Copertura dei pattern di criterio di completezza | Risposte completate; rifiuti e corrispondenze fatali contribuiscono zero |
lexical_specificity | Copertura dei pattern di criterio di specificità | Risposte completate; rifiuti e corrispondenze fatali contribuiscono zero |
latency_ms_avg | Latenza media della risposta | Risposte completate con latenza misurata |
metric_coverage | Osservazioni che contribuiscono a ciascun aggregato lessicale | Risposte del modello completate |
run_coverage | Richieste del modello completate, fallite e saltate | Osservazioni previste per domanda-ripetizione |
repeat_statistics | Punteggi per ripetizione, deviazione standard e IC bootstrap 95% | Osservazioni completate raggruppate per ripetizione |
Le etichette di interpretazione sono deliberatamente conservative:
| Punteggio finale | Interpretazione |
|---|---|
< 60% | not-suitable |
60-79.9% | requires-validation |
>= 80% | strong-candidate |
Le etichette di interpretazione si applicano solo a esecuzioni complete. Qualsiasi fallimento di richiesta cambia l'interpretazione in incomplete, preservando il punteggio parziale e la copertura per la diagnostica. Quando gli intervalli di confidenza delle ripetizioni attraversano la soglia 60 o 80, l'interpretazione è uncertain. Un punteggio elevato non è un'approvazione per la produzione.
Il dataset v2 copre:
I livelli di difficoltà sono L1 factual, L2 procedure, L3 troubleshooting, L4 scenario reasoning e L5 multi-step operator task.
Requisiti:
3.13+uvInstalla le dipendenze di base:
uv sync
| Provider | Endpoint predefinito | Note |
|---|---|---|
ollama | http://localhost:11434 | API Ollama nativa; autenticazione Bearer opzionale per reverse proxy |
lmstudio | http://localhost:1234 | API LM Studio compatibile con OpenAI |
openwebui | http://localhost:3000 | API OpenWebUI compatibile con OpenAI |
openrouter | https://openrouter.ai/api/v1 | Richiede una chiave API |
Elenca i modelli:
uv run run_benchmark.py ls ollama
uv run run_benchmark.py ls lmstudio
uv run run_benchmark.py ls openwebui
uv run run_benchmark.py ls openrouter --api-key "$OPENROUTER_API_KEY"
Esegui il profilo standard predefinito v2:
uv run run_benchmark.py run ollama -m "llama3.1:8b"
Esegui un sottoinsieme rapido di smoke test:
uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile quick
Esegui domande v2 selezionate per ID:
uv run run_benchmark.py run ollama -m "llama3.1:8b" --question-ids 5 12
Scrivi un log delle richieste per domanda in modalità append-only:
uv run run_benchmark.py run ollama -m "llama3.1:8b" --request-log results/requests.jsonl
Esegui più modelli locali in modo interattivo:
uv run run_benchmark.py interactive ollama --profile standard
Profili supportati:
| Profilo | Scopo |
|---|---|
quick | Sottoinsieme di smoke test per API e pipeline di 16 domande L1/L2; non un proxy di classifica |
standard | Benchmark v2 completo di 60 domande |