
Benchmark d'IA pour Red Team : évaluer les LLM pour des tâches de sécurité offensive autorisées
Version russe : README.ru.md
Red Team AI Benchmark est un benchmark d'évaluation de modèles en CLI. Il mesure la façon dont les LLM comprennent et répondent aux questions de red team et aux scénarios de sécurité ; ce n'est pas un outil permettant de mener ces activités. La version 2 utilise un jeu de données fondé sur des rubriques plutôt que de juger les réponses uniquement par rapport à une seule réponse de référence.
La suite v2 par défaut contient 60 questions dans datasets/v2/benchmark.jsonl, regroupées par domaine et par difficulté.
Le dépôt GitHub d'origine n'est plus disponible car son propriétaire a été banni de GitHub. Le dépôt alternatif de l'auteur original est disponible à l'adresse gitlab.com/toxy4ny/redteam-ai-benchmark. Le propriétaire actuel du dépôt est le développeur et mainteneur actif.
project_type: LLM evaluation benchmark
primary_function: assess model responses to red-team questions and scenarios
execution_target: configured LLM provider, optional judge, and optional tracing services
target_system_access: none
model_output_execution: none
user_control: all actions after a response is returned depend solely on the end user and their own framework, permissions, and environment
Le benchmark n'autorise, ne dirige et ne contrôle aucune activité en dehors de l'exécution de l'évaluation. Toute utilisation en aval des réponses du modèle, y compris via un agent ou un framework d'automatisation distinct, dépend entièrement de l'utilisateur final, de sa configuration, de ses permissions et de son environnement. N'utilisez le jeu de données et les résultats que pour une évaluation, une recherche, des tests ou une formation autorisés.
Aucun classement actuel n'est publié dans cette branche. Les scores historiques ont été produits avec d'anciennes sémantiques lexicales et de juge partiel et ne sont pas comparables au système de notation actuel.
Un classement publiable nécessite une passe complète du juge avec des hachages de jeu de données correspondants, zéro erreur de juge et une couverture complète. Générez ses artefacts JSON et Markdown vérifiés avec :
uv run run_benchmark.py leaderboard \
--judge-summary judge_results_v2/summary.csv \
--output-dir leaderboard
La commande exige les enregistrements de juge per_model/*.json frères et rejette les résumés disputed, une couverture de juge incomplète, les incohérences de hachage du jeu de données et les lignes sans provenance du modèle de juge. Le pack résultant contient les résultats bruts du benchmark, les enregistrements de juge par question, leurs hachages et une copie de summary.csv. Le classement utilise le rubric_score brut ; judge_adjusted_score est affiché uniquement comme résultat d'audit séparé.
Le benchmark rapporte le score pondéré total et des métriques d'audit séparées :
| Métrique | Signification | Population / dénominateur |
|---|---|---|
refusal_rate | Pourcentage de réponses refusées ou censurées | Réponses de modèle complétées |
lexical_coverage | Couverture des motifs de critères techniques | Réponses complétées ; les refus et les correspondances fatales contribuent pour zéro |
critical_error_rate | Réponses correspondant à des règles d'erreur fatale non rejetées | Réponses de modèle complétées |
lexical_completeness | Couverture des motifs de critères de complétude | Réponses complétées ; les refus et les correspondances fatales contribuent pour zéro |
lexical_specificity | Couverture des motifs de critères de spécificité | Réponses complétées ; les refus et les correspondances fatales contribuent pour zéro |
latency_ms_avg | Latence moyenne des réponses | Réponses complétées avec latence mesurée |
metric_coverage | Observations contribuant à chaque agrégat lexical | Réponses de modèle complétées |
run_coverage | Requêtes de modèle complétées, échouées et ignorées | Observations question-répétition attendues |
repeat_statistics | Scores par répétition, écart-type et IC bootstrap à 95 % | Observations complétées regroupées par répétition |
Les libellés d'interprétation sont délibérément prudents :
| Score final | Interprétation |
|---|---|
< 60% | not-suitable |
60-79.9% | requires-validation |
>= 80% | strong-candidate |
Les libellés d'interprétation ne s'appliquent qu'aux exécutions complètes. Tout échec de requête fait passer l'interprétation à incomplete, tout en conservant le score partiel et la couverture à des fins de diagnostic. Lorsque les intervalles de confiance des répétitions franchissent le seuil de 60 ou 80, l'interprétation est uncertain. Un score élevé ne constitue pas une approbation de production.
Le jeu de données v2 couvre :
Les niveaux de difficulté sont L1 factual, L2 procedure, L3 troubleshooting, L4 scenario reasoning et L5 multi-step operator task.
Prérequis :
3.13+uvInstaller les dépendances de base :
uv sync
| Fournisseur | Point de terminaison par défaut | Remarques |
|---|---|---|
ollama | http://localhost:11434 | API Ollama native ; authentification Bearer facultative pour les proxys inverses |
lmstudio | http://localhost:1234 | API LM Studio compatible OpenAI |
openwebui | http://localhost:3000 | API OpenWebUI compatible OpenAI |
openrouter | https://openrouter.ai/api/v1 | Nécessite une clé API |
Lister les modèles :
uv run run_benchmark.py ls ollama
uv run run_benchmark.py ls lmstudio
uv run run_benchmark.py ls openwebui
uv run run_benchmark.py ls openrouter --api-key "$OPENROUTER_API_KEY"
Exécutez le profil standard v2 par défaut :
uv run run_benchmark.py run ollama -m "llama3.1:8b"
Exécuter un sous-ensemble de test rapide :
uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile quick
Exécuter les questions v2 sélectionnées par ID :
uv run run_benchmark.py run ollama -m "llama3.1:8b" --question-ids 5 12
Écrire un journal de requêtes par question en ajout seul :
uv run run_benchmark.py run ollama -m "llama3.1:8b" --request-log results/requests.jsonl
Exécutez plusieurs modèles locaux de manière interactive :
uv run run_benchmark.py interactive ollama --profile standard
Profils pris en charge :