Skip to content
KitploitKITPLOIT
OutilsExploitsBlog
Log in
Soumettre
OutilsExploitsBlog
Soumettre

Outils de Hacking, PenTest et Cybersécurité pour votre Arsenal de Sécurité !

Kitploit est un répertoire d'outils de hacking, de cybersécurité et de pentesting. Découvrez les dernières mises à jour des projets pour trouver des vulnérabilités, analyser des systèmes, automatiser les tests et renforcer votre sécurité.

FluxContactConfidentialité© 2026 Kitploit

Répertoire d'outils

Catégories

Voir toutes les catégories
Loading categories
Outils/GitHubGitHub/szybnev/redteam-ai-benchmark
Apprentissage AutomatiqueArticles et RechercheApprentissage et ÉducationRed TeamingRessources OrganiséesSécurité de l'IA
GitHubszybnev/redteam-ai-benchmark

redteam-ai-benchmark

Benchmark d'IA pour Red Team : évaluer les LLM pour des tâches de sécurité offensive autorisées

Voir le dépôt
184il y a 4 moisPas encore vérifié

Populaires

Voir tout →

Découvrez les outils les plus utilisés par notre communauté.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 La boîte à outils OSINT ultime : graphe d'enquête, notation de confiance, familles d'alias, carte, chronologie et rapports. 49 modules, plus de 400 sites, aucune clé API requise.

    732
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Application d'exécution en un clic GhostLock (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    Plateforme autonome de tests d'intrusion multi-agents basée sur des LLM, avec agents planificateur/ouvrier, graphes d'actifs et d'exploration, enregistrement du trafic MITM et retest des vulnérabilités.

    405
  • 4

    redforge

    cybersecurity91/redforge

    Boîte à outils red team côté navigateur avec 102 outils hors ligne pour la reconnaissance, la génération de payloads, les attaques par identifiants, la cryptographie, l'encodage et le reporting d'engagement.

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Le système d'action pour la cybersécurité native IA—où l'intention devient une exécution gouvernée, les preuves deviennent une mémoire opérationnelle, et chaque opération améliore la suivante.

    261
  • 6

    antifox

    antifox-ai/antifox

    Plateforme de test d'intrusion autonome multi-agents par IA qui exécute la reconnaissance, la découverte de la surface d'attaque, la validation de l'exploitation et la livraison de rapports étayés par des preuves.

    259

Explorer tous les outils

Parcourez notre collection d'outils

Voir tous les outils →
Partager

Red Team AI Benchmark

Version russe : README.ru.md

Red Team AI Benchmark est un benchmark d'évaluation de modèles en CLI. Il mesure la façon dont les LLM comprennent et répondent aux questions de red team et aux scénarios de sécurité ; ce n'est pas un outil permettant de mener ces activités. La version 2 utilise un jeu de données fondé sur des rubriques plutôt que de juger les réponses uniquement par rapport à une seule réponse de référence.

La suite v2 par défaut contient 60 questions dans datasets/v2/benchmark.jsonl, regroupées par domaine et par difficulté.

Statut du dépôt

Le dépôt GitHub d'origine n'est plus disponible car son propriétaire a été banni de GitHub. Le dépôt alternatif de l'auteur original est disponible à l'adresse gitlab.com/toxy4ny/redteam-ai-benchmark. Le propriétaire actuel du dépôt est le développeur et mainteneur actif.

Objectif et périmètre

project_type: LLM evaluation benchmark
primary_function: assess model responses to red-team questions and scenarios
execution_target: configured LLM provider, optional judge, and optional tracing services
target_system_access: none
model_output_execution: none
user_control: all actions after a response is returned depend solely on the end user and their own framework, permissions, and environment

Non-objectifs explicites

  • Ce dépôt n'est pas un outil de hacking, un framework d'exploitation, un scanner, un C2, un outil de persistance, un exécuteur de payloads ou un agent red-team autonome.
  • Il ne découvre pas, n'accède pas, n'exploite pas, ne modifie pas et ne maintient pas l'accès aux systèmes cibles.
  • Il n'exécute pas la sortie du modèle. Le benchmark se contente d'envoyer des prompts d'évaluation aux endpoints de modèles configurés, de noter le texte renvoyé et d'écrire les résultats.
  • La présence de sujets de sécurité offensive dans le jeu de données de test décrit le domaine d'évaluation ; elle ne confère ni permission ni autorisation pour une activité contre quelque système que ce soit.

Responsabilité de l'utilisateur

Le benchmark n'autorise, ne dirige et ne contrôle aucune activité en dehors de l'exécution de l'évaluation. Toute utilisation en aval des réponses du modèle, y compris via un agent ou un framework d'automatisation distinct, dépend entièrement de l'utilisateur final, de sa configuration, de ses permissions et de son environnement. N'utilisez le jeu de données et les résultats que pour une évaluation, une recherche, des tests ou une formation autorisés.

image

Classement publié

Aucun classement actuel n'est publié dans cette branche. Les scores historiques ont été produits avec d'anciennes sémantiques lexicales et de juge partiel et ne sont pas comparables au système de notation actuel.

Un classement publiable nécessite une passe complète du juge avec des hachages de jeu de données correspondants, zéro erreur de juge et une couverture complète. Générez ses artefacts JSON et Markdown vérifiés avec :

uv run run_benchmark.py leaderboard \
  --judge-summary judge_results_v2/summary.csv \
  --output-dir leaderboard

La commande exige les enregistrements de juge per_model/*.json frères et rejette les résumés disputed, une couverture de juge incomplète, les incohérences de hachage du jeu de données et les lignes sans provenance du modèle de juge. Le pack résultant contient les résultats bruts du benchmark, les enregistrements de juge par question, leurs hachages et une copie de summary.csv. Le classement utilise le rubric_score brut ; judge_adjusted_score est affiché uniquement comme résultat d'audit séparé.

Ce que mesure la v2

Le benchmark rapporte le score pondéré total et des métriques d'audit séparées :

MétriqueSignificationPopulation / dénominateur
refusal_ratePourcentage de réponses refusées ou censuréesRéponses de modèle complétées
lexical_coverageCouverture des motifs de critères techniquesRéponses complétées ; les refus et les correspondances fatales contribuent pour zéro
critical_error_rateRéponses correspondant à des règles d'erreur fatale non rejetéesRéponses de modèle complétées
lexical_completenessCouverture des motifs de critères de complétudeRéponses complétées ; les refus et les correspondances fatales contribuent pour zéro
lexical_specificityCouverture des motifs de critères de spécificitéRéponses complétées ; les refus et les correspondances fatales contribuent pour zéro
latency_ms_avgLatence moyenne des réponsesRéponses complétées avec latence mesurée
metric_coverageObservations contribuant à chaque agrégat lexicalRéponses de modèle complétées
run_coverageRequêtes de modèle complétées, échouées et ignoréesObservations question-répétition attendues
repeat_statisticsScores par répétition, écart-type et IC bootstrap à 95 %Observations complétées regroupées par répétition

Les libellés d'interprétation sont délibérément prudents :

Score finalInterprétation
< 60%not-suitable
60-79.9%requires-validation
>= 80%strong-candidate

Les libellés d'interprétation ne s'appliquent qu'aux exécutions complètes. Tout échec de requête fait passer l'interprétation à incomplete, tout en conservant le score partiel et la couverture à des fins de diagnostic. Lorsque les intervalles de confiance des répétitions franchissent le seuil de 60 ou 80, l'interprétation est uncertain. Un score élevé ne constitue pas une approbation de production.

Couverture du jeu de données

Le jeu de données v2 couvre :

  • Windows tradecraft
  • AD et AD CS
  • Exploitation web
  • Cloud et IAM
  • Conteneurs et Kubernetes
  • Raisonnement sur la détection et l'évasion
  • OpSec et compromis opérationnels
  • Utilisation d'outils
  • Planification post-exploitation
  • Validation et reporting

Les niveaux de difficulté sont L1 factual, L2 procedure, L3 troubleshooting, L4 scenario reasoning et L5 multi-step operator task.

Installation

Prérequis :

  • Python 3.13+
  • uv
  • Un fournisseur : Ollama, LM Studio, OpenWebUI ou OpenRouter

Installer les dépendances de base :

uv sync

Fournisseurs

FournisseurPoint de terminaison par défautRemarques
ollamahttp://localhost:11434API Ollama native ; authentification Bearer facultative pour les proxys inverses
lmstudiohttp://localhost:1234API LM Studio compatible OpenAI
openwebuihttp://localhost:3000API OpenWebUI compatible OpenAI
openrouterhttps://openrouter.ai/api/v1Nécessite une clé API

Utilisation

Lister les modèles :

uv run run_benchmark.py ls ollama
uv run run_benchmark.py ls lmstudio
uv run run_benchmark.py ls openwebui
uv run run_benchmark.py ls openrouter --api-key "$OPENROUTER_API_KEY"

Exécutez le profil standard v2 par défaut :

uv run run_benchmark.py run ollama -m "llama3.1:8b"

Exécuter un sous-ensemble de test rapide :

uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile quick

Exécuter les questions v2 sélectionnées par ID :

uv run run_benchmark.py run ollama -m "llama3.1:8b" --question-ids 5 12

Écrire un journal de requêtes par question en ajout seul :

uv run run_benchmark.py run ollama -m "llama3.1:8b" --request-log results/requests.jsonl

Exécutez plusieurs modèles locaux de manière interactive :

uv run run_benchmark.py interactive ollama --profile standard

Profils pris en charge :

Télécharger l’outil