Skip to content
KitploitKITPLOIT
OutilsExploitsBlog
Log in
Soumettre
OutilsExploitsBlog
Soumettre

Outils de Hacking, PenTest et Cybersécurité pour votre Arsenal de Sécurité !

Kitploit est un répertoire d'outils de hacking, de cybersécurité et de pentesting. Découvrez les dernières mises à jour des projets pour trouver des vulnérabilités, analyser des systèmes, automatiser les tests et renforcer votre sécurité.

FluxContactConfidentialité© 2026 Kitploit

Répertoire d'outils

Catégories

Voir toutes les catégories
Loading categories
CyBiasBench — Évaluation des biais dans les agents LLM pour les scénarios de cyberattaque | Kitploit
Outils/GitHubGitHub/harry24k/cybiasbench
Analyse des VulnérabilitésExploitation d'Applications WebTests d'IntrusionApprentissage AutomatiqueArticles et RechercheApprentissage et ÉducationRessources OrganiséesSécurité de l'IALabs et Pratique
GitHubharry24k/cybiasbench

CyBiasBench

5il y a 25 joursPas encore vérifié

Évaluation des biais dans les agents LLM pour les scénarios de cyberattaque

Voir le dépôt
Partager

CyBiasBench

Un benchmark pour le biais comportemental des agents LLM de sécurité offensive. Chaque enregistrement résume la session d'un agent contre une application cible intentionnellement vulnérable, capturant non seulement si les attaques ont réussi mais comment l'agent a choisi, séquencé et persisté dans les familles d'attaques.

Statut : version publique accompagnant l'article de la piste Evaluations & Datasets de NeurIPS 2026. Article : https://arxiv.org/abs/2605.07830. Tableau de bord interactif des résultats : https://trustworthyai.co.kr/CyBiasBench/. Jeu de données sur Hugging Face : https://huggingface.co/datasets/taeng0204/CyBiasBench.

Contenu du paquet

  • 5 agents — claude, codex, gemini, kimi, glm
  • 3 applications cibles vulnérables — juice-shop, mlflow, vuln-shop
  • Deux configurations :
    • Observation du biais (libre choix) : 4 conditions de prompt × 3 répétitions = 180 sessions. Les conditions croisent les indications du prompt (guided / unguided) avec la structure de sortie (structured / unstructured).
    • Injection de biais (famille demandée) : 10 familles d'attaques × 3 répétitions = 450 sessions. Chaque session doit se concentrer sur une famille spécifique (SQLi, CMDi, SSRF, IDOR, …).
  • 11 colonnes par ligne dans la configuration d'observation du biais (comptes, ASR de session, entropie, famille la plus sélectionnée, CR1 de sélection, tokens totaux). 13 colonnes par ligne dans la configuration d'injection de biais (conformité, ASR de la famille demandée, mêmes comptes).
  • Tables complémentaires détaillées avec des ventilations par (session, famille d'attaque).
  • Traces assainies au niveau des requêtes (schéma Table 5 de l'article) : 19 116 lignes (observation) + 258 019 lignes (injection) de requêtes HTTP avec étiquettes de famille d'attaque, identifiants de règles de classifieur, mappings CAPEC / CWE, et indicateurs de succès ainsi que l'ordre des requêtes par session. Les corps, en-têtes, horodatages absolus et minutages fins sont supprimés.

L'article analyse 10 familles d'attaques (sqli, xss, cmdi, path_traversal, auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure) choisies via une analyse CAPEC + CWE + OWASP WSTG comme les familles les plus directement testables contre les trois applications cibles. Le classifieur au niveau des traces hérite d'une onzième étiquette (deserialization) de la famille de règles 944 d'OWASP CRS ; elle n'est jamais une cible demandée et représente <0,1 % des lignes de trace. Voir schema/glossary.md §« Attack-family scope » pour tous les détails.

Version totale : 630 enregistrements agrégés + 277 135 lignes de trace ≈ 48 Mo.

Interprétation et limites

Ces mesures décrivent cinq instantanés d'agents déployés sur trois cibles web, et non des classements stables de modèles. L'allocation reflète le modèle, le prompt système, la CLI, les outils et l'interaction avec la cible. La disponibilité des vulnérabilités, leur découvrabilité, la difficulté d'exécution et les coûts des requêtes affectent également les parts de familles ; la conception n'identifie pas de préférence intrinsèque ni ne sépare ces facteurs de manière causale.

L'analyse d'amorçage de session sous les étiquettes automatiques d'origine ne trouve aucune amélioration de l'ASR moyen agrégé des sessions sous pilotage. Elle n'établit pas de diminution fiable pour chaque agent. Des unités alternatives de comptage des requêtes préservent la séparation entre agents, tout en modifiant son amplitude. La valeur décisionnelle à plus grande échelle, la supériorité sur des heuristiques de diversité simples et la généralisation à des cibles inédites restent ouvertes. Voir HOW_TO_REPRODUCE.md pour les analyses reproductibles.

Démarrage rapide

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

Ou chargez directement un fichier CSV / Parquet :

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

La même version est également disponible sur Hugging Face. Avec datasets installé (pip install datasets) :

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

Chacun des six tableaux est une configuration distincte. Le split test contient le tableau complet ; il ne désigne pas une partition mise de côté.

Reproduction : voir HOW_TO_REPRODUCE.md pour le guide de reproduction à deux niveaux (R1 ré-analyse à partir des traces publiées ; R3 ré-expérimentation complète via benchmark/).

Organisation

Télécharger l’outil

Populaires

Voir tout →

Découvrez les outils les plus utilisés par notre communauté.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 La boîte à outils OSINT ultime : graphe d'enquête, notation de confiance, familles d'alias, carte, chronologie et rapports. 49 modules, plus de 400 sites, aucune clé API requise.

    546
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Application d'exécution en un clic GhostLock (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    Plateforme autonome de tests d'intrusion multi-agents basée sur des LLM, avec agents planificateur/ouvrier, graphes d'actifs et d'exploration, enregistrement du trafic MITM et retest des vulnérabilités.

    377
  • 4

    redforge

    cybersecurity91/redforge

    Boîte à outils red team côté navigateur avec 102 outils hors ligne pour la reconnaissance, la génération de payloads, les attaques par identifiants, la cryptographie, l'encodage et le reporting d'engagement.

    324
  • 5

    estorides

    grisuno/estorides

    Agrège plus de 99 sources OSINT gratuites en parallèle, résout les entités dans un graphe de connaissances et exporte en STIX 2.1, MISP ou GraphML avec une analyse assistée par LLM.

    269
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Le système d'action pour la cybersécurité native IA—où l'intention devient une exécution gouvernée, les preuves deviennent une mémoire opérationnelle, et chaque opération améliore la suivante.

    252

Explorer tous les outils

Parcourez notre collection d'outils

Voir tous les outils →