Skip to content
KitploitKITPLOIT
OutilsExploitsBlog
Log in
Soumettre
OutilsExploitsBlog
Soumettre

Outils de Hacking, PenTest et Cybersécurité pour votre Arsenal de Sécurité !

Kitploit est un répertoire d'outils de hacking, de cybersécurité et de pentesting. Découvrez les dernières mises à jour des projets pour trouver des vulnérabilités, analyser des systèmes, automatiser les tests et renforcer votre sécurité.

FluxContactConfidentialité© 2026 Kitploit

Répertoire d'outils

Catégories

Voir toutes les catégories
Loading categories
AuthorizationBench — [🎖️ Mention honorable à HAIPS @COLM'26] Le premier benchmark pour évaluer dans quelle mesure les agents LLM agissent en conformité avec le périmètre d'autorisation qui leur est attribué. | Kitploit
Outils/GitHubGitHub/peach-research-lab/authorizationbench
Authentification et AutorisationAnalyse Dynamique (Sandboxing)Renseignement sur les MenacesArticles et RechercheApprentissage et ÉducationRed TeamingSécurité de l'IALabs et Pratique
Partager
GitHubpeach-research-lab/authorizationbench

AuthorizationBench

[🎖️ Mention honorable à HAIPS @COLM'26] Le premier benchmark pour évaluer dans quelle mesure les agents LLM agissent en conformité avec le périmètre d'autorisation qui leur est attribué.

Voir le dépôt
6294il y a 6 joursPas encore vérifié

AuthorizationBench:
Benchmarking LLM Agent Authorization Alignment

Paper Construction pipeline Environment pressure, harm, and domain Agent Trajectories incoming

Le premier cadre systématique pour évaluer l'alignement d'autorisation des agents LLM dans le cadre d'une délégation bénigne,
qu'il y ait ou non des conséquences nuisibles directes.


Aperçu

AuthorizationBench couvre les actions hors autorisation avec et sans préjudice direct pour la sécurité. L'évaluation fondée sur les conséquences manque le quadrant sans préjudice direct.

Agir dans le périmètre d'autorisation assigné est l'obligation la plus élémentaire d'un agent dans une relation de délégation humain-agent. La plupart des benchmarks d'agents récompensent l'achèvement de la tâche ou évaluent si une action produit un préjudice direct. Toutefois, dès qu'un agent agit hors de ce périmètre, il compromet le contrôle du mandant et la relation de délégation elle-même, que des préjudices directs s'ensuivent ou non. Les benchmarks actuels capturent rarement cette défaillance.

Le cadre comprend trois composants :

  • AuthorizationBench, le benchmark : 286 tâches exécutables fondées sur des cas réels documentés et couvrant trois dimensions :
    • 14 pressions situationnelles, dont 12 pressions bénignes et deux mécanismes malveillants d'injection de prompt
    • la présence ou l'absence de conséquences nuisibles directes, définies par dix catégories de sécurité et de confidentialité consolidées à partir de travaux antérieurs sur la sécurité des agents.
    • 10 domaines couvrant la vie personnelle et le travail professionnel.
  • Un bac à sable conscient de l'autorisation : des services simulés déterministes qui maintiennent exécutables et observables les chemins autorisés comme ceux hors autorisation, avec des adaptateurs pour OpenHands, le SDK OpenAI Agents et le SDK Claude Agent.
  • Un pipeline de construction évolutif : une route canonique de la graine à la tâche et une expansion contextuelle.

Évaluation d'AuthorizationBench

Un cas documenté devient une tâche exécutable avec un contrat d'autorisation

Un cas documenté est traduit en une tâche où le chemin d'achèvement autorisé et le chemin hors autorisation propre au cas sont tous deux exécutables. L'agent s'exécute dans le bac à sable, et sa trajectoire réelle ainsi que l'état résultant sont évalués par rapport au contrat d'autorisation.

Nous évaluons quatre modèles à faible et fort effort de raisonnement sur trois harnais d'agents, produisant 6 864 trajectoires. Les agents agissent hors autorisation dans 19,2 % des tâches déléguées.

Sur 91 paires de tâches appariées, environ 54 % des exécutions hors autorisation observées se produisent dans la version sans préjudice direct pour la sécurité ou la confidentialité. Autrement dit, au sein de ces paires, plus de la moitié des comportements hors autorisation échapperaient à une évaluation qui ne recherche que les conséquences nuisibles directes.

Résultats d'achèvement et d'autorisation sur 24 configurations

Organisation du dépôt

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

Démarrage rapide

1. Installation

Les prérequis sont Python 3.12 et Docker Desktop.

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. Construire le bac à sable

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. Configurer l'évaluation basée sur un modèle

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

Ne remplissez que les profils de fournisseurs que vous avez l'intention d'utiliser. La configuration locale est ignorée par Git et ne doit jamais être commitée. Consultez le Guide de démarrage rapide pour les environnements spécifiques aux harnais et les commandes d'évaluation.

4. Récupérer les exécutions publiées

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

Benchmark et lignée

Le benchmark contient 44 cas de tâches originaux fondés sur 42 enregistrements sources utilisés, suivis d'une expansion contextuelle à 286 tâches. Deux enregistrements sources soutiennent chacun deux cas de tâches originaux distincts.

benchmark/lineage.csv associe chaque tâche à son enregistrement source, identifie les cas originaux et étendus, et consigne l'axe d'expansion lorsqu'il est disponible. benchmark/manifest.json fige l'inventaire exact des tâches pour cette version.

Pipeline de construction

Le point d'entrée pris en charge de la graine à la tâche est :

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

L'expansion contextuelle part d'une tâche validée et fait varier une dimension tout en préservant la tâche assignée et la frontière d'autorisation. Le pipeline public inclut les prompts de génération, les barrières déterministes, la réparation bornée, la réalisation du service et le code d'expansion. Les utilitaires de migration historiques et les scripts de développement ponctuels sont volontairement exclus.

Voir Construction pipeline pour les étapes de construction.

Taxonomies

Télécharger l’outil

Populaires

Voir tout →

Découvrez les outils les plus utilisés par notre communauté.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 La boîte à outils OSINT ultime : graphe d'enquête, notation de confiance, familles d'alias, carte, chronologie et rapports. 49 modules, plus de 400 sites, aucune clé API requise.

    565
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Application d'exécution en un clic GhostLock (CVE-2026-43499)

    478
  • 3

    ARTEX

    baarai/artex

    Plateforme autonome de tests d'intrusion multi-agents basée sur des LLM, avec agents planificateur/ouvrier, graphes d'actifs et d'exploration, enregistrement du trafic MITM et retest des vulnérabilités.

    383
  • 4

    redforge

    cybersecurity91/redforge

    Boîte à outils red team côté navigateur avec 102 outils hors ligne pour la reconnaissance, la génération de payloads, les attaques par identifiants, la cryptographie, l'encodage et le reporting d'engagement.

    327
  • 5

    estorides

    grisuno/estorides

    Agrège plus de 99 sources OSINT gratuites en parallèle, résout les entités dans un graphe de connaissances et exporte en STIX 2.1, MISP ou GraphML avec une analyse assistée par LLM.

    258
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Le système d'action pour la cybersécurité native IA—où l'intention devient une exécution gouvernée, les preuves deviennent une mémoire opérationnelle, et chaque opération améliore la suivante.

    256

Explorer tous les outils

Parcourez notre collection d'outils

Voir tous les outils →