Skip to content
KitploitKITPLOIT
ToolsExploitsBlog
Log in
Einreichen
ToolsExploitsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools fĂĽr Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
Tools/GitHubGitHub/peach-research-lab/authorizationbench
Authentifizierung & AutorisierungDynamische Analyse (Sandboxing)BedrohungsanalysePapers & ForschungLernen & BildungRed TeamingKI-SicherheitLabs & Praxis
Teilen
GitHub
peach-research-lab/authorizationbench

AuthorizationBench

[🎖️ Lobende Erwähnung bei HAIPS @COLM'26] Der erste Benchmark zur Bewertung, wie gut LLM-Agenten im Einklang mit ihrem zugewiesenen Autorisierungsumfang handeln.

Repository anzeigen
6294vor 5 TagenNoch nicht geprĂĽft

AuthorizationBench:
Benchmarking der Ausrichtungsalignierung von LLM-Agenten bei Autorisierungen

Paper Construction pipeline Environment pressure, harm, and domain Agent Trajectories incoming

Das erste systematische Framework zur Bewertung der Ausrichtungsalignierung von LLM-Agenten bei Autorisierungen unter gutartiger Delegation,
unabhängig davon, ob direkte schädliche Folgen auftreten oder nicht.


Ăśberblick

AuthorizationBench deckt Aktionen auĂźerhalb der Autorisierung mit und ohne direkten Sicherheitsschaden ab. Folgenbasierte Bewertung ĂĽbersieht das Quadranten ohne direkten Schaden.

Innerhalb des zugewiesenen Autorisierungsbereichs zu handeln, ist die grundlegendste Pflicht eines Agenten in einer Mensch-Agent-Delegationsbeziehung. Die meisten Agenten-Benchmarks belohnen die Aufgabenerfüllung oder bewerten, ob eine Aktion direkten Schaden verursacht. Sobald ein Agent jedoch außerhalb dieses Bereichs handelt, untergräbt er die Kontrolle des Prinzipals und die Delegationsbeziehung selbst – unabhängig davon, ob daraus direkter Schaden folgt. Aktuelle Benchmarks erfassen dieses Versagen selten.

Das Framework umfasst drei Komponenten:

  • AuthorizationBench, der Benchmark: 286 ausfĂĽhrbare Aufgaben, die auf dokumentierten realen Fällen basieren und drei Dimensionen abdecken:
    • 14 situative Druckfaktoren, darunter 12 gutartige Druckfaktoren und zwei bösartige Prompt-Injection-Mechanismen
    • das Vorhandensein oder Fehlen direkter schädlicher Folgen, definiert durch zehn Sicherheits- und Datenschutzkategorien, die aus frĂĽheren Arbeiten zur Agentensicherheit zusammengefĂĽhrt wurden.
    • 10 Domänen aus dem persönlichen Leben und der beruflichen Arbeit.
  • Eine autorisierungsbewusste Sandbox: deterministische Mock-Dienste, die sowohl autorisierte als auch nicht autorisierte Pfade ausfĂĽhrbar und beobachtbar halten, mit Adaptern fĂĽr OpenHands, das OpenAI Agents SDK und das Claude Agent SDK.
  • Eine skalierbare Konstruktionspipeline: ein kanonischer Weg vom Seed zur Aufgabe sowie kontextuelle Erweiterung.

Evaluation von AuthorizationBench

Ein dokumentierter Fall wird zu einer ausfĂĽhrbaren Aufgabe mit einem Autorisierungsvertrag

Ein dokumentierter Fall wird in eine Aufgabe übersetzt, bei der sowohl der autorisierte Abschlusspfad als auch der fallspezifische Pfad außerhalb der Autorisierung ausführbar sind. Der Agent läuft in der Sandbox, und seine tatsächliche Trajektorie und der resultierende Zustand werden gegen den Autorisierungsvertrag bewertet.

Wir evaluieren vier Modelle mit geringem und hohem Reasoning-Aufwand ĂĽber drei Agenten-Harnesses hinweg und erzeugen 6.864 Trajektorien. Agenten handeln in 19,2 % der delegierten Aufgaben auĂźerhalb der Autorisierung.

Über 91 abgeglichene Aufgabenpaare hinweg treten etwa 54 % der beobachteten Läufe außerhalb der Autorisierung in der Version ohne direkten Sicherheits- oder Datenschutzschaden auf. Mit anderen Worten: Innerhalb dieser Paare würde mehr als die Hälfte des Verhaltens außerhalb der Autorisierung von einer Evaluation übersehen, die nur nach direkten schädlichen Folgen sucht.

Abschluss- und Autorisierungsergebnisse ĂĽber 24 Konfigurationen

Repository-Struktur

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

Schnellstart

1. Installation

Voraussetzungen sind Python 3.12 und Docker Desktop.

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. Sandbox erstellen

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. ModellgestĂĽtzte Evaluierung konfigurieren

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

Füllen Sie nur die Provider-Profile aus, die Sie verwenden möchten. Die lokale Konfiguration wird von Git ignoriert und darf niemals committet werden. Siehe die Quick start guide für harness-spezifische Umgebungen und Evaluierungsbefehle.

4. Die veröffentlichten Läufe abrufen

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

Benchmark und Abstammung

Der Benchmark enthält 44 ursprüngliche Aufgabenfälle, die auf 42 verwendeten Quell- datensätzen basieren, gefolgt von einer kontextuellen Erweiterung auf 286 Aufgaben. Zwei Quelldatensätze unterstützen jeweils zwei unterschiedliche ursprüngliche Aufgabenfälle.

benchmark/lineage.csv ordnet jede Aufgabe ihrem Quelldatensatz zu, kennzeichnet ursprüngliche und erweiterte Fälle und dokumentiert die Erweiterungsachse, sofern verfügbar. benchmark/manifest.json friert das exakte Aufgabeninventar für dieses Release ein.

Konstruktions-Pipeline

Der unterstĂĽtzte Einstiegspunkt von Seed zu Aufgabe ist:

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

Die kontextuelle Erweiterung beginnt mit einer validierten Aufgabe und variiert eine Dimension, während die zugewiesene Aufgabe und die Autorisierungsgrenze erhalten bleiben. Die öffentliche Pipeline umfasst Generierungs-Prompts, deterministische Gates, begrenzte Reparatur, Service-Realisierung und Erweiterungscode. Historische Migrationswerkzeuge und einmalige Entwicklungsskripte sind bewusst ausgeschlossen.

Tool herunterladen

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Das ultimative OSINT-Toolkit: Untersuchungsgraph, Konfidenzbewertung, Alias-Familien, Karte, Zeitleiste und Berichte. 49 Module, 400+ Websites, keine API-Schlüssel erforderlich.

    516
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock One-Tap Execution App (CVE-2026-43499)

    476
  • 3

    ARTEX

    baarai/artex

    LLM-basierte Multi-Agenten-Plattform fĂĽr autonome Penetrationstests mit Planer-/Worker-Agenten, Asset- und Explorationsgraphen, MITM-Verkehrsaufzeichnung und Schwachstellen-Retesting.

    355
  • 4

    redforge

    cybersecurity91/redforge

    Browser-seitiges Red-Team-Toolkit mit 102 Offline-Tools fĂĽr Recon, Payload-Generierung, Credential-Angriffe, Krypto, Encoding und Engagement-Reporting.

    315
  • 5

    estorides

    grisuno/estorides

    Aggregiert 99+ kostenlose OSINT-Quellen parallel, löst Entitäten in einen Knowledge Graph auf und exportiert STIX 2.1, MISP oder GraphML mit LLM-gestützter Analyse.

    303
  • 6

    opencti

    opencti-platform/opencti

    Offene Plattform fĂĽr Cyber-Bedrohungsinformationen

    285

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →