Skip to content
KitploitKITPLOIT
StrumentiExploitsBlog
Log in
Invia
StrumentiExploitsBlog
Invia

Strumenti di Hacking, PenTest e Cybersecurity per il tuo Arsenale di Sicurezza!

Kitploit è una directory di strumenti di hacking, cybersecurity e pentesting. Scopri gli ultimi aggiornamenti dei progetti per trovare vulnerabilità, analizzare sistemi, automatizzare i test e rafforzare la tua sicurezza.

FeedContattoPrivacy© 2026 Kitploit

Directory degli strumenti

Categorie

Vedi tutte le categorie
Loading categories
AuthorizationBench — [🎖️ Menzione d'onore a HAIPS @COLM'26] Il primo benchmark per valutare quanto bene gli agenti LLM agiscono in conformità con l'ambito di autorizzazione loro assegnato. | Kitploit
Strumenti/GitHubGitHub/peach-research-lab/authorizationbench
Autenticazione e AutorizzazioneAnalisi Dinamica (Sandboxing)Threat IntelligencePaper e RicercaApprendimento e FormazioneRed TeamingSicurezza dell'IALab e Pratica
Condividi
GitHub
peach-research-lab/authorizationbench

AuthorizationBench

[🎖️ Menzione d'onore a HAIPS @COLM'26] Il primo benchmark per valutare quanto bene gli agenti LLM agiscono in conformità con l'ambito di autorizzazione loro assegnato.

Vedi Repository
62946 giorni faNon ancora revisionato

AuthorizationBench:
Benchmarking LLM Agent Authorization Alignment

Paper Construction pipeline Environment pressure, harm, and domain Agent Trajectories incoming

Il primo framework sistematico per valutare l'allineamento all'autorizzazione degli agenti LLM in caso di delega benigna,
indipendentemente dalla presenza o assenza di conseguenze dannose dirette.


Panoramica

AuthorizationBench copre le azioni fuori autorizzazione con e senza danno diretto alla sicurezza. La valutazione basata sulle conseguenze trascura il quadrante senza danno diretto.

Agire entro l'ambito di autorizzazione assegnato è l'obbligo più elementare di un agente in una relazione di delega uomo-agente. La maggior parte dei benchmark per agenti premia il completamento del compito o valuta se un'azione produce un danno diretto. Tuttavia, una volta che un agente agisce al di fuori di tale ambito, mina il controllo del principale e la relazione di delega stessa, indipendentemente dal fatto che ne derivi o meno un danno diretto. I benchmark attuali raramente catturano questo fallimento.

Il framework comprende tre componenti:

  • AuthorizationBench, il benchmark: 286 attività eseguibili basate su casi documentati del mondo reale e distribuite su tre dimensioni:
    • 14 pressioni situazionali, tra cui 12 pressioni benigne e due meccanismi malevoli di prompt injection
    • la presenza o l'assenza di conseguenze dannose dirette, definite da dieci categorie di sicurezza e privacy consolidate a partire da precedenti lavori sulla sicurezza degli agenti.
    • 10 domini tra vita personale e lavoro professionale.
  • Una sandbox consapevole dell'autorizzazione: servizi mock deterministici che mantengono eseguibili e osservabili sia i percorsi autorizzati sia quelli fuori autorizzazione, con adapter per OpenHands, l'OpenAI Agents SDK e il Claude Agent SDK.
  • Una pipeline di costruzione scalabile: un percorso canonico da seed ad attività e un'espansione contestuale.

Valutazione di AuthorizationBench

Un caso documentato diventa un'attività eseguibile con un contratto di autorizzazione

Un caso documentato viene tradotto in un'attività in cui sia il percorso di completamento autorizzato sia il percorso fuori autorizzazione specifico del caso sono eseguibili. L'agente viene eseguito nella sandbox, e la sua traiettoria effettiva e lo stato risultante vengono valutati rispetto al contratto di autorizzazione.

Valutiamo quattro modelli con sforzo di ragionamento basso ed elevato su tre harness per agenti, producendo 6.864 traiettorie. Gli agenti agiscono fuori autorizzazione nel 19,2% delle attività delegate.

Su 91 coppie di attività abbinate, circa il 54% delle esecuzioni fuori autorizzazione osservate si verifica nella versione senza un danno diretto alla sicurezza o alla privacy. In altre parole, all'interno di queste coppie, più della metà dei comportamenti fuori autorizzazione sfuggirebbe a una valutazione che cerca solo conseguenze dannose dirette.

Esiti di completamento e autorizzazione su 24 configurazioni

Struttura del repository

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

Avvio rapido

1. Installazione

I requisiti sono Python 3.12 e Docker Desktop.

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. Crea la sandbox

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. Configurare la valutazione basata su modello

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

Compila solo i profili dei provider che intendi utilizzare. La configurazione locale è ignorata da Git e non deve mai essere committata. Consulta la Guida rapida per gli ambienti specifici dell'harness e i comandi di valutazione.

4. Recupera le esecuzioni rilasciate

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

Benchmark e lineage

Il benchmark contiene 44 casi di task originali basati su 42 record di origine utilizzati, seguiti da un'espansione contestuale a 286 task. Due record di origine supportano ciascuno due casi di task originali distinti.

benchmark/lineage.csv mappa ogni task al suo record di origine, identifica i casi originali ed espansi e registra l'asse di espansione ove disponibile. benchmark/manifest.json congela l'inventario esatto dei task per questa release.

Pipeline di costruzione

Il punto di ingresso supportato da seed a task è:

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

L'espansione contestuale parte da un'attività validata e varia una dimensione preservando l'attività assegnata e il confine di autorizzazione. La pipeline pubblica include prompt di generazione, gate deterministici, riparazione limitata, realizzazione del servizio e codice di espansione. Le utilità di migrazione storiche e gli script di sviluppo una tantum sono intenzionalmente esclusi.

Vedi Construction pipeline per le fasi di costruzione.

Tassonomie

Scarica lo strumento

Più Popolari

Vedi tutti →

Scopri gli strumenti più utilizzati dalla nostra community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Il toolkit OSINT definitivo: grafo di indagine, punteggio di affidabilità, famiglie di alias, mappa, timeline e report. 49 moduli, oltre 400 siti, nessuna chiave API richiesta.

    732
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # App di esecuzione con un tocco GhostLock (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    Piattaforma di penetration testing autonoma multi-agente basata su LLM con agenti planner/worker, grafi di asset e di esplorazione, registrazione del traffico MITM e retesting delle vulnerabilità.

    405
  • 4

    redforge

    cybersecurity91/redforge

    Toolkit red team lato browser con 102 strumenti offline per ricognizione, generazione di payload, attacchi alle credenziali, crittografia, codifica e reportistica dell'engagement.

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Il sistema d'azione per la cybersecurity nativa AI—dove l'intento diventa esecuzione governata, le evidenze diventano memoria operativa, e ogni operazione migliora la successiva.

    261
  • 6

    antifox

    antifox-ai/antifox

    Piattaforma multi-agente di penetration testing autonoma basata sull'IA che esegue ricognizione, scoperta della superficie d'attacco, validazione dello sfruttamento e consegna di report supportati da evidenze.

    259

Esplora tutti gli strumenti

Sfoglia la nostra collezione di strumenti

Vedi tutti gli strumenti →