Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
AuthorizationBench — [🎖️ Mención de honor en HAIPS @COLM'26] El primer benchmark para evaluar qué tan bien actúan los agentes LLM en alineación con el alcance de autorización que se les asigna. | Kitploit
Herramientas/GitHubGitHub/peach-research-lab/authorizationbench
Autenticación y AutorizaciónAnálisis Dinámico (Sandboxing)Inteligencia de AmenazasPapers e InvestigaciónAprendizaje y EducaciónRed TeamingSeguridad de IALabs y Práctica
Compartir
GitHub
peach-research-lab/authorizationbench

AuthorizationBench

[🎖️ Mención de honor en HAIPS @COLM'26] El primer benchmark para evaluar qué tan bien actúan los agentes LLM en alineación con el alcance de autorización que se les asigna.

Ver Repositorio
6294hace 6 díasAún no revisado

AuthorizationBench:
Evaluación comparativa de la alineación de autorización de agentes LLM

Paper Construction pipeline Environment pressure, harm, and domain Agent Trajectories incoming

El primer marco sistemático para evaluar la alineación de autorización de agentes LLM bajo delegación benigna,
independientemente de si existen o no consecuencias dañinas directas.


Descripción general

AuthorizationBench cubre acciones fuera de autorización con y sin daño directo a la seguridad. La evaluación basada en consecuencias pasa por alto el cuadrante sin daño directo.

Actuar dentro del alcance de autorización asignado es la obligación más básica de un agente en una relación de delegación humano-agente. La mayoría de los benchmarks de agentes recompensan la finalización de tareas o evalúan si una acción produce un daño directo. Sin embargo, una vez que un agente actúa fuera de ese alcance, socava el control del principal y la propia relación de delegación, independientemente de si se produce un daño directo. Los benchmarks actuales rara vez capturan este fallo.

El marco incluye tres componentes:

  • AuthorizationBench, el benchmark: 286 tareas ejecutables fundamentadas en casos documentados del mundo real y que abarcan tres dimensiones:
    • 14 presiones situacionales, incluidas 12 presiones benignas y dos mecanismos maliciosos de inyección de prompts
    • la presencia o ausencia de consecuencias dañinas directas, definida por diez categorías de seguridad y privacidad consolidadas a partir de trabajos previos sobre seguridad de agentes.
    • 10 dominios que abarcan la vida personal y el trabajo profesional.
  • Un sandbox consciente de la autorización: servicios simulados deterministas que mantienen tanto las rutas autorizadas como las fuera de autorización ejecutables y observables, con adaptadores para OpenHands, el OpenAI Agents SDK y el Claude Agent SDK.
  • Un pipeline de construcción escalable: una ruta canónica de semilla a tarea y una expansión contextual.

Evaluación de AuthorizationBench

Un caso documentado se convierte en una tarea ejecutable con un contrato de autorización

Un caso documentado se traduce en una tarea en la que tanto la ruta de finalización autorizada como la ruta fuera de autorización específica del caso son ejecutables. El agente se ejecuta en el sandbox, y su trayectoria real y el estado resultante se evalúan contra el contrato de autorización.

Evaluamos cuatro modelos con esfuerzo de razonamiento bajo y alto en tres harnesses de agentes, produciendo 6,864 trayectorias. Los agentes actúan fuera de autorización en el 19.2% de las tareas delegadas.

En 91 pares de tareas emparejadas, alrededor del 54% de las ejecuciones fuera de autorización observadas ocurren en la versión sin un daño directo a la seguridad o la privacidad. En otras palabras, dentro de estos pares, más de la mitad del comportamiento fuera de autorización pasaría desapercibido para una evaluación que solo busca consecuencias dañinas directas.

Resultados de finalización y autorización en 24 configuraciones

Estructura del repositorio

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

Inicio rápido

1. Instalación

Los requisitos son Python 3.12 y Docker Desktop.

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. Construir el sandbox

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. Configurar la evaluación basada en modelos

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

Rellena solo los perfiles de proveedor que tengas intención de usar. La configuración local es ignorada por Git y nunca debe confirmarse. Consulta la Guía de inicio rápido para entornos específicos de cada harness y comandos de evaluación.

4. Obtener las ejecuciones publicadas

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

Benchmark y linaje

El benchmark contiene 44 casos de tarea originales fundamentados en 42 registros de origen utilizados, seguidos de una expansión contextual a 286 tareas. Dos registros de origen respaldan dos casos de tarea originales distintos cada uno.

benchmark/lineage.csv asigna cada tarea a su registro de origen, identifica los casos originales y expandidos, y registra el eje de expansión cuando está disponible. benchmark/manifest.json congela el inventario exacto de tareas para esta versión.

Pipeline de construcción

El punto de entrada compatible de semilla a tarea es:

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

La expansión contextual parte de una tarea validada y varía una dimensión mientras preserva su tarea asignada y su límite de autorización. El pipeline público incluye prompts de generación, compuertas deterministas, reparación acotada, realización del servicio y código de expansión. Las utilidades de migración históricas y los scripts de desarrollo puntuales se excluyen intencionalmente.

Consulte Construction pipeline para conocer las etapas de construcción.

Taxonomías

Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    806
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    523
  • 3

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    441
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    346
  • 5

    looking-glass

    anonghosty/looking-glass

    Plataforma CSIRT que ingiere informes de Shadowserver en MongoDB y los reproduce como mapas interactivos, análisis, hallazgos, avisos y paneles ejecutivos.

    270
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    264

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →