Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
benign-instruction-bench — Reevaluación de los detectores de inyección de prompts en las salidas de herramientas de agentes LLM (borrador de artículo, scripts, puntuaciones) | Kitploit
Herramientas/GitHubGitHub/lzwhehe/benign-instruction-bench
Herramientas DefensivasAnálisis de VulnerabilidadesAprendizaje AutomáticoPapers e InvestigaciónAprendizaje y EducaciónSeguridad de IA
GitHublzwhehe/benign-instruction-bench

benign-instruction-bench

Compartir

Reevaluación de los detectores de inyección de prompts en las salidas de herramientas de agentes LLM (borrador de artículo, scripts, puntuaciones)

Ver Repositorio
105hace 24 díasAún no revisado

Aprobar el examen con el que se entrenó

Reevaluación de los detectores de inyección de prompts allí donde los agentes LLM realmente los utilizan: sobre las salidas de herramientas que un agente lee.

Los equipos eligen detectores de inyección por sus puntuaciones en los benchmarks. Comprobamos si esas puntuaciones predicen el comportamiento dentro de un agente y descubrimos que, en su mayoría, miden cuán cerca está el benchmark de los datos de entrenamiento del detector.

Hallazgos

Quince detectores (nueve abiertos, seis con licencia restringida, incluido Prompt Guard 2 de Meta) y dos jueces LLM conscientes de la tarea, sobre dos benchmarks de agentes (AgentDojo, tau-bench) y sobre BIPIA. Las salidas de herramientas benignas provienen de reproducir las llamadas a herramientas de referencia de cada benchmark sin un LLM. La detección es la TPR en el umbral que da un 1% de FPR sobre las salidas benignas del mismo benchmark.

DetectorPublicadoFPR sobre salidas de herramientas benignas (AgentDojo / tau-bench)Detección AgentDojoDetección tau-benchDetección BIPIA
Horizon-Labs guard-base20260.0% / 0.7%83.1%100.0%37.7%
Wolf Defender20260.9% / 0.0%70.1%90.8%3.5%
Prompt Guard 2 (22M)20250.0% / 0.0%60.9%60.8%31.7%
Prompt Guard 2 (86M)20250.6% / 0.0%57.4%57.9%10.4%
Judge (Llama-3.1-8B)––51.9%78.3%8.3%
Prismor-1.5B20266.5% / 46.2%29.2%15.2%4.0%
Sheltron-68M202610.6% / 4.4%20.1%95.2%57.2%
PIGuard202529.5% / 11.0%1.6%52.7%95.1%
ProtectAI v2202430.1% / 66.9%0.5%10.1%0.7%

(Los 15 detectores y ambos jueces, con AUROC e intervalos de confianza bootstrap del 95% agrupados por tarea: Tabla 2 del artículo.)

  1. Las clasificaciones de BIPIA guardan, como mucho, una relación débil con las de AgentDojo (τ de Kendall sobre 15 detectores: 0.12, p = 0.559, no significativo; intervalo bootstrap de 0.05 a 0.23; excluyendo detectores individuales da de 0.01 a 0.25, y 0.25 sin PIGuard). La mayor inversión proviene de un detector entrenado con la distribución de BIPIA: el líder en BIPIA (PIGuard) ocupa el decimotercer puesto de 15 en AgentDojo. Los dos benchmarks de agentes concuerdan más (τ = 0.39, p = 0.046); BIPIA frente a tau-bench da τ = 0.31.
  2. Las tasas de falsos positivos sobre salidas de herramientas benignas van del 0.0% al 93.1% y son consistentes entre los dos benchmarks de agentes (τ = 0.67, p = 0.0007).
  3. La puntuación de PIGuard en BIPIA no depende de cadenas de ataque memorizadas y es consistente con un entrenamiento sobre la distribución de BIPIA: su partición de entrenamiento contiene 1,116 entradas completas de BIPIA. También vio 53 de los 62 ataques de InjecAgent, pero solo como prompts cortos; dentro de las salidas de herramientas de tau-bench detecta por igual los ataques de InjecAgent vistos y no vistos (52.1% frente a 55.8%). Horizon-Labs, entrenado con entradas de estilo agente, lidera ambos benchmarks de agentes; ni él ni el segundo mejor detector pueden demostrarse independientes de AgentDojo.
  4. Los jueces conscientes de la tarea de 7–8B alcanzan 51.9% (Llama) y 59.0% (Qwen) en AgentDojo y 78.3% y 54.3% en tau-bench con un 1% de FPR, por debajo de los mejores detectores dedicados. Aparte de PIGuard, ningún enfoque detecta más del 39% de las inyecciones irrelevantes para la tarea de BIPIA.
  5. Eliminar el marcado de serialización o declarar el tipo de entrada reduce los falsos positivos con el umbral por defecto hasta unas veinte veces, pero no hace que PIGuard o ProtectAI v2 sean útiles con un 1% de FPR en AgentDojo.

Todas las cifras se regeneran a partir de los archivos de puntuaciones mediante los scripts de analysis/ (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py); analysis/make_macros.py las escribe en las macros de LaTeX que lee el artículo.

Estructura

scripts/     build evaluation sets, score detectors and judges
analysis/    compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
             make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/     detector and judge scores used in the paper
paper/       LaTeX source, figures, compiled main.pdf

Reproducir

pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh

Para regenerar solo los números y figuras a partir de las puntuaciones publicadas, copie results/*.json en el directorio de trabajo, reconstruya los conjuntos .jsonl (pasos 1–3 de reproduce.sh, solo CPU, con PYTHONHASHSEED=0), luego ejecute los scripts de análisis del paso 8 y python analysis/make_tables.py && python analysis/make_figures.py.

Experimentos de robustez y coste (versión de revista):

  • analysis/compute_robust.py: intervalos bootstrap y pruebas de permutación para la transferencia de rangos; umbrales calibrados en conjuntos de validación de AgentDojo.
  • scripts/score_e6.py, analysis/compute_e6.py: Prompt Guard 2 en el escenario del benchmark comunitario de inyecciones ocultas, y una comprobación de que los conjuntos reconstruidos reproducen las puntuaciones almacenadas.
  • scripts/latency.py, analysis/compute_cost.py: latencia y memoria por salida de herramienta en GPU y CPU.
  • scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: un agente real (Qwen2.5-7B servido por vLLM) ejecuta AgentDojo sin ataques; sus llamadas a herramientas se reproducen sin un modelo y se comparan salida por salida.
  • scripts/check_revision.py: qué revisión de Hugging Face produjo las puntuaciones almacenadas (Horizon-Labs cambió sus pesos el 2026-10-02; las puntuaciones almacenadas son de la revisión af3c52e6a9d8).

Los datos de evaluación se reconstruyen a partir de las fuentes públicas, no se redistribuyen: AgentDojo v1.2, tau-bench (MIT), ataques de InjecAgent (MIT), BIPIA (MIT), READMEs de GitHub (h1alexbel/github-readmes), AESLC, FineWeb-Edu. Algunos scripts asumen que BIPIA y PIGuard están clonados en ~/agentsec/.

Compilación del artículo

paper/usenix-2020-09-xetex.sty es una copia de compilación del estilo de USENIX que compila con tectonic/XeTeX. Para el envío, cambie main.tex al usenix-2020-09.sty oficial y compile con pdflatex.

Estado

Preprint en arXiv; versión de revista en preparación. No evaluado frente a ataques adaptativos; ambos benchmarks de agentes son simulaciones y el punto de inyección de tau-bench es nuestro; los detectores de API comerciales no están incluidos. Consulte la sección de limitaciones del artículo.

Licencia

Código, scripts de análisis y archivos de puntuaciones: MIT (véase LICENSE). Los archivos de terceros conservan sus propios términos: el estilo LaTeX de USENIX (paper/usenix-2020-09*.sty) y los benchmarks y detectores que descargan los scripts (AgentDojo, tau-bench, InjecAgent, BIPIA y la licencia del modelo de cada detector).

Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    786
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    429
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    345
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    262
  • 6

    looking-glass

    anonghosty/looking-glass

    Plataforma CSIRT que ingiere informes de Shadowserver en MongoDB y los reproduce como mapas interactivos, análisis, hallazgos, avisos y paneles ejecutivos.

    256

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →