Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
D-Scan — Analiza los estados internos de los LLM y más de 100 características de atención/probabilidad para entrenar clasificadores que detecten ataques de envenenamiento de documentos en sistemas RAG. | Kitploit
Herramientas/GitHubGitHub/yingtaoren/d-scan
Herramientas DefensivasAprendizaje AutomáticoSeguridad de IADetección de Anomalías
GitHubyingtaoren/d-scan

D-Scan

Analiza los estados internos de los LLM y más de 100 características de atención/probabilidad para entrenar clasificadores que detecten ataques de envenenamiento de documentos en sistemas RAG.

Ver Repositorio
1232hace 2 mesesAún no revisado
Compartir
Sitio web

When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse

Implementación oficial del artículo de SIGIR 2026 When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse.

D-SCAN es un framework de análisis para detectar ataques de envenenamiento de documentos en sistemas RAG (Retrieval-Augmented Generation). Recopila los estados internos del LLM durante la generación (probabilidades de tokens y pesos de atención), extrae características multidimensionales y entrena clasificadores para distinguir entre documentos recuperados limpios y envenenados.

1. Instalación y requisitos

Requisitos previos

  • Python >= 3.9
  • GPU compatible con CUDA (se recomienda >= 24GB de VRAM para la inferencia de modelos de 8B parámetros)

Preparación del modelo

Este proyecto utiliza Llama-3.1-8B-Instruct por defecto. Descarga el modelo en una ruta local y actualiza la variable MODEL_ID en collect_inner_state.py:

MODEL_ID = "/your/path/to/Llama-3.1-8B-Instruct"

2. Inicio rápido

El flujo de trabajo completo consta de tres pasos: Recopilar estados internos → Calcular características → Entrenar el clasificador. La pregunta y los documentos recuperados relacionados se proporcionan en https://huggingface.co/datasets/An998/D-SCAN.

Paso 1: Recopilar los estados internos del modelo

# Update configuration parameters in collect_inner_state.py, then run
python collect_inner_state.py

Paso 2: Calcular métricas de características

# Analyze both attack and clean data, compute all features, and save results
python compute_feature.py \
    --attack_dir ./saved_reppl_weights_serial_query1_attack2_2wiki \
    --clean_dir ./saved_reppl_weights_serial_query1_pure1_5_2wiki \
    --output_dir ./analysis_results/2wiki_all \
    --max_attack_samples 3000 \
    --max_clean_samples 3000

Paso 3: Entrenar el clasificador y evaluar

Abra fit_D-SCAN.ipynb y ejecute las celdas secuencialmente para:

  1. Cargar los datos de características generados en el Paso 2
  2. Entrenar clasificadores de Regresión Logística / Random Forest (5-Fold CV)
  3. Evaluar el rendimiento de transferencia en el conjunto de prueba

3. Detalles del pipeline

3.1 Recopilación de datos (collect_inner_state.py)

Para cada entrada de pregunta-documento, el LLM realiza una generación de múltiples muestras (por defecto: 10 muestras, temperature=1.0) y recopila los siguientes estados internos:

CampoTipoDescripción
outer_ppl_probsList[Tensor]Probabilidad de generación de tokens para cada muestra
inner_ppl_matrixList[List[Tensor]]Pesos de atención sobre la secuencia de entrada en cada paso de generación (promediados por capa)
doc_rangesDict[str, List[int]]Rango de posiciones de tokens para cada documento en la secuencia de entrada
generated_sequencesList[List[int]]Secuencias de IDs de tokens generados para cada muestra

Parámetros clave de configuración

MODEL_ID = "/path/to/model"     # Model path
NUM_SAMPLES = 10                # Number of samples per question
MAX_NEW_TOKENS = 50             # Maximum generated tokens
TEMPERATURE = 1.0               # Sampling temperature
data_type = 'pure1_5'           # Data type: 'pure1_5' (clean) or 'attack2' (attack)
dataset_name = 'hotpotqa'       # Dataset: 'hotpotqa', '2wiki', 'musique'

Los resultados se guardan como archivos data_{batch_id}_reppl.pt y archivos de estadísticas results_stats_*.jsonl.


3.2 Cálculo de características (compute_feature.py)

Extrae 10 categorías con más de 100 características dimensionales a partir de los estados internos recopilados. El clasificador utiliza estas características para determinar si existen documentos envenenados entre los documentos recuperados para una consulta dada.

Resumen de métricas

#CategoríaNombre de claseN.º de característicasIdea central
1Estadísticas de probabilidad de generaciónPerplexityMetrics8Los documentos envenenados pueden aumentar la incertidumbre del modelo durante la generación, reflejada en cambios en la distribución de probabilidad
2Entropía de atenciónAttentionEntropyMetrics4Entropía alta = atención dispersa = posible información conflictiva; Entropía baja = atención enfocada
3Concentración de atenciónAttentionConcentrationMetrics8Mide si la atención se concentra en unos pocos tokens mediante la proporción Top-K y el coeficiente de Gini
4Densidad de atención por documentoDocumentAttentionDensityMetrics6Suma de atención dividida por la longitud del documento, eliminando el sesgo de longitud en la asignación de atención
5Consistencia entre múltiples muestrasSampleConsistencyMetrics4Bajo envenenamiento, los patrones de atención entre muestras pueden ser inconsistentes (similitud coseno, divergencia JS)
6Dinámica de atenciónAttentionDynamicsMetrics4Frecuencia de cambios de documento dominante y magnitud del cambio de entropía durante la generación
7Fluctuación de atención a nivel de tokenTokenLevelAttentionMetrics16Estabilidad de la atención en cada posición de token de entrada a lo largo de los pasos de generación (desv. est., entropía)
8Estadísticas profundas de probabilidad de respuestaAnswerProbabilityMetrics18Cuantiles de probabilidad, proporciones de tokens de alta/baja probabilidad, log-probabilidad, perplejidad, etc.
9Dinámica de probabilidadProbabilityDynamicsMetrics14Pendiente de tendencia, autocorrelación, volatilidad, proporción de picos en la secuencia de generación
10Consistencia de probabilidad entre muestrasCrossSampleProbabilityConsistencyMetrics13Similitud coseno, correlación de Pearson, MSE, índice de divergencia entre muestras

Descripciones detalladas de las métricas

1. PerplexityMetrics (Estadísticas de probabilidad de generación)

Calculadas a partir de outer_ppl_probs (probabilidad de cada token generado):

  • ppl_mean_prob: Probabilidad media de todos los tokens generados
  • ppl_std_prob: Desviación estándar de la probabilidad
  • ppl_min_prob: Probabilidad mínima (incertidumbre extrema)
  • ppl_low_prob_ratio: Proporción de tokens de baja probabilidad (<0.1)
  • ppl_cross_sample_var: Varianza de las probabilidades medias entre muestras
  • ppl_coef_variation: Coeficiente de variación (CV = desv. est./media)
  • ppl_skewness: Asimetría de la distribución de probabilidad
  • ppl_kurtosis: Curtosis de la distribución de probabilidad

2. AttentionEntropyMetrics (Entropía de atención)

Calculadas a partir de inner_ppl_matrix (pesos de atención en cada paso):

  • attn_entropy_mean/std/max: Media, desviación estándar y máximo de la entropía de la distribución de atención
  • attn_entropy_cv: Coeficiente de variación de la entropía de atención

3. AttentionConcentrationMetrics (Concentración de atención)

Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    786
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    429
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    345
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    262
  • 6

    looking-glass

    anonghosty/looking-glass

    Plataforma CSIRT que ingiere informes de Shadowserver en MongoDB y los reproduce como mapas interactivos, análisis, hallazgos, avisos y paneles ejecutivos.

    256

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →