Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
psm — Un enfoque de optimización de caja negra para proteger los prompts de sistema de los Modelos de Lenguaje Grande (LLM) contra ataques de extracción adversarial. | Kitploit
Herramientas/GitHubGitHub/psm-defense/psm
Herramientas DefensivasAprendizaje AutomáticoPapers e InvestigaciónSeguridad de IA
GitHubpsm-defense/psm

psm

Un enfoque de optimización de caja negra para proteger los prompts de sistema de los Modelos de Lenguaje Grande (LLM) contra ataques de extracción adversarial.

Ver Repositorio
21hace 1 añoAún no revisado
Compartir

Minimización de la Sensibilidad a Prompts (PSM)

Un enfoque de optimización de caja negra para proteger los prompts de sistema de los Modelos de Lenguaje Grande (LLM) contra ataques de extracción adversarial.

Descripción general

Este repositorio implementa Prompt Sensitivity Minimization (PSM), un mecanismo de defensa que utiliza LLM-como-optimizador para generar automáticamente "escudos" protectores alrededor de los prompts de sistema. PSM minimiza la fuga observable mientras preserva la utilidad de la tarea mediante un proceso de optimización iterativo.

Características clave

  • LLM-como-Optimizador: Utiliza modelos de lenguaje para generar y refinar escudos protectores
  • Optimización multiobjetivo: Equilibra la minimización de fugas con la preservación de la utilidad
  • Evaluación integral: Prueba contra múltiples tipos de ataques y estrategias de defensa
  • Agregación suave: Implementa varios métodos de agregación de puntuaciones de fuga (logsumexp, media top-k, max)
  • Caché eficiente: Reduce las llamadas redundantes a la API mediante un almacenamiento en caché inteligente de resultados
  • Múltiples métricas: Admite métricas de evaluación basadas en ROUGE y en juez LLM

Tabla de contenidos

  • Instalación
  • Inicio rápido
  • Uso
  • Arquitectura
  • Configuración
  • Reproducibilidad

Instalación

Requisitos previos

  • Python 3.8+
  • Entorno virtual (recomendado)

Configuración

  1. Clona el repositorio:
git clone <repository-url>
cd psm
  1. Cree y active un entorno virtual:
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate
  1. Instalar las dependencias:
pip install -r requirements.txt
  1. Configure las claves de API: Cree un archivo config/config.yaml con sus configuraciones de API de LLM:
llms:
  gpt-4o-mini:
    model: "gpt-4o-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0.7
  # Add other model configurations as needed

Inicio rápido

Ejecutar PSM Defense

Genera system prompts protegidos usando PSM:

python run.py

Esto hará lo siguiente:

  1. Cargar los prompts del sistema desde data/victim_prompts/
  2. Generar escudos protectores mediante optimización con LLM
  3. Guardar los prompts optimizados en data/defense_prompts/

Evaluación de defensas

Evaluar los mecanismos de defensa frente a ataques adversarios:

python experiments/evaluate_defenses.py

Esto hará lo siguiente:

  1. Probar múltiples estrategias de defensa (None, Baseline, PSM, N-gram Filter, FAKE)
  2. Ejecutar varios tipos de ataque (RACCON, LIANG, ZHANG, etc.)
  3. Generar resultados completos en results/

Uso

Uso programático

Ejecutar PSM para un único prompt

from run import PSMRunner, RunPSMConfig

# Configure PSM
config = RunPSMConfig(
    dataset_name="unnatural-test",
    attack_samples=50,
    validation_samples=10,
    target_dataset_samples=30,
    llm_target="gpt-5-mini",
    llm_optimizer="gpt-4o-mini",
    llm_validation="gpt-4o",
    llm_judge="gpt-4o-mini",
    n_optimization_iterations=10,
    n_initial_shields=5,
    n_shields_per_step=5,
    max_candidates_per_step=10,
    target_utility_threshold=0.9,
    target_leakage_threshold=0.65,
    leakage_aggregation="logsumexp",
    logsumexp_temperature=10.0
)

# Run PSM
runner = PSMRunner(config)
runner.run_experiments()

Evaluación de una estrategia de defensa

from experiments.evaluate_defenses import (
    DefenseEvaluator, ExperimentConfig, 
    DefenseConfig, DefenseStrategy, 
    AttackType, Dataset, TargetModel
)

# Configure experiment
config = ExperimentConfig(
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[
        DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
    ],
    max_victim_samples=30,
    max_attack_samples=60,
    use_am_metric=True,
    am_threshold=0.9,
    use_jm_metric=True,
    jm_threshold=0.7
)

# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()

Arquitectura

Componentes principales

1. PSM (src/defense/psm/psm.py)

El motor de optimización principal que:

  • Genera escudos protectores iniciales
  • Refina iterativamente los escudos usando LLM-as-optimizer
  • Evalúa los candidatos según métricas de utilidad y filtración
  • Optimiza para una función de aptitud multiobjetivo

Clases clave:

  • PSM: Clase de optimización principal
  • PromptCandidate: Representa una solución candidata con puntuaciones
  • PSMConfig: Parámetros de configuración

2. Creación de datos (src/defense/psm/psm_data_creation.py)

Gestiona:

  • Generación de entradas de validación de referencia
  • Recopilación de entradas de ataque
  • Creación de pares consulta-respuesta

3. Métricas (src/metrics.py)

Métricas de evaluación:

  • ROUGE Recall: Mide la filtración basándose en la superposición de tokens
  • LLM Judge: Evaluación binaria usando un LLM como juez
  • Approximate Match: Detección de éxito basada en umbrales

4. Evaluación (experiments/evaluate_defenses.py)

Marco de evaluación integral:

  • Admite múltiples estrategias de defensa
  • Prueba varios tipos de ataque
  • Implementa el almacenamiento en caché de resultados
  • Genera informes detallados

Estrategias de defensa

  1. None: Sin defensa (línea base)
  2. Baseline: Adición simple de instrucciones (Liang et al., 2024)
  3. PSM: Minimización de la sensibilidad al prompt (este trabajo)
  4. N-gram Filter: Filtra las respuestas que contienen n-gramas del prompt
  5. FAKE: Inserción de prompts señuelo (Liang et al., 2024)

Tipos de ataque

Conjuntos de datos de ataque admitidos:

  • raccon.json: Prompts de ataque RACCON
  • liang.json: Patrones de ataque de Liang et al.
  • zhang.json: Patrones de ataque de Zhang et al.
  • ours.json: Prompts de ataque personalizados
  • raccon_language.json: Ataques RACCON específicos de idioma

Configuración

Parámetros de configuración de PSM

@dataclass
class RunPSMConfig:
    # Dataset
    dataset_name: str = "unnatural-test"
    
    # Sample sizes
    attack_samples: int = 50              # Attack inputs to use
    validation_samples: int = 10          # Baseline validation queries
    target_dataset_samples: int = 30      # System prompts to process
    
    # Model selection
    llm_target: str = "gpt-5-mini"       # Target model to protect
    llm_optimizer: str = "gpt-4o-mini"   # Model for shield generation
    llm_validation: str = "gpt-4o"       # Model for validation
    llm_judge: str = "gpt-4o-mini"       # Model for judging
    
    # Optimization parameters
    n_optimization_iterations: int = 10  # Max optimization iterations
    n_initial_shields: int = 5           # Initial shield population
    n_shields_per_step: int = 5          # New shields per iteration
    max_candidates_per_step: int = 10    # Max candidates to consider
    
    # Thresholds
    target_utility_threshold: float = 0.9    # Minimum utility score
    target_leakage_threshold: float = 0.65  # Maximum leakage score
    utility_penalty_weight: float = 100.0   # Weight for utility penalty
    
    # Leakage aggregation
    leakage_aggregation: str = "logsumexp"   # Aggregation method
    logsumexp_temperature: float = 10.0     # LogSumExp temperature
    top_k: int = 3                          # Top-k for top_k_mean

Métodos de agregación de fuga

  1. max: Puntuación de fuga máxima (no suave)
  2. logsumexp: Aproximación suave de max (recomendado)
  3. top_k_mean: Promedio de las k peores puntuaciones
  4. mean: Promedio simple (el más suave)

Configuración del experimento

Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    696
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    499
  • 3

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    396
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    340
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    258
  • 6

    antifox

    antifox-ai/antifox

    Plataforma de pruebas de penetración autónoma con múltiples agentes de IA que ejecuta reconocimiento, descubrimiento de superficie de ataque, validación de explotación y entrega de informes respaldados por evidencia.

    257

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →