
Un approccio di ottimizzazione black-box per proteggere i prompt di sistema dei Large Language Model (LLM) dagli attacchi di estrazione adversarial.
Un approccio di ottimizzazione black-box per proteggere i prompt di sistema dei Large Language Model (LLM) dagli attacchi di estrazione adversarial.
Questo repository implementa la Prompt Sensitivity Minimization (PSM), un meccanismo di difesa che utilizza l'LLM come ottimizzatore per generare automaticamente "scudi" protettivi attorno ai prompt di sistema. PSM minimizza la fuga di informazioni osservabile preservando l'utilità del compito attraverso un processo di ottimizzazione iterativo.
git clone <repository-url>
cd psm
python -m venv venv
source venv/bin/activate # On Windows: venv\Scripts\activate
pip install -r requirements.txt
config/config.yaml con le tue configurazioni API LLM:llms:
gpt-4o-mini:
model: "gpt-4o-mini"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0.7
# Add other model configurations as needed
Genera prompt di sistema protetti utilizzando PSM:
python run.py
Questo:
data/victim_prompts/data/defense_prompts/Valuta i meccanismi di difesa contro attacchi avversariali:
python experiments/evaluate_defenses.py
Questo:
results/from run import PSMRunner, RunPSMConfig
# Configure PSM
config = RunPSMConfig(
dataset_name="unnatural-test",
attack_samples=50,
validation_samples=10,
target_dataset_samples=30,
llm_target="gpt-5-mini",
llm_optimizer="gpt-4o-mini",
llm_validation="gpt-4o",
llm_judge="gpt-4o-mini",
n_optimization_iterations=10,
n_initial_shields=5,
n_shields_per_step=5,
max_candidates_per_step=10,
target_utility_threshold=0.9,
target_leakage_threshold=0.65,
leakage_aggregation="logsumexp",
logsumexp_temperature=10.0
)
# Run PSM
runner = PSMRunner(config)
runner.run_experiments()
from experiments.evaluate_defenses import (
DefenseEvaluator, ExperimentConfig,
DefenseConfig, DefenseStrategy,
AttackType, Dataset, TargetModel
)
# Configure experiment
config = ExperimentConfig(
attack_types=[AttackType.RACCON, AttackType.LIANG],
defense_configs=[
DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
],
max_victim_samples=30,
max_attack_samples=60,
use_am_metric=True,
am_threshold=0.9,
use_jm_metric=True,
jm_threshold=0.7
)
# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()
src/defense/psm/psm.py)Il motore di ottimizzazione principale che:
Classi principali:
PSM: Classe di ottimizzazione principalePromptCandidate: Rappresenta una soluzione candidata con i relativi punteggiPSMConfig: Parametri di configurazionesrc/defense/psm/psm_data_creation.py)Gestisce:
src/metrics.py)Metriche di valutazione:
experiments/evaluate_defenses.py)Framework di valutazione completo:
Dataset di attacco supportati:
raccon.json: Prompt di attacco RACCONliang.json: Pattern di attacco di Liang et al.zhang.json: Pattern di attacco di Zhang et al.ours.json: Prompt di attacco personalizzatiraccon_language.json: Attacchi RACCON specifici per lingua@dataclass
class RunPSMConfig:
# Dataset
dataset_name: str = "unnatural-test"
# Sample sizes
attack_samples: int = 50 # Attack inputs to use
validation_samples: int = 10 # Baseline validation queries
target_dataset_samples: int = 30 # System prompts to process
# Model selection
llm_target: str = "gpt-5-mini" # Target model to protect
llm_optimizer: str = "gpt-4o-mini" # Model for shield generation
llm_validation: str = "gpt-4o" # Model for validation
llm_judge: str = "gpt-4o-mini" # Model for judging
# Optimization parameters
n_optimization_iterations: int = 10 # Max optimization iterations
n_initial_shields: int = 5 # Initial shield population
n_shields_per_step: int = 5 # New shields per iteration
max_candidates_per_step: int = 10 # Max candidates to consider
# Thresholds
target_utility_threshold: float = 0.9 # Minimum utility score
target_leakage_threshold: float = 0.65 # Maximum leakage score
utility_penalty_weight: float = 100.0 # Weight for utility penalty
# Leakage aggregation
leakage_aggregation: str = "logsumexp" # Aggregation method
logsumexp_temperature: float = 10.0 # LogSumExp temperature
top_k: int = 3 # Top-k for top_k_mean