
Une approche d'optimisation en boîte noire pour protéger les prompts système des grands modèles de langage (LLM) contre les attaques d'extraction adversariales.
Une approche d'optimisation en boîte noire pour protéger les prompts système des grands modèles de langage (LLM) contre les attaques d'extraction adversariales.
Ce dépôt implémente la Minimisation de la sensibilité aux prompts (PSM), un mécanisme de défense qui utilise le LLM comme optimiseur pour générer automatiquement des « boucliers » de protection autour des prompts système. PSM minimise les fuites observables tout en préservant l'utilité de la tâche grâce à un processus d'optimisation itératif.
git clone <repository-url>
cd psm
python -m venv venv
source venv/bin/activate # On Windows: venv\Scripts\activate
pip install -r requirements.txt
config/config.yaml avec vos configurations d'API LLM :llms:
gpt-4o-mini:
model: "gpt-4o-mini"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0.7
# Add other model configurations as needed
Générez des invites système protégées à l'aide de PSM :
python run.py
Cela va :
data/victim_prompts/data/defense_prompts/Évaluer les mécanismes de défense contre les attaques adversariales :
python experiments/evaluate_defenses.py
Cela va :
results/from run import PSMRunner, RunPSMConfig
# Configure PSM
config = RunPSMConfig(
dataset_name="unnatural-test",
attack_samples=50,
validation_samples=10,
target_dataset_samples=30,
llm_target="gpt-5-mini",
llm_optimizer="gpt-4o-mini",
llm_validation="gpt-4o",
llm_judge="gpt-4o-mini",
n_optimization_iterations=10,
n_initial_shields=5,
n_shields_per_step=5,
max_candidates_per_step=10,
target_utility_threshold=0.9,
target_leakage_threshold=0.65,
leakage_aggregation="logsumexp",
logsumexp_temperature=10.0
)
# Run PSM
runner = PSMRunner(config)
runner.run_experiments()
from experiments.evaluate_defenses import (
DefenseEvaluator, ExperimentConfig,
DefenseConfig, DefenseStrategy,
AttackType, Dataset, TargetModel
)
# Configure experiment
config = ExperimentConfig(
attack_types=[AttackType.RACCON, AttackType.LIANG],
defense_configs=[
DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
],
max_victim_samples=30,
max_attack_samples=60,
use_am_metric=True,
am_threshold=0.9,
use_jm_metric=True,
jm_threshold=0.7
)
# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()
src/defense/psm/psm.py)Le moteur d'optimisation principal qui :
Classes clés :
PSM : Classe d'optimisation principalePromptCandidate : Représente une solution candidate avec ses scoresPSMConfig : Paramètres de configurationsrc/defense/psm/psm_data_creation.py)Gère :
src/metrics.py)Métriques d'évaluation :
experiments/evaluate_defenses.py)Cadre d'évaluation complet :
Jeux de données d'attaque pris en charge :
raccon.json : Prompts d'attaque RACCONliang.json : Modèles d'attaque de Liang et al.zhang.json : Modèles d'attaque de Zhang et al.ours.json : Prompts d'attaque personnalisésraccon_language.json : Attaques RACCON spécifiques à une langue@dataclass
class RunPSMConfig:
# Dataset
dataset_name: str = "unnatural-test"
# Sample sizes
attack_samples: int = 50 # Attack inputs to use
validation_samples: int = 10 # Baseline validation queries
target_dataset_samples: int = 30 # System prompts to process
# Model selection
llm_target: str = "gpt-5-mini" # Target model to protect
llm_optimizer: str = "gpt-4o-mini" # Model for shield generation
llm_validation: str = "gpt-4o" # Model for validation
llm_judge: str = "gpt-4o-mini" # Model for judging
# Optimization parameters
n_optimization_iterations: int = 10 # Max optimization iterations
n_initial_shields: int = 5 # Initial shield population
n_shields_per_step: int = 5 # New shields per iteration
max_candidates_per_step: int = 10 # Max candidates to consider
# Thresholds
target_utility_threshold: float = 0.9 # Minimum utility score
target_leakage_threshold: float = 0.65 # Maximum leakage score
utility_penalty_weight: float = 100.0 # Weight for utility penalty
# Leakage aggregation
leakage_aggregation: str = "logsumexp" # Aggregation method
logsumexp_temperature: float = 10.0 # LogSumExp temperature
top_k: int = 3 # Top-k for top_k_mean