
Чёрный ящик подход к оптимизации для защиты системных промптов больших языковых моделей (LLM) от атак состязательного извлечения.
Подход чёрного ящика к оптимизации для защиты системных промптов больших языковых моделей (LLM) от атак извлечения со стороны злоумышленника.
Этот репозиторий реализует минимизацию чувствительности промпта (PSM) — механизм защиты, который использует LLM в качестве оптимизатора для автоматической генерации защитных «щитов» вокруг системных промптов. PSM минимизирует наблюдаемую утечку, сохраняя при этом полезность задачи, посредством итеративного процесса оптимизации.
git clone <repository-url>
cd psm
python -m venv venv
source venv/bin/activate # On Windows: venv\Scripts\activate
pip install -r requirements.txt
config/config.yaml с конфигурациями API вашей LLM:llms:
gpt-4o-mini:
model: "gpt-4o-mini"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0.7
# Add other model configurations as needed
Генерация защищённых системных промптов с помощью PSM:
python run.py
Это позволит:
data/victim_prompts/data/defense_prompts/Оценка механизмов защиты от состязательных атак:
python experiments/evaluate_defenses.py
Это позволит:
results/from run import PSMRunner, RunPSMConfig
# Configure PSM
config = RunPSMConfig(
dataset_name="unnatural-test",
attack_samples=50,
validation_samples=10,
target_dataset_samples=30,
llm_target="gpt-5-mini",
llm_optimizer="gpt-4o-mini",
llm_validation="gpt-4o",
llm_judge="gpt-4o-mini",
n_optimization_iterations=10,
n_initial_shields=5,
n_shields_per_step=5,
max_candidates_per_step=10,
target_utility_threshold=0.9,
target_leakage_threshold=0.65,
leakage_aggregation="logsumexp",
logsumexp_temperature=10.0
)
# Run PSM
runner = PSMRunner(config)
runner.run_experiments()
from experiments.evaluate_defenses import (
DefenseEvaluator, ExperimentConfig,
DefenseConfig, DefenseStrategy,
AttackType, Dataset, TargetModel
)
# Configure experiment
config = ExperimentConfig(
attack_types=[AttackType.RACCON, AttackType.LIANG],
defense_configs=[
DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
],
max_victim_samples=30,
max_attack_samples=60,
use_am_metric=True,
am_threshold=0.9,
use_jm_metric=True,
jm_threshold=0.7
)
# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()
src/defense/psm/psm.py)Основной движок оптимизации, который:
Ключевые классы:
PSM: Основной класс оптимизацииPromptCandidate: Представляет кандидатное решение с оценкамиPSMConfig: Параметры конфигурацииsrc/defense/psm/psm_data_creation.py)Обрабатывает:
src/metrics.py)Метрики оценки:
experiments/evaluate_defenses.py)Комплексная среда оценки:
Поддерживаемые наборы данных атак:
raccon.json: Промпты атаки RACCONliang.json: Шаблоны атак Liang et al.zhang.json: Шаблоны атак Zhang et al.ours.json: Пользовательские промпты атакraccon_language.json: Языково-специфичные атаки RACCON@dataclass
class RunPSMConfig:
# Dataset
dataset_name: str = "unnatural-test"
# Sample sizes
attack_samples: int = 50 # Attack inputs to use
validation_samples: int = 10 # Baseline validation queries
target_dataset_samples: int = 30 # System prompts to process
# Model selection
llm_target: str = "gpt-5-mini" # Target model to protect
llm_optimizer: str = "gpt-4o-mini" # Model for shield generation
llm_validation: str = "gpt-4o" # Model for validation
llm_judge: str = "gpt-4o-mini" # Model for judging
# Optimization parameters
n_optimization_iterations: int = 10 # Max optimization iterations
n_initial_shields: int = 5 # Initial shield population
n_shields_per_step: int = 5 # New shields per iteration
max_candidates_per_step: int = 10 # Max candidates to consider
# Thresholds
target_utility_threshold: float = 0.9 # Minimum utility score
target_leakage_threshold: float = 0.65 # Maximum leakage score
utility_penalty_weight: float = 100.0 # Weight for utility penalty
# Leakage aggregation
leakage_aggregation: str = "logsumexp" # Aggregation method
logsumexp_temperature: float = 10.0 # LogSumExp temperature
top_k: int = 3 # Top-k for top_k_mean