大規模言語モデル (LLM) のシステムプロンプトを敵対的抽出攻撃から保護するためのブラックボックス最適化アプローチ。
このリポジトリは プロンプト感度最小化 (PSM) を実装しています。これは LLM-as-optimizer を用いてシステムプロンプトの周囲に保護的な「シールド」を自動生成する防御メカニズムです。PSM は反復的な最適化プロセスを通じて、タスクの有用性を維持しながら観測可能な漏洩を最小化します。
git clone <repository-url>
cd psm
python -m venv venv
source venv/bin/activate # On Windows: venv\Scripts\activate
pip install -r requirements.txt
config/config.yaml ファイルを作成します:llms:
gpt-4o-mini:
model: "gpt-4o-mini"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0.7
# Add other model configurations as needed
PSMを使用して保護されたシステムプロンプトを生成します:
python run.py
これにより以下が実行されます:
data/victim_prompts/ からシステムプロンプトを読み込むdata/defense_prompts/ に保存する敵対的攻撃に対する防御メカニズムを評価します:
python experiments/evaluate_defenses.py
これにより以下が実行されます:
results/ に包括的な結果を生成しますfrom run import PSMRunner, RunPSMConfig
# Configure PSM
config = RunPSMConfig(
dataset_name="unnatural-test",
attack_samples=50,
validation_samples=10,
target_dataset_samples=30,
llm_target="gpt-5-mini",
llm_optimizer="gpt-4o-mini",
llm_validation="gpt-4o",
llm_judge="gpt-4o-mini",
n_optimization_iterations=10,
n_initial_shields=5,
n_shields_per_step=5,
max_candidates_per_step=10,
target_utility_threshold=0.9,
target_leakage_threshold=0.65,
leakage_aggregation="logsumexp",
logsumexp_temperature=10.0
)
# Run PSM
runner = PSMRunner(config)
runner.run_experiments()
from experiments.evaluate_defenses import (
DefenseEvaluator, ExperimentConfig,
DefenseConfig, DefenseStrategy,
AttackType, Dataset, TargetModel
)
# Configure experiment
config = ExperimentConfig(
attack_types=[AttackType.RACCON, AttackType.LIANG],
defense_configs=[
DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
],
max_victim_samples=30,
max_attack_samples=60,
use_am_metric=True,
am_threshold=0.9,
use_jm_metric=True,
jm_threshold=0.7
)
# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()
src/defense/psm/psm.py)以下を行う主要な最適化エンジン:
主要クラス:
PSM: 主要な最適化クラスPromptCandidate: スコアを持つ候補解を表すPSMConfig: 設定パラメータsrc/defense/psm/psm_data_creation.py)以下を処理:
src/metrics.py)評価メトリクス:
experiments/evaluate_defenses.py)包括的な評価フレームワーク:
サポートされている攻撃データセット:
raccon.json: RACCON攻撃プロンプトliang.json: Liang et al. の攻撃パターンzhang.json: Zhang et al. の攻撃パターンours.json: カスタム攻撃プロンプトraccon_language.json: 言語固有のRACCON攻撃@dataclass
class RunPSMConfig:
# Dataset
dataset_name: str = "unnatural-test"
# Sample sizes
attack_samples: int = 50 # Attack inputs to use
validation_samples: int = 10 # Baseline validation queries
target_dataset_samples: int = 30 # System prompts to process
# Model selection
llm_target: str = "gpt-5-mini" # Target model to protect
llm_optimizer: str = "gpt-4o-mini" # Model for shield generation
llm_validation: str = "gpt-4o" # Model for validation
llm_judge: str = "gpt-4o-mini" # Model for judging
# Optimization parameters
n_optimization_iterations: int = 10 # Max optimization iterations
n_initial_shields: int = 5 # Initial shield population
n_shields_per_step: int = 5 # New shields per iteration
max_candidates_per_step: int = 10 # Max candidates to consider
# Thresholds
target_utility_threshold: float = 0.9 # Minimum utility score
target_leakage_threshold: float = 0.65 # Maximum leakage score
utility_penalty_weight: float = 100.0 # Weight for utility penalty
# Leakage aggregation
leakage_aggregation: str = "logsumexp" # Aggregation method
logsumexp_temperature: float = 10.0 # LogSumExp temperature
top_k: int = 3 # Top-k for top_k_mean
config = ExperimentConfig(
# Attack and defense selection
attack_types=[AttackType.RACCON, AttackType.LIANG],
defense_configs=[...],
# Sample limits
max_victim_samples=30,
max_attack_samples=60,
# AM metric
use_am_metric=True,
am_threshold=0.9,
# JM metric
use_jm_metric=True,
jm_threshold=0.7,
# Output options
output_dir="results",
save_detailed_results=True,
save_per_prompt_results=True
)
このセクションでは、このリポジトリの実験結果を再現するための詳細な手順を説明します。
config/config.yaml を作成します:llms:
gpt-4o-mini:
model: "gpt-4o-mini"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0
gpt-4o:
model: "gpt-4o"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0
gpt-5-mini:
model: "gpt-5-mini"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0
sentence-transformers/all-MiniLM-L6-v2:
model_provider: "huggingface"
data/victim_prompts/unnatural-test.jsonldata/victim_prompts/syntentic-system-prompt.jsonldata/attack_prompts/raccon.jsondata/attack_prompts/raccon_language.jsondata/attack_prompts/liang.jsondata/attack_prompts/zhang.jsonPSM最適化プロセスを実行します:
python run.py
期待される出力:
data/defense_prompts/ に保存されますpsm_target_{model}_dataset_{dataset}.jsonlinstruction: 保護シールド付きの最適化されたプロンプトoriginal_instruction: 元のシステムプロンプトutility_score: 有用性維持スコアleakage_score: 漏洩最小化スコアfitness_score: 統合適合度スコアデフォルト設定:
n_optimization_iterations: 10n_initial_shields: 5n_shields_per_step: 5attack_samples: 50validation_samples: 10leakage_aggregation: "logsumexp"攻撃に対する防御を評価します:
python experiments/evaluate_defenses.py
期待される出力:
results/ ディレクトリに保存されますプログラムによる制御を行うには、run.py 内の設定を変更します: