
대규모 언어 모델(LLM) 시스템 프롬프트를 적대적 추출 공격으로부터 보호하기 위한 블랙박스 최적화 접근법입니다.
대규모 언어 모델(LLM) 시스템 프롬프트를 적대적 추출 공격으로부터 보호하기 위한 블랙박스 최적화 접근법입니다.
이 저장소는 LLM-as-optimizer를 사용하여 시스템 프롬프트 주위에 보호용 "실드"를 자동으로 생성하는 방어 메커니즘인 프롬프트 민감도 최소화(PSM) 를 구현합니다. PSM은 반복적인 최적화 과정을 통해 작업 유용성을 유지하면서 관찰 가능한 누출을 최소화합니다.
git clone <repository-url>
cd psm
python -m venv venv
source venv/bin/activate # On Windows: venv\Scripts\activate
pip install -r requirements.txt
config/config.yaml 파일을 생성합니다:llms:
gpt-4o-mini:
model: "gpt-4o-mini"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0.7
# Add other model configurations as needed
PSM을 사용하여 보호된 시스템 프롬프트 생성:
python run.py
이 작업은 다음을 수행합니다:
data/victim_prompts/에서 시스템 프롬프트를 로드합니다data/defense_prompts/에 저장합니다적대적 공격에 대한 방어 메커니즘을 평가합니다:
python experiments/evaluate_defenses.py
다음 작업을 수행합니다:
results/에 종합적인 결과를 생성합니다from run import PSMRunner, RunPSMConfig
# Configure PSM
config = RunPSMConfig(
dataset_name="unnatural-test",
attack_samples=50,
validation_samples=10,
target_dataset_samples=30,
llm_target="gpt-5-mini",
llm_optimizer="gpt-4o-mini",
llm_validation="gpt-4o",
llm_judge="gpt-4o-mini",
n_optimization_iterations=10,
n_initial_shields=5,
n_shields_per_step=5,
max_candidates_per_step=10,
target_utility_threshold=0.9,
target_leakage_threshold=0.65,
leakage_aggregation="logsumexp",
logsumexp_temperature=10.0
)
# Run PSM
runner = PSMRunner(config)
runner.run_experiments()
from experiments.evaluate_defenses import (
DefenseEvaluator, ExperimentConfig,
DefenseConfig, DefenseStrategy,
AttackType, Dataset, TargetModel
)
# Configure experiment
config = ExperimentConfig(
attack_types=[AttackType.RACCON, AttackType.LIANG],
defense_configs=[
DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
],
max_victim_samples=30,
max_attack_samples=60,
use_am_metric=True,
am_threshold=0.9,
use_jm_metric=True,
jm_threshold=0.7
)
# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()
src/defense/psm/psm.py)다음을 수행하는 주요 최적화 엔진:
주요 클래스:
PSM: 주요 최적화 클래스PromptCandidate: 점수가 포함된 후보 솔루션을 나타냄PSMConfig: 구성 매개변수src/defense/psm/psm_data_creation.py)다음을 처리:
src/metrics.py)평가 지표:
experiments/evaluate_defenses.py)종합 평가 프레임워크:
지원되는 공격 데이터셋:
raccon.json: RACCON 공격 프롬프트liang.json: Liang et al. 공격 패턴zhang.json: Zhang et al. 공격 패턴ours.json: 사용자 정의 공격 프롬프트raccon_language.json: 언어별 RACCON 공격@dataclass
class RunPSMConfig:
# Dataset
dataset_name: str = "unnatural-test"
# Sample sizes
attack_samples: int = 50 # Attack inputs to use
validation_samples: int = 10 # Baseline validation queries
target_dataset_samples: int = 30 # System prompts to process
# Model selection
llm_target: str = "gpt-5-mini" # Target model to protect
llm_optimizer: str = "gpt-4o-mini" # Model for shield generation
llm_validation: str = "gpt-4o" # Model for validation
llm_judge: str = "gpt-4o-mini" # Model for judging
# Optimization parameters
n_optimization_iterations: int = 10 # Max optimization iterations
n_initial_shields: int = 5 # Initial shield population
n_shields_per_step: int = 5 # New shields per iteration
max_candidates_per_step: int = 10 # Max candidates to consider
# Thresholds
target_utility_threshold: float = 0.9 # Minimum utility score
target_leakage_threshold: float = 0.65 # Maximum leakage score
utility_penalty_weight: float = 100.0 # Weight for utility penalty
# Leakage aggregation
leakage_aggregation: str = "logsumexp" # Aggregation method
logsumexp_temperature: float = 10.0 # LogSumExp temperature
top_k: int = 3 # Top-k for top_k_mean
config = ExperimentConfig(
# Attack and defense selection
attack_types=[AttackType.RACCON, AttackType.LIANG],
defense_configs=[...],
# Sample limits
max_victim_samples=30,
max_attack_samples=60,
# AM metric
use_am_metric=True,
am_threshold=0.9,
# JM metric
use_jm_metric=True,
jm_threshold=0.7,
# Output options
output_dir="results",
save_detailed_results=True,
save_per_prompt_results=True
)
이 섹션에서는 이 저장소의 실험 결과를 재현하기 위한 자세한 지침을 제공합니다.
config/config.yaml을 생성하세요:llms:
gpt-4o-mini:
model: "gpt-4o-mini"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0
gpt-4o:
model: "gpt-4o"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0
gpt-5-mini:
model: "gpt-5-mini"
model_provider: "openai"
api_key: "your-api-key"
temperature: 0
sentence-transformers/all-MiniLM-L6-v2:
model_provider: "huggingface"
data/victim_prompts/unnatural-test.jsonldata/victim_prompts/syntentic-system-prompt.jsonldata/attack_prompts/raccon.jsondata/attack_prompts/raccon_language.jsondata/attack_prompts/liang.jsondata/attack_prompts/zhang.jsonPSM 최적화 프로세스를 실행하세요:
python run.py
예상 출력:
data/defense_prompts/에 저장됨psm_target_{model}_dataset_{dataset}.jsonlinstruction: 보호 방패가 적용된 최적화된 프롬프트original_instruction: 원본 시스템 프롬프트utility_score: 유용성 보존 점수leakage_score: 누출 최소화 점수fitness_score: 결합 적합도 점수기본 구성:
n_optimization_iterations: 10n_initial_shields: 5n_shields_per_step: 5attack_samples: 50validation_samples: 10leakage_aggregation: "logsumexp"공격에 대한 방어를 평가합니다:
python experiments/evaluate_defenses.py
예상 출력:
results/ 디렉터리에 저장됨프로그래밍 방식으로 제어하려면 run.py의 구성을 수정하세요: