Skip to content
KitploitKITPLOIT
도구익스플로잇블로그
Log in
제출
도구익스플로잇블로그
제출

해킹, 침투 테스트 및 사이버 보안 도구를 당신의 보안 무기고에!

Kitploit은 해킹, 사이버 보안 및 침투 테스트 도구 디렉토리입니다. 최신 프로젝트 업데이트를 발견하여 취약점을 찾고, 시스템을 분석하고, 테스트를 자동화하고, 보안을 강화하세요.

피드문의개인정보© 2026 Kitploit

도구 디렉토리

카테고리

모든 카테고리 보기
Loading categories
psm — 대규모 언어 모델(LLM) 시스템 프롬프트를 적대적 추출 공격으로부터 보호하기 위한 블랙박스 최적화 접근법입니다. | Kitploit
도구/GitHubGitHub/psm-defense/psm
Defensive ToolsMachine LearningPapers & ResearchAI Security
GitHubpsm-defense/psm

psm

대규모 언어 모델(LLM) 시스템 프롬프트를 적대적 추출 공격으로부터 보호하기 위한 블랙박스 최적화 접근법입니다.

저장소 보기
211년 전아직 검토되지 않음
공유

프롬프트 민감도 최소화 (PSM)

대규모 언어 모델(LLM) 시스템 프롬프트를 적대적 추출 공격으로부터 보호하기 위한 블랙박스 최적화 접근법입니다.

개요

이 저장소는 LLM-as-optimizer를 사용하여 시스템 프롬프트 주위에 보호용 "실드"를 자동으로 생성하는 방어 메커니즘인 프롬프트 민감도 최소화(PSM) 를 구현합니다. PSM은 반복적인 최적화 과정을 통해 작업 유용성을 유지하면서 관찰 가능한 누출을 최소화합니다.

주요 기능

  • LLM-as-Optimizer: 언어 모델을 사용하여 보호 실드를 생성하고 개선합니다
  • 다중 목표 최적화: 누출 최소화와 유용성 보존의 균형을 맞춥니다
  • 종합적 평가: 다양한 공격 유형과 방어 전략에 대해 테스트합니다
  • 부드러운 집계: 다양한 누출 점수 집계 방법(logsumexp, top-k 평균, 최댓값)을 구현합니다
  • 효율적인 캐싱: 지능적인 결과 캐싱을 통해 중복 API 호출을 줄입니다
  • 다중 지표: ROUGE 기반 및 LLM 판정 평가 지표를 모두 지원합니다

목차

  • 설치
  • 빠른 시작
  • 사용법
  • 아키텍처
  • 구성
  • 재현성

설치

사전 요구 사항

  • Python 3.8+
  • 가상 환경 (권장)

설정

  1. 저장소를 복제합니다:
git clone <repository-url>
cd psm
  1. 가상 환경을 생성하고 활성화합니다:
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate
  1. 종속성 설치:
pip install -r requirements.txt
  1. API 키 구성: LLM API 구성을 포함하는 config/config.yaml 파일을 생성합니다:
llms:
  gpt-4o-mini:
    model: "gpt-4o-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0.7
  # Add other model configurations as needed

빠른 시작

PSM Defense 실행하기

PSM을 사용하여 보호된 시스템 프롬프트 생성:

python run.py

이 작업은 다음을 수행합니다:

  1. data/victim_prompts/에서 시스템 프롬프트를 로드합니다
  2. LLM 최적화를 사용하여 보호 방어막을 생성합니다
  3. 최적화된 프롬프트를 data/defense_prompts/에 저장합니다

방어 평가

적대적 공격에 대한 방어 메커니즘을 평가합니다:

python experiments/evaluate_defenses.py

다음 작업을 수행합니다:

  1. 여러 방어 전략(None, Baseline, PSM, N-gram Filter, FAKE)을 테스트합니다
  2. 다양한 공격 유형(RACCON, LIANG, ZHANG 등)을 실행합니다
  3. results/에 종합적인 결과를 생성합니다

사용법

프로그래밍 방식 사용법

단일 프롬프트에 대해 PSM 실행

from run import PSMRunner, RunPSMConfig

# Configure PSM
config = RunPSMConfig(
    dataset_name="unnatural-test",
    attack_samples=50,
    validation_samples=10,
    target_dataset_samples=30,
    llm_target="gpt-5-mini",
    llm_optimizer="gpt-4o-mini",
    llm_validation="gpt-4o",
    llm_judge="gpt-4o-mini",
    n_optimization_iterations=10,
    n_initial_shields=5,
    n_shields_per_step=5,
    max_candidates_per_step=10,
    target_utility_threshold=0.9,
    target_leakage_threshold=0.65,
    leakage_aggregation="logsumexp",
    logsumexp_temperature=10.0
)

# Run PSM
runner = PSMRunner(config)
runner.run_experiments()

방어 전략 평가하기

from experiments.evaluate_defenses import (
    DefenseEvaluator, ExperimentConfig, 
    DefenseConfig, DefenseStrategy, 
    AttackType, Dataset, TargetModel
)

# Configure experiment
config = ExperimentConfig(
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[
        DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
    ],
    max_victim_samples=30,
    max_attack_samples=60,
    use_am_metric=True,
    am_threshold=0.9,
    use_jm_metric=True,
    jm_threshold=0.7
)

# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()

아키텍처

핵심 구성 요소

1. PSM (src/defense/psm/psm.py)

다음을 수행하는 주요 최적화 엔진:

  • 초기 보호 방어막 생성
  • LLM-as-optimizer를 사용한 반복적 방어막 개선
  • 유틸리티 및 누출 지표에 대한 후보 평가
  • 다목적 적합도 함수에 대한 최적화

주요 클래스:

  • PSM: 주요 최적화 클래스
  • PromptCandidate: 점수가 포함된 후보 솔루션을 나타냄
  • PSMConfig: 구성 매개변수

2. 데이터 생성 (src/defense/psm/psm_data_creation.py)

다음을 처리:

  • 기준 검증 입력 생성
  • 공격 입력 수집
  • 질의-응답 쌍 생성

3. 지표 (src/metrics.py)

평가 지표:

  • ROUGE Recall: 토큰 중복을 기반으로 누출 측정
  • LLM Judge: LLM을 판정자로 사용한 이진 평가
  • Approximate Match: 임계값 기반 성공 탐지

4. 평가 (experiments/evaluate_defenses.py)

종합 평가 프레임워크:

  • 여러 방어 전략 지원
  • 다양한 공격 유형 테스트
  • 결과 캐싱 구현
  • 상세 보고서 생성

방어 전략

  1. None: 방어 없음 (기준)
  2. Baseline: 단순 지시문 추가 (Liang et al., 2024)
  3. PSM: 프롬프트 민감도 최소화 (본 연구)
  4. N-gram Filter: 프롬프트 n-gram을 포함하는 응답 필터링
  5. FAKE: 미끼 프롬프트 삽입 (Liang et al., 2024)

공격 유형

지원되는 공격 데이터셋:

  • raccon.json: RACCON 공격 프롬프트
  • liang.json: Liang et al. 공격 패턴
  • zhang.json: Zhang et al. 공격 패턴
  • ours.json: 사용자 정의 공격 프롬프트
  • raccon_language.json: 언어별 RACCON 공격

구성

PSM 구성 매개변수

@dataclass
class RunPSMConfig:
    # Dataset
    dataset_name: str = "unnatural-test"
    
    # Sample sizes
    attack_samples: int = 50              # Attack inputs to use
    validation_samples: int = 10          # Baseline validation queries
    target_dataset_samples: int = 30      # System prompts to process
    
    # Model selection
    llm_target: str = "gpt-5-mini"       # Target model to protect
    llm_optimizer: str = "gpt-4o-mini"   # Model for shield generation
    llm_validation: str = "gpt-4o"       # Model for validation
    llm_judge: str = "gpt-4o-mini"       # Model for judging
    
    # Optimization parameters
    n_optimization_iterations: int = 10  # Max optimization iterations
    n_initial_shields: int = 5           # Initial shield population
    n_shields_per_step: int = 5          # New shields per iteration
    max_candidates_per_step: int = 10    # Max candidates to consider
    
    # Thresholds
    target_utility_threshold: float = 0.9    # Minimum utility score
    target_leakage_threshold: float = 0.65  # Maximum leakage score
    utility_penalty_weight: float = 100.0   # Weight for utility penalty
    
    # Leakage aggregation
    leakage_aggregation: str = "logsumexp"   # Aggregation method
    logsumexp_temperature: float = 10.0     # LogSumExp temperature
    top_k: int = 3                          # Top-k for top_k_mean

누출 집계 방법

  1. max: 최대 누출 점수 (비평활)
  2. logsumexp: max의 평활 근사 (권장)
  3. top_k_mean: 최악의 상위 k개 점수 평균
  4. mean: 단순 평균 (가장 평활)

실험 구성

config = ExperimentConfig(
    # Attack and defense selection
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[...],
    
    # Sample limits
    max_victim_samples=30,
    max_attack_samples=60,
    
    # AM metric
    use_am_metric=True,
    am_threshold=0.9,
    
    # JM metric
    use_jm_metric=True,
    jm_threshold=0.7,
    
    # Output options
    output_dir="results",
    save_detailed_results=True,
    save_per_prompt_results=True
)

재현성

이 섹션에서는 이 저장소의 실험 결과를 재현하기 위한 자세한 지침을 제공합니다.

구성

  1. API 키 설정: LLM API 구성을 사용하여 config/config.yaml을 생성하세요:
llms:
  gpt-4o-mini:
    model: "gpt-4o-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0
  gpt-4o:
    model: "gpt-4o"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0
  gpt-5-mini:
    model: "gpt-5-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0
  sentence-transformers/all-MiniLM-L6-v2:
    model_provider: "huggingface"
  1. 데이터 파일 확인: 다음 데이터 파일이 존재하는지 확인하세요:
  • data/victim_prompts/unnatural-test.jsonl
  • data/victim_prompts/syntentic-system-prompt.jsonl
  • data/attack_prompts/raccon.json
  • data/attack_prompts/raccon_language.json
  • data/attack_prompts/liang.json
  • data/attack_prompts/zhang.json

PSM 방어 생성 재현하기

PSM 최적화 프로세스를 실행하세요:

python run.py

예상 출력:

  • 처리된 프롬프트가 data/defense_prompts/에 저장됨
  • 파일명 형식: psm_target_{model}_dataset_{dataset}.jsonl
  • 각 항목에는 다음이 포함됨:
    • instruction: 보호 방패가 적용된 최적화된 프롬프트
    • original_instruction: 원본 시스템 프롬프트
    • utility_score: 유용성 보존 점수
    • leakage_score: 누출 최소화 점수
    • fitness_score: 결합 적합도 점수

기본 구성:

  • n_optimization_iterations: 10
  • n_initial_shields: 5
  • n_shields_per_step: 5
  • attack_samples: 50
  • validation_samples: 10
  • leakage_aggregation: "logsumexp"

방어 평가 재현하기

공격에 대한 방어를 평가합니다:

python experiments/evaluate_defenses.py

예상 출력:

  • 결과가 results/ 디렉터리에 저장됨
  • 상세한 공격 결과가 포함된 Excel 파일
  • 모든 실험에 대한 JSON 요약
  • 이후 실행 속도를 높이기 위한 캐시된 결과

특정 실험 재현하기

프로그래밍 방식으로 제어하려면 run.py의 구성을 수정하세요:

도구 다운로드

인기

모두 보기 →

커뮤니티에서 가장 많이 사용되는 도구를 찾아보세요.

아직 인기 데이터가 없습니다.

모든 도구 탐색

도구 컬렉션을 둘러보세요

모든 도구 보기 →