Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
psm — 大規模言語モデル(LLM)のシステムプロンプトを敵対的抽出攻撃から保護するためのブラックボックス最適化アプローチ。 | Kitploit
ツール/GitHubGitHub/psm-defense/psm
防御ツール機械学習論文と研究AIセキュリティ
GitHubpsm-defense/psm

psm

大規模言語モデル(LLM)のシステムプロンプトを敵対的抽出攻撃から保護するためのブラックボックス最適化アプローチ。

リポジトリを見る
211年前未レビュー
共有

プロンプト感度最小化 (PSM)

大規模言語モデル (LLM) のシステムプロンプトを敵対的抽出攻撃から保護するためのブラックボックス最適化アプローチ。

概要

このリポジトリは プロンプト感度最小化 (PSM) を実装しています。これは LLM-as-optimizer を用いてシステムプロンプトの周囲に保護的な「シールド」を自動生成する防御メカニズムです。PSM は反復的な最適化プロセスを通じて、タスクの有用性を維持しながら観測可能な漏洩を最小化します。

主な機能

  • LLM-as-Optimizer: 言語モデルを使用して保護シールドを生成・改善
  • 多目的最適化: 漏洩の最小化と有用性の維持のバランスを取る
  • 包括的な評価: 複数の攻撃タイプと防御戦略に対してテスト
  • スムーズな集約: 様々な漏洩スコア集約手法 (logsumexp、top-k 平均、最大値) を実装
  • 効率的なキャッシュ: インテリジェントな結果キャッシュにより冗長な API 呼び出しを削減
  • 複数の指標: ROUGE ベースと LLM ジャッジ評価指標の両方をサポート

目次

  • インストール
  • クイックスタート
  • 使用方法
  • アーキテクチャ
  • 設定
  • 再現性

インストール

前提条件

  • Python 3.8+
  • 仮想環境 (推奨)

セットアップ

  1. リポジトリをクローンします:
git clone <repository-url>
cd psm
  1. 仮想環境を作成してアクティブ化します:
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate
  1. 依存関係をインストールします:
pip install -r requirements.txt
  1. APIキーを設定します: LLM APIの設定を含む config/config.yaml ファイルを作成します:
llms:
  gpt-4o-mini:
    model: "gpt-4o-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0.7
  # Add other model configurations as needed

クイックスタート

PSM Defenseの実行

PSMを使用して保護されたシステムプロンプトを生成します:

python run.py

これにより以下が実行されます:

  1. data/victim_prompts/ からシステムプロンプトを読み込む
  2. LLM最適化を使用して防御シールドを生成する
  3. 最適化されたプロンプトを data/defense_prompts/ に保存する

防御の評価

敵対的攻撃に対する防御メカニズムを評価します:

python experiments/evaluate_defenses.py

これにより以下が実行されます:

  1. 複数の防御戦略(None、Baseline、PSM、N-gram Filter、FAKE)をテストします
  2. さまざまな攻撃タイプ(RACCON、LIANG、ZHANG など)を実行します
  3. results/ に包括的な結果を生成します

使用方法

プログラムによる使用

単一プロンプトに対する PSM の実行

from run import PSMRunner, RunPSMConfig

# Configure PSM
config = RunPSMConfig(
    dataset_name="unnatural-test",
    attack_samples=50,
    validation_samples=10,
    target_dataset_samples=30,
    llm_target="gpt-5-mini",
    llm_optimizer="gpt-4o-mini",
    llm_validation="gpt-4o",
    llm_judge="gpt-4o-mini",
    n_optimization_iterations=10,
    n_initial_shields=5,
    n_shields_per_step=5,
    max_candidates_per_step=10,
    target_utility_threshold=0.9,
    target_leakage_threshold=0.65,
    leakage_aggregation="logsumexp",
    logsumexp_temperature=10.0
)

# Run PSM
runner = PSMRunner(config)
runner.run_experiments()

防御戦略の評価

from experiments.evaluate_defenses import (
    DefenseEvaluator, ExperimentConfig, 
    DefenseConfig, DefenseStrategy, 
    AttackType, Dataset, TargetModel
)

# Configure experiment
config = ExperimentConfig(
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[
        DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
    ],
    max_victim_samples=30,
    max_attack_samples=60,
    use_am_metric=True,
    am_threshold=0.9,
    use_jm_metric=True,
    jm_threshold=0.7
)

# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()

アーキテクチャ

コアコンポーネント

1. PSM (src/defense/psm/psm.py)

以下を行う主要な最適化エンジン:

  • 初期の防御シールドを生成する
  • LLM-as-optimizer を用いてシールドを反復的に改善する
  • 候補を有用性と漏洩メトリクスで評価する
  • 多目的適合度関数に基づいて最適化する

主要クラス:

  • PSM: 主要な最適化クラス
  • PromptCandidate: スコアを持つ候補解を表す
  • PSMConfig: 設定パラメータ

2. データ作成 (src/defense/psm/psm_data_creation.py)

以下を処理:

  • ベースライン検証入力の生成
  • 攻撃入力の収集
  • クエリと回答のペアの作成

3. メトリクス (src/metrics.py)

評価メトリクス:

  • ROUGE Recall: トークンの重複に基づいて漏洩を測定する
  • LLM Judge: LLMを審査員として用いた二値評価
  • Approximate Match: 閾値に基づく成功検出

4. 評価 (experiments/evaluate_defenses.py)

包括的な評価フレームワーク:

  • 複数の防御戦略をサポートする
  • さまざまな攻撃タイプをテストする
  • 結果のキャッシュを実装する
  • 詳細なレポートを生成する

防御戦略

  1. None: 防御なし(ベースライン)
  2. Baseline: 単純な指示の追加 (Liang et al., 2024)
  3. PSM: プロンプト感度最小化(本研究)
  4. N-gram Filter: プロンプトのn-gramを含む応答をフィルタリングする
  5. FAKE: おとりのプロンプト挿入 (Liang et al., 2024)

攻撃タイプ

サポートされている攻撃データセット:

  • raccon.json: RACCON攻撃プロンプト
  • liang.json: Liang et al. の攻撃パターン
  • zhang.json: Zhang et al. の攻撃パターン
  • ours.json: カスタム攻撃プロンプト
  • raccon_language.json: 言語固有のRACCON攻撃

設定

PSM設定パラメータ

@dataclass
class RunPSMConfig:
    # Dataset
    dataset_name: str = "unnatural-test"
    
    # Sample sizes
    attack_samples: int = 50              # Attack inputs to use
    validation_samples: int = 10          # Baseline validation queries
    target_dataset_samples: int = 30      # System prompts to process
    
    # Model selection
    llm_target: str = "gpt-5-mini"       # Target model to protect
    llm_optimizer: str = "gpt-4o-mini"   # Model for shield generation
    llm_validation: str = "gpt-4o"       # Model for validation
    llm_judge: str = "gpt-4o-mini"       # Model for judging
    
    # Optimization parameters
    n_optimization_iterations: int = 10  # Max optimization iterations
    n_initial_shields: int = 5           # Initial shield population
    n_shields_per_step: int = 5          # New shields per iteration
    max_candidates_per_step: int = 10    # Max candidates to consider
    
    # Thresholds
    target_utility_threshold: float = 0.9    # Minimum utility score
    target_leakage_threshold: float = 0.65  # Maximum leakage score
    utility_penalty_weight: float = 100.0   # Weight for utility penalty
    
    # Leakage aggregation
    leakage_aggregation: str = "logsumexp"   # Aggregation method
    logsumexp_temperature: float = 10.0     # LogSumExp temperature
    top_k: int = 3                          # Top-k for top_k_mean

リーク集約手法

  1. max: 最大リークスコア(非平滑)
  2. logsumexp: maxの平滑近似(推奨)
  3. top_k_mean: 上位k件の最悪スコアの平均
  4. mean: 単純平均(最も平滑)

実験設定

config = ExperimentConfig(
    # Attack and defense selection
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[...],
    
    # Sample limits
    max_victim_samples=30,
    max_attack_samples=60,
    
    # AM metric
    use_am_metric=True,
    am_threshold=0.9,
    
    # JM metric
    use_jm_metric=True,
    jm_threshold=0.7,
    
    # Output options
    output_dir="results",
    save_detailed_results=True,
    save_per_prompt_results=True
)

再現性

このセクションでは、このリポジトリの実験結果を再現するための詳細な手順を説明します。

設定

  1. APIキーの設定: LLM APIの設定を含む config/config.yaml を作成します:
llms:
  gpt-4o-mini:
    model: "gpt-4o-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0
  gpt-4o:
    model: "gpt-4o"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0
  gpt-5-mini:
    model: "gpt-5-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0
  sentence-transformers/all-MiniLM-L6-v2:
    model_provider: "huggingface"
  1. データファイルの確認: 以下のデータファイルが存在することを確認してください:
  • data/victim_prompts/unnatural-test.jsonl
  • data/victim_prompts/syntentic-system-prompt.jsonl
  • data/attack_prompts/raccon.json
  • data/attack_prompts/raccon_language.json
  • data/attack_prompts/liang.json
  • data/attack_prompts/zhang.json

PSM防御生成の再現

PSM最適化プロセスを実行します:

python run.py

期待される出力:

  • 処理済みプロンプトは data/defense_prompts/ に保存されます
  • ファイル名の形式: psm_target_{model}_dataset_{dataset}.jsonl
  • 各エントリには以下が含まれます:
    • instruction: 保護シールド付きの最適化されたプロンプト
    • original_instruction: 元のシステムプロンプト
    • utility_score: 有用性維持スコア
    • leakage_score: 漏洩最小化スコア
    • fitness_score: 統合適合度スコア

デフォルト設定:

  • n_optimization_iterations: 10
  • n_initial_shields: 5
  • n_shields_per_step: 5
  • attack_samples: 50
  • validation_samples: 10
  • leakage_aggregation: "logsumexp"

防御評価の再現

攻撃に対する防御を評価します:

python experiments/evaluate_defenses.py

期待される出力:

  • 結果は results/ ディレクトリに保存されます
  • 詳細な攻撃結果を含む Excel ファイル
  • すべての実験の JSON サマリー
  • 以降の実行を高速化するためのキャッシュ済み結果

特定の実験を再現する

プログラムによる制御を行うには、run.py 内の設定を変更します:

ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 究極のOSINTツールキット:調査グラフ、信頼度スコアリング、エイリアスファミリー、マップ、タイムライン、レポート。49個のモジュール、400以上のサイト、APIキー不要。

    591
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock ワンタップ実行アプリ(CVE-2026-43499)

    481
  • 3

    ARTEX

    baarai/artex

    プランナー/ワーカーエージェント、資産グラフと探索グラフ、MITMトラフィック記録、脆弱性の再テストを備えたLLMマルチエージェント自律ペネトレーションテストプラットフォーム。

    389
  • 4

    redforge

    cybersecurity91/redforge

    ブラウザ側のレッドチームツールキット。偵察、ペイロード生成、認証情報攻撃、暗号、エンコーディング、エンゲージメントレポート向けの102のオフラインツールを備えています。

    332
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AIネイティブなサイバーセキュリティのためのアクションシステム。意図がガバナンスされた実行に変わり、証拠が運用記憶となり、すべての操作が次の操作を改善する。

    255
  • 6

    antifox

    antifox-ai/antifox

    偵察、攻撃対象領域の探索、エクスプロイト検証、証拠に基づくレポート提供を実行するAIマルチエージェント自律ペネトレーションテストプラットフォーム。

    247

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →