Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
D-Scan — LLMの内部状態と100以上のアテンション/確率特徴量を分析し、RAGシステムにおけるドキュメントポイズニング攻撃を検出する分類器を訓練します。 | Kitploit
ツール/GitHubGitHub/yingtaoren/d-scan
防御ツール機械学習AIセキュリティ異常検知
GitHubyingtaoren/d-scan

D-Scan

LLMの内部状態と100以上のアテンション/確率特徴量を分析し、RAGシステムにおけるドキュメントポイズニング攻撃を検出する分類器を訓練します。

リポジトリを見る
12322ヶ月前未レビュー
共有
ウェブサイト

コンテキストが牙をむくとき:文書レベルの注意崩壊によるRAGポイズニングの検出

SIGIR 2026論文「When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse」の公式実装です。

D-SCANは、RAG(Retrieval-Augmented Generation)システムにおける文書ポイズニング攻撃を検出するための分析フレームワークです。生成中のLLM内部状態(トークン確率と注意重み)を収集し、多次元特徴量を抽出して、クリーンな検索文書とポイズニングされた検索文書を区別する分類器を学習します。

1. インストールと要件

前提条件

  • Python >= 3.9
  • CUDA対応GPU(8Bパラメータモデルの推論には24GB以上のVRAMを推奨)

モデルの準備

本プロジェクトはデフォルトでLlama-3.1-8B-Instructを使用します。モデルをローカルパスにダウンロードし、collect_inner_state.py内のMODEL_ID変数を更新してください:

MODEL_ID = "/your/path/to/Llama-3.1-8B-Instruct"

2. クイックスタート

ワークフロー全体は3つのステップで構成されています: 内部状態の収集 → 特徴量の計算 → 分類器の学習。 質問と関連する取得済みドキュメントは https://huggingface.co/datasets/An998/D-SCAN で提供されています。

ステップ1: モデルの内部状態を収集する

# Update configuration parameters in collect_inner_state.py, then run
python collect_inner_state.py

ステップ2: 特徴量メトリクスの計算

# Analyze both attack and clean data, compute all features, and save results
python compute_feature.py \
    --attack_dir ./saved_reppl_weights_serial_query1_attack2_2wiki \
    --clean_dir ./saved_reppl_weights_serial_query1_pure1_5_2wiki \
    --output_dir ./analysis_results/2wiki_all \
    --max_attack_samples 3000 \
    --max_clean_samples 3000

ステップ3: 分類器のトレーニングと評価

fit_D-SCAN.ipynb を開き、セルを順番に実行して以下を行います:

  1. ステップ2で生成された特徴データを読み込む
  2. ロジスティック回帰 / ランダムフォレスト分類器をトレーニングする(5分割CV)
  3. テストセットで転送性能を評価する

3. パイプラインの詳細

3.1 データ収集 (collect_inner_state.py)

各質問-文書入力に対して、LLMはマルチサンプル生成(デフォルト: 10サンプル、temperature=1.0)を実行し、以下の内部状態を収集します:

フィールド型説明
outer_ppl_probsList[Tensor]各サンプルのトークン生成確率
inner_ppl_matrixList[List[Tensor]]各生成ステップにおける入力シーケンスに対するアテンション重み(レイヤー平均)
doc_rangesDict[str, List[int]]入力シーケンス内の各文書のトークン位置範囲
generated_sequencesList[List[int]]各サンプルの生成トークンIDシーケンス

主要な設定パラメータ

MODEL_ID = "/path/to/model"     # Model path
NUM_SAMPLES = 10                # Number of samples per question
MAX_NEW_TOKENS = 50             # Maximum generated tokens
TEMPERATURE = 1.0               # Sampling temperature
data_type = 'pure1_5'           # Data type: 'pure1_5' (clean) or 'attack2' (attack)
dataset_name = 'hotpotqa'       # Dataset: 'hotpotqa', '2wiki', 'musique'

出力は data_{batch_id}_reppl.pt ファイルと results_stats_*.jsonl 統計ファイルとして保存されます。


3.2 特徴量計算 (compute_feature.py)

収集した内部状態から 10カテゴリ・100次元以上の特徴量 を抽出します。分類器はこれらの特徴量を用いて、特定のクエリに対して取得された文書の中にポイズニングされた文書が存在するかどうかを判定します。

指標の概要

#カテゴリクラス名特徴量数中心となる考え方
1生成確率統計PerplexityMetrics8ポイズニングされた文書は生成時のモデルの不確実性を高め、確率分布の変化として現れる可能性がある
2アテンションエントロピーAttentionEntropyMetrics4高いエントロピー = 分散したアテンション = 矛盾する情報の可能性; 低いエントロピー = 集中したアテンション
3アテンション集中度AttentionConcentrationMetrics8Top-K比率とジニ係数によって、アテンションが少数のトークンに集中しているかを測定
4文書アテンション密度DocumentAttentionDensityMetrics6アテンションの合計を文書長で割り、アテンション配分における長さのバイアスを排除
5マルチサンプル一貫性SampleConsistencyMetrics4ポイズニング下では、サンプル間のアテンションパターンが一貫しない可能性がある(コサイン類似度、JSダイバージェンス)
6アテンション動態AttentionDynamicsMetrics4生成中の支配的文書の切り替え頻度とエントロピー変化の大きさ
7トークンレベルアテンション変動TokenLevelAttentionMetrics16生成ステップ間における各入力トークン位置のアテンションの安定性(標準偏差、エントロピー)
8回答確率の詳細統計AnswerProbabilityMetrics18確率の分位数、高確率/低確率トークン比率、対数確率、パープレキシティなど
9確率動態ProbabilityDynamicsMetrics14生成シーケンスにおけるトレンドの傾き、自己相関、ボラティリティ、スパイク比率
10サンプル間確率一貫性CrossSampleProbabilityConsistencyMetrics13サンプル間のコサイン類似度、ピアソン相関、MSE、ダイバージェンス指標

指標の詳細説明

1. PerplexityMetrics(生成確率統計)

outer_ppl_probs(生成された各トークンの確率)から計算されます:

  • ppl_mean_prob: 生成された全トークンの平均確率
  • ppl_std_prob: 確率の標準偏差
  • ppl_min_prob: 最小確率(極端な不確実性)
  • ppl_low_prob_ratio: 低確率トークン(<0.1)の比率
  • ppl_cross_sample_var: サンプル間の平均確率の分散
  • ppl_coef_variation: 変動係数(CV = 標準偏差/平均)
  • ppl_skewness: 確率分布の歪度
  • ppl_kurtosis: 確率分布の尖度

2. AttentionEntropyMetrics(アテンションエントロピー)

inner_ppl_matrix(各ステップのアテンション重み)から計算されます:

  • attn_entropy_mean/std/max: アテンション分布エントロピーの平均、標準偏差、最大値
  • attn_entropy_cv: アテンションエントロピーの変動係数

3. AttentionConcentrationMetrics(アテンション集中度)

  • attn_top5/10/20_ratio_mean/std: Top-K%のトークンが占めるアテンションの割合
  • attn_gini_mean/std: アテンション分布のジニ係数(不平等度の指標)

4. DocumentAttentionDensityMetrics(文書アテンション密度)

  • doc_attn_dens_std/range/max/min: ドキュメント間のattention densityの標準偏差、範囲、最大値、最小値
  • doc_attn_dens_entropy: ドキュメントattention density分布のエントロピー
  • doc_attn_dens_temporal_var_mean: ドキュメントattention densityの時間分散の平均

5. SampleConsistencyMetrics(マルチサンプル一貫性)

  • sample_attn_consistency/std: トークンレベルのattentionのサンプル間コサイン類似度
  • sample_doc_consistency: ドキュメントレベルのattentionのサンプル間コサイン類似度
  • sample_doc_js_divergence: ドキュメントレベルのattentionのサンプル間JSダイバージェンス

6. AttentionDynamicsMetrics(Attentionダイナミクス)

  • attn_doc_switch_mean/max: 支配的ドキュメントの切り替え回数
  • attn_entropy_change_mean/std: ステップごとのattentionエントロピー変化

7. TokenLevelAttentionMetrics(トークンレベルのAttention変動)

  • tla_std_mean/std/max/median/p90/p99/high_ratio/cv: 生成ステップ間のトークンごとのattention標準偏差の統計量
  • tla_ent_mean/std/max/median/p90/p99/high_ratio/cv: 生成ステップ間のトークンごとのattentionエントロピーの統計量

8. AnswerProbabilityMetrics(回答確率の詳細統計)

  • aprob_p10/p25/p50/p75/p90/iqr: 確率の分位数
  • aprob_high_ratio_05/08: 高確率トークンの比率
  • aprob_low_ratio_01/001: 低確率トークンの比率
  • aprob_log_mean/std/min: 対数確率の統計量
  • aprob_ppl_mean/std/max: シーケンスレベルのパープレキシティ
  • aprob_geometric_mean: 確率の幾何平均
  • aprob_distribution_entropy: 確率ヒストグラムの情報エントロピー

9. ProbabilityDynamicsMetrics(確率ダイナミクス)

  • pdyn_diff_mean/abs_diff_mean/abs_diff_std/abs_diff_max: 確率差分の統計量
  • pdyn_max_drop/max_jump: 単一ステップでの最大下落/最大上昇
  • pdyn_volatility_mean/std: ボラティリティ
  • pdyn_trend_slope_mean/std: 線形トレンドの傾き
  • pdyn_autocorr_mean/std: 自己相関係数
  • pdyn_spike_ratio_01/03: スパイク(変異点)の比率

10. CrossSampleProbabilityConsistencyMetrics(サンプル間確率一貫性)

  • cspc_mean_prob_std/cv/range: サンプル間の平均確率の一貫性
  • cspc_ppl_std/cv/range: サンプル間のパープレキシティの一貫性
  • cspc_min_prob_std/range: 最小確率の一貫性
  • cspc_seq_cosine_mean/std: 確率シーケンスのサンプル間コサイン類似度
  • cspc_seq_pearson_mean: 確率シーケンスのサンプル間Pearson相関
  • cspc_seq_mse_mean: 確率シーケンスのサンプル間MSE
  • cspc_divergence_index: サンプル間ダイバージェンス指数

compute_feature.py コマンドライン引数

python compute_feature.py \
    --attack_dir <attack_data_directory> \
    --clean_dir <clean_data_directory> \
    --output_dir <output_directory> \
    --max_attack_samples 3000 \
    --max_clean_samples 3000 \
    --min_correct_count 0 \
    --min_attack_target_count 0 \
    --num_use_samples 10 \
    --model_path /path/to/model    # Optional: load tokenizer for accuracy calculation
ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 究極のOSINTツールキット:調査グラフ、信頼度スコアリング、エイリアスファミリー、マップ、タイムライン、レポート。49個のモジュール、400以上のサイト、APIキー不要。

    786
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock ワンタップ実行アプリ(CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    プランナー/ワーカーエージェント、資産グラフと探索グラフ、MITMトラフィック記録、脆弱性の再テストを備えたLLMマルチエージェント自律ペネトレーションテストプラットフォーム。

    429
  • 4

    redforge

    cybersecurity91/redforge

    ブラウザ側のレッドチームツールキット。偵察、ペイロード生成、認証情報攻撃、暗号、エンコーディング、エンゲージメントレポート向けの102のオフラインツールを備えています。

    345
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AIネイティブなサイバーセキュリティのためのアクションシステム。意図がガバナンスされた実行に変わり、証拠が運用記憶となり、すべての操作が次の操作を改善する。

    262
  • 6

    looking-glass

    anonghosty/looking-glass

    ShadowserverレポートをMongoDBに取り込み、インタラクティブなマップ、分析、調査結果、アドバイザリ、エグゼクティブダッシュボードとして再生するCSIRTプラットフォーム。

    256

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →