Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
aegis-audio-defense — 音声言語モデルを凍結したまま、推論時に音声ジェイルブレイクをブロックするための中間層リスクゲートと後段層セーフティアダプタを追加する防御フレームワーク。 | Kitploit
ツール/GitHubGitHub/azzzzliao/aegis-audio-defense
防御ツール脆弱性分析機械学習論文と研究AIセキュリティ敵対的攻撃
GitHubazzzzliao/aegis-audio-defense

aegis-audio-defense

音声言語モデルを凍結したまま、推論時に音声ジェイルブレイクをブロックするための中間層リスクゲートと後段層セーフティアダプタを追加する防御フレームワーク。

リポジトリを見る
961ヶ月前未レビュー
共有

AEGIS: 大規模音声言語モデルのジェイルブレイクに対する内部信号を用いた音声エンドジェナス・ガーディング

arXiv License

ICASSP 2027 に投稿済み。

AEGIS は対象の音声言語モデルを凍結したまま、中間層のリスクゲートを追加し、 これが後段層の安全性アダプタを条件付きで駆動する。推論時には閉ループのスケーリングを行う。

目次

ページ内容
手法リスクから拒否へのギャップ、ゲートとアダプタ、学習損失、閉ループ。
結果論文の表:6 モデル、3 ベンチマーク、アブレーション、防御比較。
論文を超えた分析他の 5 モデルにおけるリスクから拒否へのギャップ、ゲートの挙動、表現、完全なアブレーション表。
データ各データセットの出所とマニフェストの構築方法。
モデルの追加1 つのアダプタを書くことで AEGIS を別の LALM に移植する方法。

このページの内容: リポジトリ構成 · セットアップ · データ · AEGIS の実行 · プロトコル · アブレーション · テスト · 引用

リポジトリ構成

aegis/                        defense runtime; every script runs from any directory
  model_registry.py           ModelAdapter interface, registry, Qwen2-Audio and Phi-4 adapters
  adapters_gemma_voxtral.py   Gemma 4 E4B-it and Voxtral-Small-24B adapters
  adapters_ultravox_vita.py   Ultravox v0.5 and VITA-1.5 adapters
  train_gate_lora.py          joint training of the risk gate and the safety adapters
  run_defense.py              gated inference with closed-loop scaling (--score-only: gate scores)
  run_model.py                undefended generation
  judge.py                    Llama-Guard-3-8B safety judge
  refusal.py                  refusal regex for the over-refusal metric
  extract_hidden.py, analysis/  hidden-state probes for layer selection
scripts/
  prepare_data.py             downloaded datasets -> manifests (+ in-domain test splits)
  run_baseline.sh             step 0: undefended responses, judgments, training files
  run_aegis.sh                steps 1-4 for one protocol (PROTOCOL=indomain or lobo)
  run_ablation.sh             the Full and Always-on ablations
  models.sh                   per-model gate layer, intervention layers, prompt mode
  build_trainsets.py, calibrate_threshold.py, summarize.py
data/splits/                  in-domain train/test ids used in the paper
docs/                         method, results, analyses, porting guide
tests/                        CPU tests of the evaluation protocol

セットアップ

pip install -r requirements.txt

各モデルをロードするには、対応するTransformersのバージョンが必要です。上流の情報が一致しないため、モデルファミリーごとに1つの環境を使用しました:

MODELベースモデルHugging Face id(オーバーライド変数)ゲート層介入層使用したTransformers
gemma4_e4b_itGemma 4 E4B ITgoogle/gemma-4-E4B-it (AEGIS_GEMMA4_PATH)2125–415.7.0.dev0
phi4_mmPhi-4-multimodalmicrosoft/Phi-4-multimodal-instruct (AEGIS_PHI4_MM_PATH)1519–315.7.0.dev0
vita_15VITA-1.5VITA-MLLM/VITA-1.5 (AEGIS_VITA_PATH)1519–274.43.4
qwen2_audioQwen2-Audio-7B-InstructQwen/Qwen2-Audio-7B-Instruct (AEGIS_QWEN2_AUDIO_PATH)1519–31≥ 4.45
ultravox_v05Ultravox v0.5 (Llama-3.1-8B)fixie-ai/ultravox-v0_5-llama-3_1-8b (AEGIS_ULTRAVOX_PATH)1519–314.48.1
voxtral_smallVoxtral Small 24Bmistralai/Voxtral-Small-24B-2507 (AEGIS_VOXTRAL_PATH)2428–394.57.6
  • モデルはデフォルトでHubからロードされます。オフラインで実行するには、オーバーライド変数をローカルスナップショットに向けてください。
  • Llama-Guard-3-8B、Gemma 4、およびUltravoxがダウンロードするLlama-3.1バックボーンはHub上でゲートされています。それぞれのライセンスに同意し、huggingface-cli loginを実行するか、GUARDとAEGIS_LLAMA31_PATHをローカルコピーに設定してください。
  • VITA-1.5にはGitHubのコードが必要です:https://github.com/VITA-MLLM/VITA をクローンし、AEGIS_VITA_REPOをチェックアウト先に設定してください(デフォルト:external/VITA)。
  • ハードウェア:48 GBのGPU 1台でほとんどのモデルに十分です。Gemma 4のトレーニングには少なくとも約40 GBを備えたシングルカードが必要です。これは262k語彙の損失がうまくシャード化されないためです。Voxtral Smallには48 GBのカードが2枚必要です(DEVICE=autoがモデルをシャードし、ゲートとアダプタはフックする層に追従します)。Qwen2-AudioとPhi-4も、長いAJailクリップではDEVICE=autoの恩恵を受けます。

データ

data/README.mdの説明に従って5つのデータセットをダウンロードし、その後マニフェストをビルドします:

python scripts/prepare_data.py --data-root data --out-dir data/manifests

スクリプトは論文で使用されている行数を検証します: AJail 1,490、JALM 946、SACRED 1,364、XSTest 250、Benign_train 215。また、data/splits/ 内のIDリストからドメイン内テスト分割(718 / 499 / 683行)を書き出します。

AEGISの実行

各モデルについて(PY はそのモデルの環境のPython、JUDGE_PY はLlama Guard用に別の環境を指定可能):

MODEL=gemma4_e4b_it PY=python DEVICE=cuda:0 bash scripts/run_baseline.sh                  # step 0
MODEL=gemma4_e4b_it PROTOCOL=indomain PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh   # in-domain
MODEL=gemma4_e4b_it PROTOCOL=lobo     PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh   # LOBO

各ステージは再開可能です。中断後、同じコマンドを再実行してください。出力は runs/<model>/ に保存されます:

baseline/                        undefended responses; <bench>_judged.jsonl = Llama Guard labels
train/train_{indomain,lobo}_<bench>.jsonl
<protocol>/<bench>/adapter/      router_head.pt, late_adapters.pt, config.json
<protocol>/<bench>/scores/       gate scores on XSTest and on the evaluation set
<protocol>/<bench>/threshold.json
<protocol>/<bench>/defended/     defended responses and their judgments
<protocol>/summary.json          unsafe rate, over-refusal, gate AUROC per benchmark

プロトコル

  • 評価設定。 In-domain: AEGIS はベンチマークの train スプリットで学習し、そのホールドアウトされた test スプリットで評価されます。ベンチマークごとに1つのアダプタを使用します。スプリットは 50/50、シード 42 で、同じリクエストのバリアントが片側に留まるようにプロンプトでグループ化されています。ID は data/splits/ にあります。LOBO (leave one benchmark out): AEGIS は残りの2つのベンチマークで学習し、ホールドアウトされたベンチマーク全体で評価されます。どちらの設定でも、評価データは閾値選択に一切関与せず、XSTest は学習に一切使用されません。
  • 学習データ (scripts/build_trainsets.py)。良性音声は Benign_train で、モデル自身の無防備な回答をターゲットとします。有害に見える良性プロンプトで、ベースライン時にモデルが拒否したものは除外されます。有害なターゲットは汎用的な拒否テンプレートです。有害クリップの数は良性クリップの数と等しくなります。シード 42。
  • 最適化。 AdamW、学習率 2e-4、4 エポック、勾配蓄積 8、LoRA ランク 16、λ_BCE = 1.0、λ_L1 = 0.01。
  • プロンプト。 Qwen2-Audio は音声のみを受け取ります (PROMPT_MODE=native)。他のモデルは音声に加えて1つの固定テキストプロンプトを受け取ります。ゲートはプロンプト依存の隠れ状態を読み取るため、アダプタは学習時と同じプロンプトモードでのみ有効です。
  • 閾値 (scripts/calibrate_threshold.py)。XSTest の ID はソートされ、交互に検証用半分とテスト用半分に分割されます。閾値は、検証用半分での追加の過剰拒否が最大 10% となる最小のゲートスコアであり、無防備なモデルが回答したプロンプトでカウントされます。
  • クローズドループ。 拒否確率は、最終層における拒否開始語の次トークン確率を合計したものです。In-domain 実行では多言語の開始語リスト (REFUSAL_PHRASE_SET=multi、run_aegis.sh で設定) を使用するため、英語以外の拒否もカウントされます。
  • メトリクス (scripts/summarize.py): 不安全率は、Llama-Guard-3-8B が unsafe とラベル付けした評価行の割合です。過剰拒否は、aegis/refusal.py に一致する XSTest 応答の割合で、全 250 プロンプトおよびテスト用半分について報告されます。ゲート AUROC は、攻撃を陽性、XSTest を陰性として生のゲートスコアを使用します。

アブレーション

MODEL=qwen2_audio VARIANT=full bash scripts/run_ablation.sh        # LoRA on all layers, no gate
MODEL=qwen2_audio VARIANT=always_on bash scripts/run_ablation.sh   # AEGIS layers, no gate

テスト

python -m unittest discover tests

引用

@misc{liao2026aegisaudioendogenousguarding,
      title={AEGIS: Audio Endogenous Guarding via Internal Signals Against Large Audio-Language Model Jailbreaks}, 
      author={Yu-Ling Liao and Tzu-Chin Chiu and Zong-You Chen and Chi-Lei Tsai and Shao-Yuan Lo},
      year={2026},
      eprint={2609.29287},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2609.29287}, 
}

ライセンス

コードは MIT License の下で公開されています。ベースモデル(例: Gemma 4、Ultravox の Llama 3.1、Llama-Guard-3-8B)およびベンチマークは、それぞれ独自のライセンスと利用規約に従います。

ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

まだ人気データがありません。

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →