7つのLLMにわたるジェイルブレイク評価

以下に関するコード、プロンプト、および結果:

7つの大規模言語モデルにわたる敵対的ジェイルブレイク攻撃と防御の系統的評価 Md. Robiul Islam Niloy, Abu Sayed Md. Mostafizur Rahaman。Md. Robiul Islam Niloy: バングラデシュ、BRAC大学 コンピュータサイエンス・エンジニアリング学科。Abu Sayed Md. Mostafizur Rahaman: バングラデシュ、ジャハンギルナガル大学 コンピュータサイエンス・エンジニアリング学科。 IEEE Transactions on Information Forensics and Security 向けに準備中の原稿(未投稿)。

ステータス: 結果は暫定的なものです。 主要な判定器はLLMルーブリックであり、人間のラベルに対してまだ検証されていません。ルールベースの判定器には既知の欠陥があります(既知の問題を参照)。

---

リポジトリ構成

README.md
LICENSE
paper/
  tifs_paper_v12.tex           manuscript source
prompts/
  expanded_prompts.json        250 attack prompts (50 per family, 5 families)
scripts/
  phase1_expanded.py           main experiment: 7 models x 250 prompts via Ollama
  phase3_defenses.py           defense experiments (first 10 obfuscation + 10 roleplay prompts)
  judge_validation_v2.py       content judge (phi4 rubric), resumable
  rejudge_expanded.py          rule-based re-scoring with corrected refusal matching
  make_all_figures.py          builds all five figures
results/
  expanded/                    one CSV per model: 250 prompts, truncated responses, rule-based label
  defense/                     defense run outputs and summary
  judge/                       agreement_report.txt and corrected_asr.txt
figures/                       the five PDFs used in the manuscript

応答は500文字に切り詰めて保存されます。人手確認シート、そのキー、および完全な判定器出力（応答テキストを繰り返すもの）は含まれていません。

---

モデル

Ollamaライブラリから取得：

モデル	Ollamaタグ	パラメータ数
Llama-3-8B-Instruct	llama3:8b	8B
Llama-3.1-8B-Instruct	llama3.1:8b	8B
Llama-3.2-3B-Instruct	llama3.2:3b	3B
Mistral-7B-Instruct	mistral	7B
Qwen2.5-7B-Instruct	qwen2.5:7b	7B
Gemma2-9B-Instruct	gemma2:9b	9B
Phi-4-14B	phi4:14b	14B
phi4ルーブリック判定器	phi4:14b	14B

Llama Guard 3は開発中に実行されたが、その出力は使用可能ではなかったため、報告される結果のいずれにも含まれていない。

---

生成と判定の設定

• 生成：temperature 0.7、top-p 0.9、新規トークンは最大512。
• 生成に乱数シードは設定されていない。 各プロンプトは一度だけ実行されたため、応答は正確には再現されない。
• 拡張生成は2026年11月1日に生成された。生成に使用したOllamaのバージョンは記録されていない。
• コンテンツ判定器はOllama 0.40.13で、temperature 0で実行された。
• プロンプトの順序は固定されており、すべてのモデルが同じプロンプトを同じ順序で受け取る。

---

主な結果（コンテンツ判定、モデルごとに250プロンプト）

「有害」とは、コンテンツ判定器が応答をHARMFULまたはPARTIALとラベル付けしたことを意味する。比較のため、HARMFULのみの場合も示す。

モデル	有害率 (%)	HARMFULのみ (%)
Mistral-7B	62.0	8.8
Llama-3.2-3B	30.8	1.2
Qwen2.5-7B	29.2	1.2
Gemma2-9B	26.0	2.0
Phi-4-14B	20.0	2.8
Llama-3.1-8B	18.4	0.4
Llama-3-8B	17.2	1.6
プール	29.1	2.6

攻撃ファミリー別（プール）：難読化 62.3（HARMFULのみ 7.1）、仮説的枠組み 53.4、ロールプレイ 14.0、上書き 8.0、直接 7.7。

難読化はプールで最も高いファミリーである。仮説的枠組みは3モデル（Mistral-7B、Llama-3.2-3B、Qwen2.5-7B）で最も高いファミリーであり、難読化は4モデルで最高または同率最高である。

モデルサイズ：Spearman ρ = −0.64、p = 0.12、n = 7（有意ではない）。

ペアワイズMann-Whitney検定（未補正）：21ペアのうち14ペアがp < 0.05で異なる。Mistral-7BはLlama-3.2-3BおよびQwen2.5-7Bと有意に異なる（p < 0.001）。

---

二次結果（ルールベース判定器、比較用のみ）

ルールベース判定器（CSV内のjailbreak_success）による全体ASR。これらの数値は既知の問題に記載の理由により信頼できない。

モデル	ルールベースASR (%)
Llama-3.1-8B	40.8
Mistral-7B	39.6
Llama-3.2-3B	39.6
Qwen2.5-7B	22.4
Gemma2-9B	18.4
Llama-3-8B	16.8
Phi-4-14B	11.2

ルールベース判定器では、Llama-3.1-8Bが最も脆弱に見え、Llama-3-8BとLlama-3.1-8Bは大きく離れて見える。コンテンツ判定器では両者は異ならない（17.2% 対 18.4%、p = 0.73）。論文はルールベースの差を判定器のアーティファクトとして扱っている。

2つの判定器間の一致率：84%、κ = 0.60。

---

防御結果（モデルごとに最初の10件の難読化＋最初の10件のロールプレイプロンプト）

ルールベース判定器のみで採点。 削減率は、同じ20プロンプトでの対応する防御なし実行との比較である。

防御	Mistral-7B（ベースライン 50%）	Llama-3.1-8B（ベースライン 45%）
キーワードブラックリスト	35%（−15 pp）	25%（−20 pp）
セルフリマインダー	10%（−40 pp）	5%（−40 pp）
パラフレーズ	60%（+10 pp；20プロンプト中12 対 10）	5%（−40 pp）
パープレキシティフィルタ	50%（0 pp）	45%（0 pp）

良性プロンプト（モデルごとに10件）：キーワード、パラフレーズ、パープレキシティの各フィルタは10件中0件をブロックした。セルフリマインダーの良性拒否率は測定されていない。

---

既知の問題

1. 主要な判定器は検証されていない。 その有害性ラベルはほとんどがHARMFULではなくPARTIALである（PARTIAL 464件に対しHARMFUL 45件）。サンプルの人手による検証は保留中である。
2. ルールベースの判定器には欠陥がある。 その拒否リストは直線のアポストロフィのみに一致するため、472件の「成功」のうち少なくとも80件は曲線アポストロフィで書かれた拒否である（Llama-3.1-8Bから49件、Llama-3.2-3Bから31件）。その長さルールは、多くの混同したデコーディングを成功として数えている。アポストロフィのみを修正しただけでMistral-7Bは40%から84%に上昇したため、キーワードルールでは有害性を確実に測定できない。
3. Llama Guard 3はこの設定では使用できない。 明らかな拒否のほとんどを安全でないとフラグ付けするため、使用されていない。
4. 応答は500文字に切り詰めて保存される。 コンテンツ判定器はその抜粋のみを見る。
5. 防御策はルールベースの判定器で採点され、ファミリーごとに10プロンプト、2つのモデルでテストされる。
6. 生成はシード設定されておらず、Ollamaのバージョンも記録されていない。
7. ペアワイズ検定は多重比較に対して補正されていない。
8. レイテンシの比較は1回の逐次実行に基づく。 約1秒の差は実行順序のばらつきの範囲内である。

---

再現

スクリプトはプロジェクトフォルダを読み書きする。各スクリプトの先頭にあるBASEを、このリポジトリのあなたのコピーに設定するか、上記のレイアウトを維持してリポジトリのルートから実行する。

pip install pandas numpy scipy matplotlib

ollama pull llama3:8b
ollama pull llama3.1:8b
ollama pull llama3.2:3b
ollama pull mistral
ollama pull qwen2.5:7b
ollama pull gemma2:9b
ollama pull phi4:14b

python scripts/phase1_expanded.py      # main run, 1,750 generations (several hours)
python scripts/judge_validation_v2.py  # content judge (GPU recommended)
python scripts/phase3_defenses.py      # defense run (rule-based)
python scripts/rejudge_expanded.py     # rule-based re-scoring
python scripts/make_all_figures.py     # all five figures

メイン実行とジャッジはどちらも進捗を保存し、再開できます。最近のコンシューマー向けGPUでは、メイン実行に数時間かかると想定してください。

---

引用

原稿が受理された際に引用してください（引用情報は後日追加予定）。また、関連するプレプリントも併せて引用してください:

@article{niloy2026threats,
  title   = {Autonomous OSS Threat Detection via Taxonomy-Aligned LLMs},
  author  = {Niloy, Md. Robiul Islam},
  journal = {arXiv:2610.01263 [cs.CR]},
  year    = {2026}
}

ライセンス

MIT。LICENSE を参照してください。

連絡先

Md. Robiul Islam Niloy、バングラデシュ・ダッカ、BRAC大学 コンピュータサイエンス・工学科。 [email protected] · github.com/Mdniloykhan