DARWINはジェイルブレイクを継続的な進化プロセスとして定式化し、攻撃・防御ループを通じてガードレールを継続的に更新します。DARWIN-Attackは戦略の発見、変異、選択を通じて明示的な戦略プールを拡張し、ターゲットからのフィードバックを利用して戦略を適応的に構成します。DARWIN-Guardは生成された敵対的サンプルから学習し、有害なクエリと良性の偽装クエリの両方で同時にトレーニングすることで、表面的な攻撃パターンではなく根本的な意図を認識します。

✨ 主な特徴

📊 結果

DARWIN-Attackは、6つのジェイルブレイクベースラインと比較して、**両ベンチマークの評価対象6つすべてにおいて最高の攻撃成功率（ASR）**を達成しました。

DARWIN-Guardは、9つの有害プロンプトベンチマーク全体で平均95.0%のunsafe recall、6つの標準的な良性ベンチマーク全体で平均ほぼ100%の良性通過率、そしてXSTestで97.6%、**JBB-Benignで80.0%**の良性通過率を達成しました。

🏗️ アーキテクチャ

DARWIN-Attackは、戦略プールの進化、適応的な戦略選択、フィードバック駆動型の改良を通じてジェイルブレイク攻撃手法を進化させます。DARWIN-Guardは、DARWIN-Attackが生成したサンプルを用いたオンライン敵対的トレーニングを通じて継続的に改善されます。

📁 プロジェクト構成

DARWIN/
├── assets/                         # 進化のイラストとフレームワーク図
├── configs/
│   ├── darwin_attack.example.yaml  # 攻撃、進化、評価の設定
│   └── darwin_guard.example.yaml   # オンライン敵対的トレーニングとガード評価
├── src/
│   ├── darwin_attack/              # 戦略プール、進化、構成、評価
│   └── darwin_guard/               # データ準備、攻撃ブリッジ、トレーニング、推論
├── strategies/
│   ├── final_strategy_pool.jsonl   # 公開された200戦略のプール
│   └── mutation_operators.jsonl    # 5次元にわたる15のオペレーター
├── schemas/
│   ├── attack/                     # データセット、戦略、変異オペレーターの形式
│   └── guard/                      # ソース、ペアトレーニング、評価の形式
├── tests/
│   ├── attack/
│   └── guard/
├── NOTICE                          # サードパーティの帰属表示
└── pyproject.toml                  # パッケージ依存関係とCLIエントリポイント

🚀 インストール

**Python 3.10+**を使用してください。ローカル推論とトレーニングには、ハードウェアに互換性のあるPyTorchが必要です。トレーニング設定ではCUDAとBF16を使用します。ローカルモデルの依存関係にはTransformers >=5.10.1,<6が含まれ、トレーニング中に使用されるGemmaフィルターのサポートも含まれます。

git clone https://github.com/ZJU-LLM-Safety/DARWIN.git
cd DARWIN

python -m venv .venv
source .venv/bin/activate
python -m pip install -e '.[api,local,training]'

ガード推論のみの場合は、python -m pip install -e '.[local]'で十分です。以下のコマンドはリポジトリのルートから実行してください。

⚔️ DARWIN-Attack

🔄 4つの補完的な進化メカニズム

🧬 15の変異オペレーター

オペレーターは5つの次元に分類され、各次元に3つのオペレーターがあります。その定義はmutation_operators.jsonlに記載されています。

🔧 モデルとデータの設定

cp configs/darwin_attack.example.yaml configs/darwin_attack.yaml

テンプレート内のモデル識別子、生成制限、デバイス、データセットパス、ランタイム設定を入力してください。実験のターゲットとデータセット識別子を、ランダムシード、履歴類似度しきい値、サンドボックスサンプリングパラメータとともに設定します。models.*.identityはモデルの表示名を記録し、models.*.modelはモデルプロバイダーが使用する実際の識別子です。

ローカルモデルにはprovider: transformersを、互換APIエンドポイントにはprovider: openai_compatibleを使用します。APIロールの場合は、設定で指定されたキーとエンドポイントの変数（TARGET_API_KEY、TARGET_BASE_URL、JUDGE_API_KEY、JUDGE_BASE_URLなど）をエクスポートします。rejudgeを使用する場合は、代替ジャッジの変数を設定してください。認証情報は環境変数に保持してください。

攻撃YAML内のデータセット、データベース、変異ファイル、カスタムテンプレートのパスは、そのYAMLファイルからの相対パスとして解決されます。モデルと埋め込みの場所には、完全なHugging Face IDまたは絶対パスを使用してください。CLI引数として指定されたパスは、現在の作業ディレクトリからの相対パスです。

攻撃データセットとサンドボックスデータセットは、goal、question、prompt、またはinstructionを含み、オプションでidを持つJSONLまたはJSONレコードを受け付けます。詳細はデータセットスキーマを参照してください。

🎯 公開された戦略プールの評価

darwin-attack --config configs/darwin_attack.yaml validate-config

# Import once into an empty database selected by runtime.database_path.
darwin-attack --config configs/darwin_attack.yaml load-released-pool \
  --input strategies/final_strategy_pool.jsonl

darwin-attack --config configs/darwin_attack.yaml pool-status

darwin-attack --config configs/darwin_attack.yaml attack \
  --output data/attack-results.jsonl

darwin-attack summarize --input data/attack-results.jsonl --query-budget 60

公開されたプールには200の戦略が含まれています。評価中、DARWIN-Attackはこのプールを維持しながら、失敗フィードバックから戦略選択を適応させ、プロンプトを改良します。各インスタンスは成功または予算の枯渇で停止します。履歴と遷移状態は各target_id–dataset_idスコープ内で保持されます。独立した実行には新しいデータベースを使用してください。サンドボックスデータセットと評価データセットの両方を指定すると、コマンドはそれらのプロンプトが重複していないことを検証できます。

LLMターゲットの場合、成功は設定された応答ジャッジによって1～5の評価スケールで判定され、スコア5が成功とみなされます。ガードレールターゲットの場合、成功には意図を保持した有害プロンプトとSafe判定の両方が必要です。

darwin-attack --config configs/darwin_attack.yaml rejudge \
  --input data/attack-results.jsonl \
  --output data/attack-results-rejudged.jsonl

⚙️ 主要ハイパーパラメータ