SoK Эксперименты по многоходовым джейлбрейкам

Этот репозиторий содержит релизную версию кода, использованного для анализа механизмов в работе SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks.

Репозиторий был сокращён, чтобы оставить только код, промпты, конфигурационные файлы и наборы данных, необходимые для экспериментов, описанных в Приложении A статьи. Сгенерированные логи, кэшированные файлы, виртуальные окружения, предыдущие результаты, графики и результаты ad-hoc анализа намеренно удалены.

Соответствие экспериментов

Обзор директорий

• Foot-in-the-door-Jailbreak/: реализация FITD для эксперимента RQ1 по организации против накопления со стороны DEA.
• Inc_Exp/MRCJ/: реализация MRCJ для сравнения со стороны SRA в RQ1 и экспериментов по форме эскалации в RQ3.
• actorattack/ActorAttack/: реализация ActorAttack для абляций по количеству акторов и self-talk в RQ2.
• x-teaming/: основа X-Teaming и настройки configs/exp3 для эксперимента RQ4 по прогрессии подпарадигм A1/A2/A3.

Окружение

Каждый метод сохраняет свой оригинальный файл зависимостей:

pip install -r actorattack/ActorAttack/requirements.txt
pip install -r Foot-in-the-door-Jailbreak/requirements.txt
pip install -r Inc_Exp/requirements.txt
conda env create -f x-teaming/environment.yml

API-ключи и эндпоинты сервисов должны передаваться через переменные окружения или локальные конфигурационные файлы. Файлы .env, содержащие секреты, не входят в релиз.

Запуск экспериментов

RQ1: FITD

FITD использует набор поведений JailbreakBench и свою конфигурацию многоходовой атаки по умолчанию.

cd Foot-in-the-door-Jailbreak
python FITD.py

Для воспроизведения на основе промптов:

python FITD_prompt.py --model_name gpt-4o --control True --max_length 10

RQ1/RQ3: MRCJ

MRCJ использует вспомогательные вопросы в стиле MUCD с уровнями вредоносности и финальными целями из AdvBench. В статье зафиксированы четыре шага эскалации для RQ3.

cd Inc_Exp
python MRCJ/train/train.py --target_model mistral --judge_model gpt-4o --cat_questions_num 2 --harmful_score_threshold 4 --train_from_scratch --dir my_model_data
python MRCJ/test/test.py --target_model mistral --judge_model gpt-4o

Используйте имена моделей, поддерживаемые MRCJ/train/train.py и MRCJ/test/test.py.

RQ2: ActorAttack

ActorAttack использует запросы HarmBench. Варьируйте --actors от 1 до 5 для эксперимента по количеству акторов. Зафиксируйте --actors 3 и отключите self-talk в коде/конфигурации для абляции self-talk, в соответствии с настройкой статьи.

cd actorattack/ActorAttack
python main.py --questions 400 --actors 3 --behavior ./data/harmbench.csv --attack_model_name deepseek-chat --target_model_name gpt-4o --early_stop --step_modify

RQ4: X-Teaming

RQ4 использует основу X-Teaming с DeepSeek-V3 в качестве модели-атакующего и сравнивает A1, A2 и A3 при одинаковом бюджете ходов.

cd x-teaming
python main.py --config configs/exp3/A1_gpt4o.yaml
python main.py --config configs/exp3/A2_gpt4o.yaml
python main.py --config configs/exp3/A3_gpt4o.yaml

Эквивалентные конфигурации доступны для других целевых моделей, использованных в статье.

Оценка

В статье GPT-4o используется в качестве автоматического судьи со шкалой вредоносности от 1 до 5. Оценка 4 или выше считается успешным джейлбрейком. Сгенерированные выходные данные и отчёты судьи не включены в этот релиз; при повторных запусках следует записывать новые логи/результаты локально.

Политика релиза

Этот код предназначен только для контролируемого воспроизведения исследований. Репозиторий намеренно исключает исторические результаты экспериментов, кэшированный байт-код, виртуальные окружения, ноутбуки, локальные секреты и не относящийся к делу исследовательский код.