跨模型深度的越狱

早退出如何改变语言模型对越狱的脆弱性？我们研究了在 Balcony-LLaMA2-7B 和 Balcony-LLaMA3-8B 上，针对第 15、18、21 层以及完整深度（32 层）的 GCG 攻击，使用 HarmBench 和 AdvBench。

TAO 是一个计划中的扩展，包含实验性代码。早期的 1B 运行属于开发测试；两者均不为此研究贡献结果。

结果

在单个 NVIDIA RTX PRO 6000 Blackwell GPU 上，对每个基准的 50 个行为执行 150 步的 GCG。下方的图表和表格直接来自论文，论文是所报告结果的权威来源。

在第 15、18、21 层及完整深度处带有早退出的评估流程。

7B 和 8B 模型在 HarmBench 和 AdvBench 上按退出深度划分的 GCG 攻击成功率。

损失曲线以及损失与攻击成功率的关系

按模型、基准和退出深度划分的 150 步 GCG 损失。

HarmBench 上的最终 GCG 损失与攻击成功率对比。

论文表格

模型配置（表 1）。

六个基准上的干净效用（表 2）。

使用每个退出最强 GCG 后缀时的效用（表 3）。

运行

需要 Linux、Python 3.12、NVIDIA GPU，以及与 CUDA 12.8 兼容的驱动。从仓库根目录安装环境并启动一个小型 GCG 运行：

bash scripts/setup.sh
.venv/bin/python scripts/run.py experiment --model 7b --stage gcg \
  --benchmarks harmbench --n-behaviors 2 --num-steps 5 --results-dir results/runs/pilot

安装过程会初始化子模块、应用工具包补丁，并安装 .venv/。对于受限检查点，请接受其 Hugging Face 许可证并运行 .venv/bin/hf auth login。

对所有退出执行 GCG、评判和效用评估：

.venv/bin/python scripts/run.py experiment --model 7b

选择 --model 7b 或 --model 8b。新输出保留在本地 results/runs/<model>/ 中。使用 --dry-run 可在不加载模型的情况下检查命令。命令参考。

仓库

路径	内容
`adapter/`	早退出模型代码和封装
`experiments/`	攻击、评估和分析实现
`scripts/`	安装脚本和共享运行器
`results/`	论文图表和表格、历史归档以及本地运行
`third_party/`	固定版本的依赖项和许可证声明

原始归档和较旧的导出与论文不同步。请将带聊天模板和不带聊天模板的 7B 运行分开保存。

依赖项固定在 .gitmodules 中；工具包修复位于 patches/ 中。

balcony-jailbreaking

最受欢迎

跨模型深度的越狱

结果

运行

仓库