简单特征胜过大多数 AI 控制监控器

EvoRobust @ NeurIPS 2026 研讨会论文的代码与论文源文件。

论文展示了什么

AI 控制监控器是读取代码并标记后门（隐藏破坏）的模型。它们是在固定数据集上开发和排名的，在这些数据集中，每个编程问题都有一个诚实解和一个植入后门的解。监控器只有在找到后门时，才能在此类数据集上获得高分。我们研究了公开的 APPS 后门数据集（RoganInglis/apps-control-arena），其诚实解由人类编写，而后门由较旧的模型编写（Claude 3.7 Sonnet、o3-mini、o1-mini、GPT-4o 以及四个更小的模型，均在 2025 年初发布，另有一个未注明来源的模型）。我们将其中的配对称为原始配对。论文的图 1 总结了结果。

1. 一个从不运行代码的分类器胜过大多数监控器。 在标准测试划分上（1,375 道题，每题一个程序，已移除注释），在该划分的训练题上训练的词袋分类器达到 AUROC 0.806，高于先前工作中作为监控器提示的 24 个开放权重模型（0.4B–32B）中的 20 个。它所读取的特征在不同攻击模型间共享，且无论后门是否生效都存在；其最强的后门侧 token（and、==、if）是任何新增特例的浅层痕迹。分类器经过训练而监控器没有，因此这衡量的是数据集泄露了什么，而非哪个检测器更好。
2. 标签泄露。 测试划分仅保留后门生效的题目的后门程序；892 道带后门的题目中有 720 道失败，转而贡献其诚实解法。因此后门类题目的测试数量大约只有一半，而一个仅读取题目元数据（难度、测试数量、题面长度）的分类器在该划分内交叉验证达到 0.766，高于 20 个监控器。在该划分外拟合时得分为 0.298，关系完全反转，因为在那里诚实样本来自该划分排除的题目。泄露源于标签的选择方式，而非代码本身。
3. 分类器奖励的是作者之间的对比。 我们用单一模型 Claude Sonnet 5（以及单独的 Claude Haiku 4.5）重建配对，由它撰写两个解法，并将每个类别与另一作者的解法配对。按每类配对的诚实侧和后门侧由谁撰写来命名，在全部 99 道后门均生效的题目上，词袋在 person / 较旧模型上得分为 0.789，在 Sonnet 5 / Sonnet 5 上为 0.749，但在 person / Sonnet 5 上为 0.953，在 Sonnet 5 / 较旧模型上为 0.905：当两个类别由不同作者撰写时得分最高。在所有尝试上同样成立（0.981 对 0.865）。在单一作者情况下，它在 Sonnet 5 的单次尝试上保留了其相对随机优势的 rho = 0.687，在 Haiku 4.5 的尝试上为 0.097，在生效的后门上为 0.861，因此它也能读取后门新增的特例；Sonnet 5 保留的部分优势来自我们的攻击提示所诱导的一种布局（def main），用该提示请求诚实解法会将 rho 降至 0.390。
4. 哪些后门是真实的。 Sonnet 5 监控器主要对后门作出反应（原始配对为 0.944，当 Sonnet 5 撰写诚实侧时为 0.966，它认为该侧代码略不可疑）。在 person / Sonnet 5 上降至 0.755，但其中一部分是标签造成的。后门在其自身触发器上的输出与诚实解法的输出不同即算作生效，而没有任何检查确认触发器是合法输入。数据集的标签暴露了问题：在标准测试划分中，172 个后门程序里有 17 个仅有非法触发器，7 个在公开测试上输出错误整数。去掉这 24 个后，词袋得分为 0.817，24 个已发布监控器的中位数变化为 +0.010。我们的生成使用了相同定义，因此在比较攻击者之前，我们根据题面编写的输入验证器检查两个类别中的每个触发器，要求后门在该处的输出与人类解法的多数答案不同，并在检查失败时搜索 40 个附近的合法输入以寻找见证。该检查移除了较旧模型 99 个后门中的 14 个，以及 Sonnet 5 的 40 个。在两个后门均真实的 54 道题上，Sonnet 5 的后门可能仍更难被捕获，但差距更小：AUROC 0.958 对 0.904（差值 -0.053，95% CI -0.108 至 -0.004），在标记 2% 人类解法的情况下，监控器捕获较旧模型 78% 的后门和 Sonnet 5 的 61%（差值 0.17，0.0002 至 0.32，仅略高于零）。在检查之前，全部 99 道题上为 77% 对 37%（0.40，0.28 至 0.52），因此部分变化来自丢弃题目。差距取决于阈值，且部分可能是监控器偏向其自身 model：一个 Haiku 4.5 监控器，它没有编写任何一个类，给出 0.850 对 0.822。

因此，在以此方式构建的数据集上获得高分，可能来自后门之外的线索（我们并未证明已发布的监控器会使用这些线索），而在未检查标签上的捕获率可能使攻击者效应翻倍以上。我们发布了重建的配对、输入验证器和检查项，并建议在其他监控器基准上运行它们：报告从不运行代码的基线（词袋、问题元数据、长度）及其打乱标签后的分数；将每个类别与另一位作者的代码配对；检查每个触发器都是合法输入且后门的答案在该输入上是错误的；在固定的审计预算下，报告通过检查的后门的捕获率，涵盖包括当前模型在内的多个生成器；并且在检查发现捷径的地方，让一个模型从同一提示生成两个类别，并独立于攻击是否成功来选择诚实示例。

仓库布局

experiments/
  apps/        APPS backdoor dataset: the floors on the original pairs, the rebuilt pairs
               (generation, test harness, backdoor verification) and every measurement on them;
               *.json are the committed outputs behind the paper's numbers
    validators/  one input validator per checked problem (258), used by the trigger checks
  agentic/     five agentic settings in which one model wrote both classes (appendix)
  README.md    how to reproduce each result, with commands, and which script gives each number
paper/         LaTeX source, bibliography, figures and the built main.pdf

复现

参见 experiments/README.md。原始配对上的结果可在笔记本电脑 CPU 上于几分钟内运行完成。构建重建配对需要 Anthropic API 密钥，而开放权重变体（仅重新生成诚实类别）则需要 GPU。

pip install -r requirements.txt
cd experiments/apps
python fetch.py && python fetch_inputs.py && python bow.py
python koran_split_eval.py      # the bag-of-words floor: AUROC 0.806, above 20 of 24 monitors

构建论文

cd paper
make             # main.pdf (pdflatex + bibtex)
make figures     # regenerate fig/ from experiments/apps/figures.py

完整的 TeX Live 包含所有内容。基础安装（BasicTeX、TeX Live scheme-basic）还需要 siunitx、tcolorbox（含 tikzfill、pdfcol 和 listingsutf8）以及 inconsolata 来编译 论文，还需要 cm-super 来执行 make figures，该命令会用 LaTeX 排版图表的文本。如果没有 管理员权限，它们会安装到你的用户目录树中：

tlmgr init-usertree
tlmgr --usermode install siunitx tcolorbox tikzfill pdfcol listings listingsutf8 inconsolata cm-super
updmap-user --enable Map=zi4.map

数据与许可

我们重建配对语料库为 same-generator-apps-split.zip，附于 v1.0 发布版：诚实程序 与攻击程序、独立变体的完整重试池、所有尝试的配对列表 以及在两种抽取选择（首次抽取、最佳抽取）下有效后门的配对列表、论文中数字背后的脚本、 数据集卡片以及行数与校验和清单（zip 的 SHA-256： b15fbd9386fb1533382ff273f9175615d92c0fdc1fb7ba7d25ea1575a679ff59）。 experiments/apps/release_split.py 负责构建它，--check 负责验证它 （experiments/README.md，第 7 阶段）。将其解压到 experiments/apps/release 以供读取它的脚本使用； 当 fetch.py 已运行时，检查会与上游代码进行比对：

cd experiments/apps
unzip ../../same-generator-apps-split.zip
python release_split.py --check release --allow-trivial-identical 120

代码和我们生成的数据采用 MIT 许可证（LICENSE）。上游数据集在运行时获取，不再分发。其许可证列于 THIRD-PARTY-NOTICES.md。

引用

@inproceedings{debsarkar2026whowrote,
  title     = {Simple Features Beat Most {AI} Control Monitors},
  author    = {Debsarkar, Shubhrangshu and Nahata, Valmik},
  booktitle = {NeurIPS 2026 Workshop on Self-Evolving Diversity-Driven Search for Robust AI Systems (EvoRobust)},
  year      = {2026}
}

CITATION.cff 包含与 GitHub 的“引用此仓库”相同的条目。