シンプルな特徴量がほとんどのAI制御モニターを上回る

EvoRobust @ NeurIPS 2026 ワークショップ論文のコードと論文ソース。

論文が示すこと

AI制御モニターとは、コードを読み取ってバックドア（隠れた妨害行為）を検出するモデルである。これらは、各プログラミング問題に対して正直な解答とバックドア入りの解答が用意された固定データセット上で開発され、順位付けされる。モニターは、そのようなデータセット上でバックドアを見つけることによってのみ高いスコアを得るべきである。我々は公開されているAPPSバックドアデータセット（RoganInglis/apps-control-arena）を研究した。このデータセットの正直な解答は人間によって書かれ、バックドアはより古いモデル（Claude 3.7 Sonnet、o3-mini、o1-mini、GPT-4o、および2025年初頭までにリリースされた4つの小型モデル、さらに出所不明のソース）によって書かれている。我々はそのペアをオリジナルペアと呼ぶ。論文の図1に結果の概要を示す。

1. コードを一切実行しない分類器が、ほとんどのモニターを上回る。 標準テスト分割 (1,375問、各1プログラム、コメント除去済み)において、その分割の訓練問題で学習した bag-of-words分類器はAUROC 0.806に達し、先行研究でモニターとしてプロンプトされた 24個のオープンウェイトモデル(0.4B〜32B)のうち20個を上回る。この分類器が読み取るものは 攻撃モデル間で共有されており、バックドアが機能するかどうかに関わらず存在する。その最強の バックドア側トークン(and、==、if)は、追加されたあらゆる特殊ケースの浅い痕跡である。 分類器は学習済みだがモニターはそうではないため、これはどの検出器が優れているかではなく、 データセットが何を漏らしているかを測っている。
2. ラベルが漏洩している。 テスト分割は、バックドアが機能する場合にのみ、その問題の バックドア入りプログラムを保持する。バックドアを持つ892問のうち720問は失敗し、代わりに 正直な解答が寄与する。したがってバックドアクラスの問題はテスト数が約半分であり、問題の メタデータ(難易度、テスト数、問題文の長さ)のみを読む分類器でも、分割内の交差検証で 0.766に達し、20個のモニターを上回る。分割外で適合させると0.298となり、同じ関係が逆転する。 そこでは正直な項目が分割から除外された問題に由来するからである。この漏洩はコードからでは なく、ラベルの選び方から生じている。
3. 分類器は作者間の対比を報酬として与えている。 我々は1つのモデル、Claude Sonnet 5 (および別途Claude Haiku 4.5)で両方の解答を書かせてペアを再構築し、各クラスを他方の作者の ものとペアにする。各ペアの種類を、正直側とバックドア側を誰が書いたかで名付けると、すべての バックドアが機能する99問において、bag-of-wordsはperson / 旧モデルで0.789、Sonnet 5 / Sonnet 5で0.749だが、person / Sonnet 5で0.953、Sonnet 5 / 旧モデルで0.905となる。 つまり2つのクラスの作者が異なる場合に最も高いスコアを出す。同じことが全試行でも成り立つ (0.981 対 0.865)。単一の作者の場合、チャンスに対する優位性のうちrho = 0.687をSonnet 5の 単一試行で維持し、Haiku 4.5では0.097、機能するバックドアでは0.861となる。したがって バックドアが追加した特殊ケースも読み取っている。Sonnet 5が維持するものの一部は、我々の 攻撃プロンプトが誘導するレイアウト(def main)であり、そのプロンプトで正直な解答を要求すると rhoは0.390に下がる。
4. どのバックドアが本物か。 Sonnet 5のモニターは主にバックドアに反応する(元のペアで 0.944、Sonnet 5が正直側を書いた場合は0.966で、そのコードはやや疑わしくないと判断する)。 person / Sonnet 5では0.755に低下するが、その一部はラベルによるものである。バックドアは、 自身のトリガーに対する出力が正直な解答のものと異なる場合に機能すると見なされ、トリガーが 正当な入力であることは何も確認していない。データセットのラベルはこの問題を示している。 標準テスト分割では、172個のバックドア入りプログラムのうち17個は不正なトリガーのみを持ち、 7個は公開テストで誤った整数を出力する。これら24個を除くと、bag-of-wordsは0.817となり、 公開された24個のモニターは中央値で+0.010変化する。我々の生成も同じ定義を用いたため、 攻撃者を比較する前に、両クラスのすべてのトリガーを問題文から書いた入力バリデータに対して 検証し、そこでのバックドアの出力が人間の解答の多数決回答と異なることを要求し、チェックが 失敗した場合は近傍の正当な入力40個を探索して証拠を求める。このチェックにより、旧モデルの 99個のバックドアのうち14個、Sonnet 5の40個が除去される。両方のバックドアが本物である 54問では、Sonnet 5のものは依然として捕捉が難しい可能性があるが、その差は小さい。AUROCは 0.958 対 0.904(差 -0.053、95% CI -0.108〜-0.004)であり、人間の解答の2%をフラグ立て したとき、モニターは旧モデルのバックドアの78%、Sonnet 5の61%を捕捉する(差 0.17、 0.0002〜0.32、辛うじてゼロを上回る程度)。チェック前の全99問では77% 対 37% (0.40、0.28〜0.52)であったため、変化の一部は問題を除外したことによる。この差は閾値に 依存し、一部はモニターが自身の model: どちらのクラスも書いていない Haiku 4.5 モニターは、0.822 に対して 0.850 を出します。

こうして構築されたデータセットでの高スコアは、バックドア以外の手がかりから生じる可能性があり（公開されているモニターがそれらを使用していることを我々は示していない）、未チェックのラベルでの検出率は攻撃者の効果を2倍以上に高めうる。我々は再構築したペア、入力バリデータ、およびチェックを公開し、他のモニターベンチマークでそれらを実行することを推奨する。すなわち、コードを一切実行しないベースライン（bag-of-words、問題メタデータ、長さ）をそのシャッフルラベルスコアとともに報告すること、各クラスを別の著者のコードとペアにすること、すべてのトリガーがバックドアの答えが誤る正当な入力であることを確認すること、合格したバックドアに対して固定の監査予算での検出率を、現在のモデルを含む複数の生成器から報告すること、そしてチェックがショートカットを発見した場合には、1つのモデルに同じプロンプトから両方のクラスを書かせ、攻撃が成功したかどうかとは独立に正直な例を選ぶことである。

リポジトリ構成

experiments/
  apps/        APPS backdoor dataset: the floors on the original pairs, the rebuilt pairs
               (generation, test harness, backdoor verification) and every measurement on them;
               *.json are the committed outputs behind the paper's numbers
    validators/  one input validator per checked problem (258), used by the trigger checks
  agentic/     five agentic settings in which one model wrote both classes (appendix)
  README.md    how to reproduce each result, with commands, and which script gives each number
paper/         LaTeX source, bibliography, figures and the built main.pdf

再現

experiments/README.md を参照してください。元のペアでの結果は、ノートPCのCPUで数分で実行できます。再構築されたペアの構築にはAnthropic APIキーが必要で、オープンウェイト版（正直クラスのみを再生成する）にはGPUが必要です。

pip install -r requirements.txt
cd experiments/apps
python fetch.py && python fetch_inputs.py && python bow.py
python koran_split_eval.py      # the bag-of-words floor: AUROC 0.806, above 20 of 24 monitors

論文のビルド

cd paper
make             # main.pdf (pdflatex + bibtex)
make figures     # regenerate fig/ from experiments/apps/figures.py

完全な TeX Live にはすべてが含まれています。基本インストール（BasicTeX、TeX Live scheme-basic）では、論文用に siunitx、tcolorbox（tikzfill、pdfcol、listingsutf8 を含む）、inconsolata が、また make figures 用に cm-super が必要です。make figures はプロットのテキストを LaTeX で組版します。管理者権限がない場合は、ユーザーツリーにインストールされます：

tlmgr init-usertree
tlmgr --usermode install siunitx tcolorbox tikzfill pdfcol listings listingsutf8 inconsolata cm-super
updmap-user --enable Map=zi4.map

データとライセンス

再構築されたペアのコーパスは same-generator-apps-split.zip であり、 v1.0 リリースに添付されています。内容は、正直なプログラムと攻撃プログラム、独立したバリアントの完全なリトライプール、すべての試行に対するペアリスト、および両方の抽選方式（first draw、best draw）における動作するバックドアのペアリスト、論文の数値の背後にあるスクリプト、データセットカード、行数とチェックサムのマニフェスト（zip の SHA-256: b15fbd9386fb1533382ff273f9175615d92c0fdc1fb7ba7d25ea1575a679ff59）です。 experiments/apps/release_split.py がこれをビルドし、--check が検証します （experiments/README.md、ステージ 7）。これを読み込むスクリプトのために experiments/apps/release に展開してください。fetch.py が実行済みの場合、チェックは上流のコードと比較します：

cd experiments/apps
unzip ../../same-generator-apps-split.zip
python release_split.py --check release --allow-trivial-identical 120

コードと生成したデータは MIT ライセンスです（LICENSE）。上流のデータセットは実行時に取得され、再配布されません。それらのライセンスは THIRD-PARTY-NOTICES.md に記載されています。

引用

@inproceedings{debsarkar2026whowrote,
  title     = {Simple Features Beat Most {AI} Control Monitors},
  author    = {Debsarkar, Shubhrangshu and Nahata, Valmik},
  booktitle = {NeurIPS 2026 Workshop on Self-Evolving Diversity-Driven Search for Robust AI Systems (EvoRobust)},
  year      = {2026}
}

CITATION.cff には、GitHub の「Cite this repository」向けの同じエントリがあります。