通常のテキストに埋め込まれた不可視のUnicodeエンコード命令を大規模言語モデルが実行するかどうかをテストする評価フレームワーク。従来のCAPTCHAが人間には解けるが機械には解けないタスクを利用するのに対し、リバースCAPTCHAは機械がアクセスできるが人間にはできない知覚チャネルを利用します。
5つのモデル（GPT-5.2、GPT-4o-mini、Claude Opus 4、Claude Sonnet 4、Claude Haiku 4.5）の8,308件の評価済み出力において：
コード実行アクセスにより、不可視のUnicodeは無視できるアーティファクトからデコード可能な命令チャネルに変わります。ツールなしではコンプライアンスは17%未満です。ツールとヒントがある場合、98〜100%に達します。
OpenAIモデルはゼロ幅バイナリをデコードしますが、ユニコードタグはデコードしません。Anthropicモデルはユニコードタグを好みます。攻撃者は対象のプロバイダに合わせてエンコーディングを調整する必要があります。
ヒントの勾配はモデル間で一貫しています：ヒントなし << コードポイントヒント < 完全ヒント。ツールアクセスとデコード命令の組み合わせが重要な有効化要因です。
2つの不可視エンコーディング方式がトリビア質問に埋め込まれています：
モデルは既知の可視回答を持つトリビア質問を受け取ります。不可視文字に隠された別の回答があります。モデルが隠された回答を出力した場合、不可視の指示に従ったことになります。
# Install
pip install -e ".[dev]"
# Run reverse CAPTCHA eval
evalrun run --pack reverse_captcha --model openai:gpt-4o-mini --tools --n 3 --out results.sqlite
# Run without tools
evalrun run --pack reverse_captcha --model openai:gpt-4o-mini --n 3 --out results.sqlite
# Run with Anthropic models
evalrun run --pack reverse_captcha --model anthropic:claude-sonnet-4-20250514 --tools --n 3 --out results.sqlite
# Generate analysis
python3 scripts/analyze_journal.py
# Generate figures
python3 scripts/generate_figures.py
├── packs/reverse_captcha/ # 評価パック（ケース、採点者、生成器）
│ ├── cases.yaml # 270のテストケース
│ ├── qa_pairs.yaml # 30のトリビアQ/Aペア
│ ├── grader.py # 決定論的採点（5カテゴリ）
│ └── generate_cases.py # 両方のエンコーディング用ケース生成器
├── src/evalrun/ # コアフレームワーク
│ ├── adapters/ # OpenAI + Anthropic APIアダプター
│ ├── cli.py # CLI（実行、レポート、エクスポート）
│ ├── runner.py # ツール使用サポート付き評価ランナー
│ └── db.py # SQLite永続化
├── paper/ # ワークショップ論文
│ ├── reverse_captcha.tex # LaTeXソース
│ └── reverse_captcha.pdf # コンパイル済みPDF
├── results/journal/ # 生データ
│ ├── analysis/ # 統計分析CSV
│ └── figures/ # 出版用図（PDF + PNG）
├── scripts/ # 分析と図生成
└── tests/ # テストスイート
フレームワークにはさらに2つのパックが含まれています：
OPENAI_API_KEYANTHROPIC_API_KEYclick, openai, anthropic, pyyaml, matplotlib, pandas, scipy, numpyMIT