리버스 CAPTCHA: 보이지 않는 유니코드 명령 주입에 대한 LLM 취약성 평가

보이지 않는 유니코드로 인코딩된 명령이 평범해 보이는 텍스트에 포함되어 있을 때, 대규모 언어 모델이 이를 따르는지 테스트하는 평가 프레임워크입니다. 전통적인 CAPTCHA가 사람은 풀 수 있지만 기계는 풀 수 없는 작업을 활용하는 반면, 리버스 CAPTCHA는 기계는 접근할 수 있지만 사람은 접근할 수 없는 인식 채널을 활용합니다.

논문: paper/reverse_captcha.pdf

주요 발견 사항

5개 모델(GPT-5.2, GPT-4o-mini, Claude Opus 4, Claude Sonnet 4, Claude Haiku 4.5)에서 8,308개의 평가된 출력을 대상으로 한 결과:

도구 사용이 주요 증폭 요인

코드 실행 접근 권한은 보이지 않는 유니코드를 무시할 수 있는 부산물에서 해독 가능한 명령 채널로 변환합니다. 도구 없이는 준수율이 17% 미만으로 유지됩니다. 도구와 힌트가 있으면 98-100%에 도달합니다.

인코딩 취약성은 제공업체별로 다름

OpenAI 모델은 제로 너비 바이너리를 디코딩하지만 유니코드 태그는 디코딩하지 않습니다. Anthropic 모델은 유니코드 태그를 선호합니다. 공격자는 대상 제공업체에 맞게 인코딩을 조정해야 합니다.

전체 준수 히트맵

힌트 그라디언트는 모델 간에 일관됩니다: 힌트 없음 << 코드포인트 힌트 < 전체 힌트. 도구 접근과 디코딩 지침의 조합이 중요한 활성화 요소입니다.

작동 방식

두 가지 보이지 않는 인코딩 방식이 퀴즈 질문에 포함됩니다:

• 제로 너비 바이너리(ZW): 각 ASCII 문자를 U+200B(0) 및 U+200C(1)을 사용하여 8개의 이진 숫자로 인코딩
• 유니코드 태그: 각 ASCII 문자를 U+E0000 + 코드포인트에 매핑(ASCII 문자당 하나의 보이지 않는 문자)

모델은 알려진 표시 가능한 답변이 있는 퀴즈 질문을 받습니다. 보이지 않는 문자에 숨겨진 것은 다른 답변입니다. 모델이 숨겨진 답변을 출력하면 보이지 않는 명령을 따른 것입니다.

테스트 매트릭스

• 30개의 퀴즈 Q/A 쌍
• 2가지 인코딩 방식 x 4가지 힌트 수준 + 1개 대조군 = 9가지 조건
• 2가지 도구 조건 (ON/OFF)
• 5개 모델
• 평가 실행당 270개 사례

통계 분석

• 윌슨 점수 95% 신뢰 구간
• 본페로니 보정을 적용한 피셔의 정확 검정
• 모델별 방식 변동에 대한 카이제곱 검정
• 코헨의 h 효과 크기

빠른 시작

# Install
pip install -e ".[dev]"

# Run reverse CAPTCHA eval
evalrun run --pack reverse_captcha --model openai:gpt-4o-mini --tools --n 3 --out results.sqlite

# Run without tools
evalrun run --pack reverse_captcha --model openai:gpt-4o-mini --n 3 --out results.sqlite

# Run with Anthropic models
evalrun run --pack reverse_captcha --model anthropic:claude-sonnet-4-20250514 --tools --n 3 --out results.sqlite

# Generate analysis
python3 scripts/analyze_journal.py

# Generate figures
python3 scripts/generate_figures.py

프로젝트 구조

├── packs/reverse_captcha/       # 평가 팩 (사례, 채점기, 생성기)
│   ├── cases.yaml               # 270개 테스트 사례
│   ├── qa_pairs.yaml            # 30개 퀴즈 Q/A 쌍
│   ├── grader.py                # 결정론적 채점 (5개 범주)
│   └── generate_cases.py        # 두 인코딩 모두를 위한 사례 생성기
├── src/evalrun/                 # 핵심 프레임워크
│   ├── adapters/                # OpenAI + Anthropic API 어댑터
│   ├── cli.py                   # CLI (실행, 보고서, 내보내기)
│   ├── runner.py                # 도구 사용 지원이 포함된 평가 실행기
│   └── db.py                    # SQLite 영속성
├── paper/                       # 워크숍 논문
│   ├── reverse_captcha.tex      # LaTeX 소스
│   └── reverse_captcha.pdf      # 컴파일된 PDF
├── results/journal/             # 원시 데이터
│   ├── analysis/                # 통계 분석 CSV
│   └── figures/                 # 출판용 그림 (PDF + PNG)
├── scripts/                     # 분석 및 그림 생성
└── tests/                       # 테스트 스위트

기타 평가 팩

프레임워크에는 다음과 같은 두 가지 추가 팩도 포함됩니다:

• 워터마크 강건성 — 모델이 재작성 작업 전반에서 출처 표시를 보존하는지 테스트
• 숨겨진 메시지 추출 — 모델이 명시적 규칙이 주어졌을 때 숨겨진 메시지를 추출할 수 있는지 테스트

환경

• Python 3.10+
• OPENAI_API_KEY는 OpenAI 모델용
• ANTHROPIC_API_KEY는 Anthropic 모델용
• 종속성: click, openai, anthropic, pyyaml, matplotlib, pandas, scipy, numpy

라이선스

MIT