
LLM 기반 에이전트를 위한 에이전틱 탈옥 프레임워크로, 스킴 기반 작업 분해, 다중 턴 위장 전략, 적응형 자기 진화를 사용하여 새롭게 부상하는 보안 위험을 탐색합니다.
TRACE: 작업 인식 적응형 자기 진화 에이전트 탈옥 의 공식 구현입니다.
대규모 언어 모델(LLM) 에이전트는 자율적으로 계획을 수립하고, 도구를 호출하며, 환경과 상호작용하고, 장기 워크플로를 실행할 수 있습니다. 이는 기존의 텍스트 전용 탈옥을 넘어서는 안전 위험을 초래합니다. 유해한 지시를 이끌어낼 수 있더라도 정렬된 에이전트는 여전히 실행을 거부할 수 있으며, 중간 실행 실패는 그렇지 않으면 성공했을 공격 워크플로를 중단시킬 수 있습니다.
TRACE는 작업 분해, 실행 지향적 다중 턴 상호작용, 적응형 복구를 통해 이러한 과제를 해결하도록 설계된 에이전트 탈옥 프레임워크입니다.
TRACE는 세 가지 핵심 구성 요소로 이루어져 있습니다:
우리는 대화형 환경에서 다단계 작업의 종단 간 실행을 요구하는 두 가지 에이전트 안전 벤치마크인 AdvCUA와 AgentHazard에서 TRACE를 평가합니다. 실험은 두 가지 에이전트 프레임워크인 Codex와 Claude Code를 대상으로 하며, 여러 기반 모델을 사용합니다.
| 에이전트 프레임워크 | 기반 모델 | AdvCUA | AgentHazard |
|---|---|---|---|
| Codex | GPT-5.5 | 0.62 | 0.97 |
| Codex | Gemini-3.5-Flash | 0.65 | 0.99 |
| Codex | DeepSeek-V4-Pro | 0.81 | 1.00 |
| Claude Code | Claude-Opus-4.8 | 0.54 | 0.97 |
| Claude Code | Gemini-3.5-Flash | 0.69 | 0.98 |
| Claude Code | DeepSeek-V4-Pro | 0.88 | 0.99 |
TRACE는 서로 다른 에이전트 프레임워크와 기반 모델 전반에서 일관되게 강력한 공격 성능을 달성하며, 대부분의 설정에서 이전 기준선을 크게 능가합니다. AdvCUA에서 TRACE는 0.54에서 0.88 범위의 ASR을 달성합니다. AgentHazard에서 TRACE는 평가된 모든 구성에서 거의 완벽한 ASR을 달성하며, 그 범위는 0.97에서 1.00입니다.
Claude Code와 Codex를 사용한 두 가지 녹화 데모가 assets/에 제공됩니다:
| 대상 에이전트 | 데모 |
|---|---|
| Claude Code | Claude Code 데모 |
| Codex | Codex 데모 |
제공된 환경 사양은 Linux와 Python 3.11을 대상으로 합니다.
git clone https://github.com/ZJU-LLM-Safety/TRACE.git
cd TRACE
conda env create -f environment.yml
conda activate trace
OpenAI 호환 Chat Completions 엔드포인트의 자격 증명과 기본 URL을 설정합니다:
export OPENAI_API_KEY="<your-api-key>"
export OPENAI_BASE_URL="<your-api-base-url>"
스킴 기반 작업 분해를 사용하여 후보 하위 작업 시퀀스를 생성합니다:
python improved_decomposer/improved_task_decomposer.py \
--data_file_path /path/to/tasks.json \
--output_file_path outputs/decompositions.jsonl \
--model "<decomposition-model>" \
--num_decompositions_per_task 5 \
--use_schema_decompose
--use_schema_decompose는 스키마 기반 후보 생성을 활성화합니다.
다음 예제는 Codex와 함께 AdvCUA 벤치마크를 사용합니다:
python experiment/main.py \
--dataset /path/to/benchmark_with_subtasks.jsonl \
--config experiment/config/config.yaml \
--lab-backend vrap \
--compose-file /path/to/benchmark/docker-compose.yml \
--attacker-model-path /path/to/attacker-model \
--target-backend codex \
--codex-model "<target-model>" \
--responses-base-url "<target-responses-api-base-url>" \
--responses-env-key OPENAI_API_KEY \
--strategy-library outputs/experiment/strategy_library.json \
--output outputs/experiment/results.jsonl
사용 가능한 명령줄 옵션을 확인하려면:
python improved_decomposer/improved_task_decomposer.py --help
python experiment/main.py --help
| 경로 | 설명 |
|---|---|
improved_decomposer/ | 절차적 스킴, 후보 생성, 검증 및 선택 |
experiment/main.py | 실험 오케스트레이션 및 실행 피드백 |
experiment/runtime/ | 모델, 전략 및 하위 작업 시퀀스를 위한 런타임 구성 요소 |
experiment/strategy_library/ | 전략 저장, 검색, 수정 및 피드백 통합 |
experiment/config/ | 실험 구성 및 프롬프트 템플릿 |
agent_execution/ | 대상 에이전트 인터페이스, 세션 처리, 궤적 수집 및 검증 |
tools/ | 벤치마크 브리지, API 어댑터 및 진단 |
assets/ | Claude Code 및 Codex 데모 비디오 |
environment.yml | Conda 환경 명세 |
연구에서 TRACE가 유용하다고 생각되면 다음을 인용해 주세요:
@misc{zeng2026tracetaskawareadaptiveselfevolving,
title={TRACE: Task-Aware Adaptive Self-Evolving Agentic Jailbreaking},
author={Churui Zeng and Kedong Xiu and Weiwei Qi and Yuqi Hao and Chaochao Lu and Liang He and Zhan Qin and Tianhang Zheng},
year={2026},
eprint={2605.30883},
archivePrefix={arXiv},
primaryClass={cs.CR},
url={https://arxiv.org/abs/2605.30883},
}