
Framework de jailbreak agêntico para agentes baseados em LLM, utilizando decomposição de tarefas baseada em esquemas, estratégias de disfarce em múltiplas interações e auto-evolução adaptativa para sondar riscos de segurança emergentes.
Implementação oficial de TRACE: Task-Aware Adaptive Self-Evolving Agentic Jailbreaking.
Agentes de modelos de linguagem de grande porte (LLMs) podem planejar autonomamente, invocar ferramentas, interagir com ambientes e executar fluxos de trabalho de longo horizonte. Isso introduz riscos de segurança além dos jailbreaks convencionais apenas de texto: mesmo quando instruções prejudiciais podem ser elicitadas, agentes alinhados ainda podem se recusar a executá-las, enquanto falhas de execução intermediárias podem interromper um fluxo de ataque que de outra forma seria bem-sucedido.
TRACE é um framework de jailbreaking agêntico projetado para enfrentar esses desafios por meio de decomposição de tarefas, interação multiturno orientada à execução e recuperação adaptativa.
O TRACE é composto por três componentes principais:
Avaliamos o TRACE no AdvCUA e no AgentHazard, dois benchmarks de segurança de agentes que exigem execução ponta a ponta de tarefas de múltiplas etapas em ambientes interativos. Os experimentos abrangem dois frameworks de agentes, Codex e Claude Code, com múltiplos modelos subjacentes.
| Framework de Agente | Modelo Subjacente | AdvCUA | AgentHazard |
|---|---|---|---|
| Codex | GPT-5.5 | 0.62 | 0.97 |
| Codex | Gemini-3.5-Flash | 0.65 | 0.99 |
| Codex | DeepSeek-V4-Pro | 0.81 | 1.00 |
| Claude Code | Claude-Opus-4.8 | 0.54 | 0.97 |
| Claude Code | Gemini-3.5-Flash | 0.69 | 0.98 |
| Claude Code | DeepSeek-V4-Pro | 0.88 | 0.99 |
O TRACE alcança consistentemente um forte desempenho de ataque em diferentes frameworks de agentes e modelos subjacentes, superando substancialmente as linhas de base anteriores na maioria das configurações. No AdvCUA, o TRACE alcança ASRs variando de 0.54 a 0.88. No AgentHazard, o TRACE alcança ASRs quase perfeitas em todas as configurações avaliadas, variando de 0.97 a 1.00.
Duas demonstrações gravadas com Claude Code e Codex são fornecidas em assets/:
| Agente Alvo | Demonstração |
|---|---|
| Claude Code | Claude Code Demo |
| Codex | Codex Demo |
A especificação de ambiente fornecida tem como alvo Linux e Python 3.11.
git clone https://github.com/ZJU-LLM-Safety/TRACE.git
cd TRACE
conda env create -f environment.yml
conda activate trace
Defina as credenciais e a URL base para um endpoint de Chat Completions compatível com OpenAI:
export OPENAI_API_KEY="<your-api-key>"
export OPENAI_BASE_URL="<your-api-base-url>"
Gerar sequências candidatas de subtarefas usando decomposição de tarefas guiada por esquema:
python improved_decomposer/improved_task_decomposer.py \
--data_file_path /path/to/tasks.json \
--output_file_path outputs/decompositions.jsonl \
--model "<decomposition-model>" \
--num_decompositions_per_task 5 \
--use_schema_decompose
--use_schema_decompose ativa a geração de candidatos baseada em esquema.
O exemplo a seguir usa o benchmark AdvCUA com o Codex:
python experiment/main.py \
--dataset /path/to/benchmark_with_subtasks.jsonl \
--config experiment/config/config.yaml \
--lab-backend vrap \
--compose-file /path/to/benchmark/docker-compose.yml \
--attacker-model-path /path/to/attacker-model \
--target-backend codex \
--codex-model "<target-model>" \
--responses-base-url "<target-responses-api-base-url>" \
--responses-env-key OPENAI_API_KEY \
--strategy-library outputs/experiment/strategy_library.json \
--output outputs/experiment/results.jsonl
Para inspecionar as opções de linha de comando disponíveis:
python improved_decomposer/improved_task_decomposer.py --help
python experiment/main.py --help
| Caminho | Descrição |
|---|---|
improved_decomposer/ | Esquemas procedurais, geração de candidatos, validação e seleção |
experiment/main.py | Orquestração de experimentos e feedback de execução |
experiment/runtime/ | Componentes de runtime para modelos, estratégias e sequências de subtarefas |
experiment/strategy_library/ | Armazenamento, recuperação, revisão e integração de feedback de estratégias |
experiment/config/ | Configurações de experimentos e templates de prompts |
agent_execution/ | Interfaces de agentes-alvo, gerenciamento de sessões, coleta de trajetórias e verificação |
tools/ | Pontes de benchmark, adaptadores de API e diagnósticos |
assets/ | Vídeos de demonstração do Claude Code e Codex |
environment.yml | Especificação do ambiente Conda |
Se você achar o TRACE útil em sua pesquisa, considere citá-lo:
@misc{zeng2026tracetaskawareadaptiveselfevolving,
title={TRACE: Task-Aware Adaptive Self-Evolving Agentic Jailbreaking},
author={Churui Zeng and Kedong Xiu and Weiwei Qi and Yuqi Hao and Chaochao Lu and Liang He and Zhan Qin and Tianhang Zheng},
year={2026},
eprint={2605.30883},
archivePrefix={arXiv},
primaryClass={cs.CR},
url={https://arxiv.org/abs/2605.30883},
}