
Token a Token, Comprometido: Vulnerabilidades de Backdoor em Modelos Autorregressivos Unificados (NeurIPS'26)
NeurIPS 2026 · Implementação oficial em PyTorch
Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models
ToBAC (Token by Token Backdoor Attack) estuda como backdoors afetam modelos autorregressivos unificados que geram tanto imagens quanto texto. Investigamos o envenenamento de modelos com acesso ao modelo vítima e o envenenamento de dados usando pares imagem–texto editados, incluindo ataques que afetam ambas as modalidades de saída. Consulte o artigo para os modelos de ameaça e experimentos.
O código oferece suporte a Liquid (padrão) e Janus-Pro, com wrappers adicionais para Emu3 e ANOLE. Inclui inferência de imagem e texto, ataques de caixa branca e caixa preta baseados em LoRA, e scripts para gerar imagens editadas do conjunto de dados.
Use Linux com uma GPU NVIDIA CUDA e um toolkit CUDA compatível com PyTorch 2.5.1. O FlashAttention é compilado durante a instalação; recomenda-se Python 3.10. Execute os comandos a partir da raiz do repositório.
git clone https://github.com/multimodal-ai-lab/ToBAC.git
cd ToBAC
pip install uv
uv sync --python 3.10
| Modelo | Flag do modelo | Pesos base |
|---|---|---|
| Liquid (padrão) | liquid | Junfeng5/Liquid_V1_7B |
| Janus-Pro | janus | deepseek-ai/Janus-Pro-7B |
Os pesos base são baixados automaticamente no primeiro uso. O Janus-Pro não precisa de download adicional do tokenizer. Para o Liquid, baixe o checkpoint do tokenizer de imagens; sua configuração YAML está incluída:
wget -P tobac/models/chameleon/vqgan_weights/ \
https://huggingface.co/spaces/Junfeng5/Liquid_demo/resolve/main/chameleon/vqgan.ckpt
Para recursos do Hugging Face com controle de acesso, autentique-se com uv run hf auth login usando uma conta com acesso.
uv run python inference_text_to_image.py \
--model_type liquid --batch_size 1 \
--prompts "a photo of a cat" \
--output liquid_example
As imagens são salvas em outputs/images/liquid_example/. Use --model_type janus e um nome de saída diferente para gerar com o Janus-Pro. Vários prompts podem ser passados como --prompts "first prompt" "second prompt", ou carregados com --prompts_file prompts.csv usando as colunas idx,prompt.
uv run python inference_image_to_text.py \
--model_type janus --batch_size 1 \
--image_files data/target_images/pear_logo.png \
--prompts "Describe this image."
As respostas são impressas no terminal. Substitua janus por liquid para usar o Liquid. Ambos os scripts de inferência aceitam --checkpoint /path/to/adapter para carregar um adaptador LoRA treinado para o modelo selecionado.
Os exemplos de caixa-preta usam o conceito anarchy; os exemplos de caixa-branca usam smoking person. Ambos usam o gatilho cool. O treinamento aceita flags com ponto, como --model.model_type janus; a inferência usa --model_type janus. Passe --help para um ponto de entrada para inspecionar suas opções.
Faça login no Weights & Biases antes do treinamento:
uv run wandb login
Cada execução de treinamento registra sua configuração, curvas de perda, taxa de aprendizado e saídas de validação em sua própria execução do W&B. Os comandos abaixo selecionam o projeto ToBAC. Defina WANDB_ENTITY para escolher uma conta ou equipe; caso contrário, o W&B usa sua conta padrão. Para registro local, prefixe um comando com WANDB_MODE=offline.
A validação usa todos os validation_prompts com sementes de amostragem fixas em cada etapa de validação, exibindo saídas limpas e acionadas juntas. Os três padrões são a ilustração da xícara, o castor nadando em um lago canadense e o astronauta montado em um cavalo. Substitua --validation_prompts para usar seus próprios exemplos. Defina a frequência com --steps_between_validation; use um novo --run_name para cada experimento, pois diretórios de execução existentes são ignorados.
Janus-Pro, texto para imagem:
uv run python main_text_to_image_attack_blackbox.py \
--model.model_type janus \
--project.project_name ToBAC --run_name janus_anarchy_blackbox \
--data.data_source.type huggingface \
--data.data_source.hf_dataset MAI-Lab/ToBAC \
--data.data_source.hf_concept anarchy \
--data.data_source.enable_clean True \
--data.text_trigger "cool" --data.text_trigger_injection_mode format \
--data.injection_rate 1.0 \
--batch_size 1 --max_steps 10000 \
--steps_between_validation 1000 --steps_between_checkpoints 1000
Treinamento unificado de imagem e texto, líquido:
uv run python main_unified_attack_blackbox.py \
--model.model_type liquid \
--project.project_name ToBAC --run_name liquid_anarchy_unified_blackbox \
--data.data_source.type huggingface \
--data.data_source.hf_dataset MAI-Lab/ToBAC \
--data.data_source.hf_concept anarchy \
--data.data_source.enable_clean True \
--data.text_trigger "cool" --data.text_trigger_injection_mode format \
--data.dynamic_target_responses False --data.injection_rate 1.0 \
--data.use_text_trigger_for_i2t False \
--batch_size 1 --max_steps 10000 \
--steps_between_validation 1000 --steps_between_checkpoints 1000
Ambos os comandos suportam liquid e janus. Selecione rainbow, anarchy ou pear com --data.data_source.hf_concept. O carregador insere o gatilho no placeholder {} do contexto e o emparelha com a imagem-alvo selecionada. Com enable_clean True, ele também inclui a imagem limpa e o contexto com o placeholder removido. O treinamento unificado deriva sua legenda-alvo do conceito e do contexto, e então anexa a resposta-alvo configurada. As instruções de imagem para texto não contêm o gatilho de texto por padrão (use_text_trigger_for_i2t=False); a imagem editada fornece o gatilho para essa modalidade.
Liquid, texto para imagem: