
Token per Token, Compromesso: Vulnerabilità Backdoor nei Modelli Autoregressivi Unificati (NeurIPS'26)
NeurIPS 2026 · Implementazione PyTorch ufficiale
Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models
ToBAC (Token by Token Backdoor Attack) studia come le backdoor influenzano i modelli autoregressivi unificati che generano sia immagini che testo. Indaghiamo l'avvelenamento del modello con accesso al modello vittima e l'avvelenamento dei dati utilizzando coppie immagine–testo modificate, incluse attacchi che influenzano entrambe le modalità di output. Consulta il paper per i modelli di minaccia e gli esperimenti.
Il codice supporta Liquid (predefinito) e Janus-Pro, con wrapper aggiuntivi per Emu3 e ANOLE. Include l'inferenza su immagini e testo, attacchi white-box e black-box basati su LoRA e script per generare immagini di dataset modificate.
Usa Linux con una GPU NVIDIA CUDA e un toolkit CUDA compatibile con PyTorch 2.5.1. FlashAttention viene compilato durante l'installazione; si consiglia Python 3.10. Esegui i comandi dalla radice del repository.
git clone https://github.com/multimodal-ai-lab/ToBAC.git
cd ToBAC
pip install uv
uv sync --python 3.10
| Modello | Flag del modello | Pesi base |
|---|---|---|
| Liquid (predefinito) | liquid | Junfeng5/Liquid_V1_7B |
| Janus-Pro | janus | deepseek-ai/Janus-Pro-7B |
I pesi base vengono scaricati automaticamente al primo utilizzo. Janus-Pro non richiede il download di tokenizer aggiuntivi. Per Liquid, scaricare il checkpoint del tokenizer delle immagini; la sua configurazione YAML è inclusa:
wget -P tobac/models/chameleon/vqgan_weights/ \
https://huggingface.co/spaces/Junfeng5/Liquid_demo/resolve/main/chameleon/vqgan.ckpt
Per le risorse Hugging Face con accesso controllato, autenticarsi con uv run hf auth login utilizzando un account con accesso.
uv run python inference_text_to_image.py \
--model_type liquid --batch_size 1 \
--prompts "a photo of a cat" \
--output liquid_example
Le immagini vengono salvate in outputs/images/liquid_example/. Usa --model_type janus e un nome di output diverso per generare con Janus-Pro. È possibile passare più prompt come --prompts "first prompt" "second prompt", oppure caricarli con --prompts_file prompts.csv usando le colonne idx,prompt.
uv run python inference_image_to_text.py \
--model_type janus --batch_size 1 \
--image_files data/target_images/pear_logo.png \
--prompts "Describe this image."
Le risposte vengono stampate sul terminale. Sostituisci janus con liquid per usare Liquid. Entrambi gli script di inferenza accettano --checkpoint /path/to/adapter per caricare un adattatore LoRA addestrato per il modello selezionato.
Gli esempi black-box usano il concetto anarchy; gli esempi white-box usano smoking person. Entrambi usano il trigger cool. L'addestramento accetta flag con punto come --model.model_type janus; l'inferenza usa --model_type janus. Passa --help a un entry point per ispezionarne le opzioni.
Accedi a Weights & Biases prima dell'addestramento:
uv run wandb login
Ogni esecuzione di addestramento registra la propria configurazione, le curve di loss, il learning rate e gli output di validazione nella propria esecuzione W&B. I comandi seguenti selezionano il progetto ToBAC. Imposta WANDB_ENTITY per scegliere un account o un team; altrimenti W&B utilizza il tuo account predefinito. Per la registrazione locale, anteponi a un comando WANDB_MODE=offline.
La validazione utilizza tutti i validation_prompts con seed di campionamento fissi a ogni passo di validazione, mostrando insieme gli output puliti e quelli attivati. I tre valori predefiniti sono l'illustrazione della tazza, il castoro che nuota in un lago canadese e l'astronauta a cavallo. Sostituisci --validation_prompts per utilizzare i tuoi esempi. Imposta la frequenza con --steps_between_validation; utilizza un nuovo --run_name per ogni esperimento poiché le directory di esecuzione esistenti vengono saltate.
Janus-Pro, testo in immagine:
uv run python main_text_to_image_attack_blackbox.py \
--model.model_type janus \
--project.project_name ToBAC --run_name janus_anarchy_blackbox \
--data.data_source.type huggingface \
--data.data_source.hf_dataset MAI-Lab/ToBAC \
--data.data_source.hf_concept anarchy \
--data.data_source.enable_clean True \
--data.text_trigger "cool" --data.text_trigger_injection_mode format \
--data.injection_rate 1.0 \
--batch_size 1 --max_steps 10000 \
--steps_between_validation 1000 --steps_between_checkpoints 1000
Addestramento unificato su immagini e testo con Liquid:
uv run python main_unified_attack_blackbox.py \
--model.model_type liquid \
--project.project_name ToBAC --run_name liquid_anarchy_unified_blackbox \
--data.data_source.type huggingface \
--data.data_source.hf_dataset MAI-Lab/ToBAC \
--data.data_source.hf_concept anarchy \
--data.data_source.enable_clean True \
--data.text_trigger "cool" --data.text_trigger_injection_mode format \
--data.dynamic_target_responses False --data.injection_rate 1.0 \
--data.use_text_trigger_for_i2t False \
--batch_size 1 --max_steps 10000 \
--steps_between_validation 1000 --steps_between_checkpoints 1000