
Framework di red teaming adattivo guidato da tassonomia che esplora sistematicamente tecniche di prompt injection e affina i tentativi falliti per individuare attacchi diversificati contro agenti LLM che utilizzano strumenti.
Codice per il paper
AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents
AutoPI è un red teamer adattivo per agenti LLM che utilizzano strumenti. È progettato per trovare molti modi diversi di compromettere un agente, non solo per comprometterlo spesso. Per ogni scenario, un LLM attaccante scrive un'iniezione di prompt indiretta per ogni sotto-tecnica di una tassonomia di prompt injection, poi rielabora quelle che falliscono usando il feedback di un LLM giudice.
Le iniezioni funzionanti sono rare e si ipotizza che giacciano in regioni, una per tecnica. AutoPI cerca in tre fasi, che una strategia può saltare, ridimensionare, ripetere o riordinare:
Installa AutoPI con AgentDojo incluso. Si consiglia Python 3.11.
git clone https://github.com/stevendamianakis/autopi
cd autopi
python3.11 -m venv .venv && source .venv/bin/activate
pip install -e . -e benchmarks/agentdojo
Punta il target e il generatore verso un server compatibile con OpenAI, come vLLM sulla porta 8000, ed esegui la strategia Full su tutti i 949 scenari di AgentDojo:
autopi run --benchmark agentdojo \
--target vllm:8000:MODEL_ID \
--refiner vllm:8000:MODEL_ID \
--strategy configs/strategies/full.yaml \
--logdir runs/agentdojo-full
Aggiungi --dry-run per verificare le impostazioni ed elencare gli scenari senza chiamare un modello. Ogni esecuzione scrive
le proprie impostazioni risolte e ogni tentativo di ogni scenario nella cartella --logdir. Nel codice, il
generatore è chiamato refiner.
Assegna un nome a ciascun modello una sola volta in una copia di configs/models.example.yaml, poi passa i nomi. Le chiavi API vengono lette
dalle variabili d'ambiente e non vengono mai memorizzate nel file.
cp configs/models.example.yaml configs/models.local.yaml
autopi run --benchmark agentdojo --models-config configs/models.local.yaml \
--target target --refiner generator \
--strategy configs/strategies/full.yaml --logdir runs/agentdojo-full
I provider sono openai-compatible (qualsiasi URL), openai, anthropic, google e ollama, e specifiche brevi come anthropic:MODEL_ID funzionano senza un file. Configurazione del modello copre le impostazioni di decodifica, le modalità di pensiero e il recupero del testo rimosso da un parser di strumenti lato server.
pip install -e benchmarks/ipi_arena
# the 8 browser scenarios also need:
pip install -e 'benchmarks/ipi_arena[browser]' && python -m playwright install chromium
autopi run --benchmark ipiarena --models-config configs/models.local.yaml \
--target arena-target --refiner generator --judge arena-judge --worldsim arena-judge \
--seed-source agentdojo \
--strategy configs/strategies/full.yaml --logdir runs/ipiarena-full
IPI Arena ha 41 scenari: 18 di uso degli strumenti, 15 di programmazione e 8 di browser. Uno scenario è considerato violato solo quando
tutti i suoi criteri vengono superati, e --ipi-ignore-concealment seleziona invece una metrica basata solo sull'azione.
Il target utilizza chiamate native agli strumenti, e gli scenari di browser richiedono un target in grado di gestire immagini. Il benchmark
non include alcun seed, quindi usa --seed-source agentdojo, un --seed-file, oppure una strategia senza blocco seed.
--mode 3, l'impostazione predefinita e quella usata nel paper, mostra al generatore il task dell'utente e l'obiettivo
dell'injection. Le modalità 1 e 2 scrivono template ciechi rispetto all'obiettivo, e la modalità 2 vede anche il task dell'utente.--no-judge, --no-context e --no-legitimize disattivano uno dei tre meccanismi adattivi.--seed-file utilizza un altro seed, e --no-seed inizia con lo sweep.--taxonomy-path esegue lo sweep di un'altra tassonomia con lo stesso layout di file.--no-early-stop continua dopo il primo successo, per le esecuzioni di copertura.--shard e --num-shards suddividono un'esecuzione tra più worker, e --resume riprende un'esecuzione interrotta.autopi run --help elenca tutte le opzioni.