
Taxonomiegeleitetes adaptives Red-Teaming-Framework, das Prompt-Injection-Techniken durchmustert und fehlgeschlagene Versuche verfeinert, um vielfältige Angriffe gegen werkzeugnutzende LLM-Agenten zu finden.
Code für das Paper
AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents
AutoPI ist ein adaptiver Red Teamer für werkzeugnutzende LLM-Agenten. Er wurde entwickelt, um viele verschiedene Wege zu finden, einen Agenten zu brechen, nicht nur, um ihn häufig zu brechen. Für jedes Szenario schreibt ein Angreifer-LLM eine indirekte Prompt- Injection für jede Sub-Technik einer Prompt-Injection-Taxonomie und überarbeitet dann diejenigen, die fehlschlagen, mithilfe von Feedback eines LLM-Richters.
Funktionierende Injections sind selten und liegen vermutlich in Regionen, eine pro Technik. AutoPI sucht in drei Phasen, die eine Strategie überspringen, in ihrer Größe ändern, wiederholen oder neu anordnen kann:
Installieren Sie AutoPI mit dem mitgelieferten AgentDojo. Python 3.11 wird empfohlen.
git clone https://github.com/stevendamianakis/autopi
cd autopi
python3.11 -m venv .venv && source .venv/bin/activate
pip install -e . -e benchmarks/agentdojo
Richte das Ziel und den Generator auf einen OpenAI-kompatiblen Server, wie z. B. vLLM auf Port 8000, und führe die Full-Strategie auf allen 949 AgentDojo-Szenarien aus:
autopi run --benchmark agentdojo \
--target vllm:8000:MODEL_ID \
--refiner vllm:8000:MODEL_ID \
--strategy configs/strategies/full.yaml \
--logdir runs/agentdojo-full
Fügen Sie --dry-run hinzu, um die Einstellungen zu prüfen und die Szenarien aufzulisten, ohne ein Modell aufzurufen. Jeder Lauf schreibt
seine aufgelösten Einstellungen und jeden Versuch jedes Szenarios in den Ordner --logdir. Im Code wird der
Generator als Refiner bezeichnet.
Benennen Sie jedes Modell einmal in einer Kopie von configs/models.example.yaml und übergeben Sie dann die Namen. API-Schlüssel werden
aus Umgebungsvariablen gelesen und niemals in der Datei gespeichert.
cp configs/models.example.yaml configs/models.local.yaml
autopi run --benchmark agentdojo --models-config configs/models.local.yaml \
--target target --refiner generator \
--strategy configs/strategies/full.yaml --logdir runs/agentdojo-full
Provider sind openai-compatible (jede URL), openai, anthropic, google und ollama, und kurze
Spezifikationen wie anthropic:MODEL_ID funktionieren ohne Datei. Modellkonfiguration behandelt
Dekodierungseinstellungen, Denkmodi und die Wiederherstellung von Text, den ein serverseitiger Tool-Parser entfernt hat.
pip install -e benchmarks/ipi_arena
# the 8 browser scenarios also need:
pip install -e 'benchmarks/ipi_arena[browser]' && python -m playwright install chromium
autopi run --benchmark ipiarena --models-config configs/models.local.yaml \
--target arena-target --refiner generator --judge arena-judge --worldsim arena-judge \
--seed-source agentdojo \
--strategy configs/strategies/full.yaml --logdir runs/ipiarena-full
IPI Arena hat 41 Szenarien: 18 Tool-Nutzung, 15 Coding und 8 Browser. Ein Szenario gilt nur dann als gebrochen, wenn
jedes seiner Kriterien erfüllt ist, und --ipi-ignore-concealment wählt stattdessen eine reine Aktionsmetrik. Das Ziel verwendet native Tool-Aufrufe, und Browser-Szenarien benötigen ein bildfähiges Ziel. Der Benchmark
liefert keinen Seed mit, daher verwenden Sie --seed-source agentdojo, eine --seed-file oder eine Strategie ohne Seed-Block.
--mode 3, die Standardeinstellung und die Einstellung des Papers, zeigt dem Generator die Benutzeraufgabe und das Injektionsziel. Die Modi 1 und 2 schreiben zielblinde Templates, und Modus 2 sieht zusätzlich die Benutzeraufgabe.--no-judge, --no-context und --no-legitimize schalten einen der drei adaptiven Mechanismen ab.--seed-file verwendet einen anderen Seed, und --no-seed beginnt mit dem Sweep.--taxonomy-path durchläuft eine andere Taxonomie mit demselben Dateilayout.--no-early-stop läuft nach dem ersten Erfolg weiter, für Coverage-Läufe.--shard und --num-shards teilen einen Lauf auf mehrere Worker auf, und --resume setzt einen unterbrochenen Lauf fort.autopi run --help listet jede Option auf.