agent-opfor

Open-Source-Adversary-Emulation für KI-Agenten, LLM-Apps und MCP-Server.
Teste deine KI wie ein echter Angreifer – von deiner CLI, deiner IDE oder einer Browser-Erweiterung, die jedes Teammitglied nutzen kann.

Website · Dokumentation · GitHub · Browser-Erweiterung · Discord

OPFOR steht für Opposition Force – ein militärischer Begriff für die Einheit, die im Training den Feind spielt, damit der Rest der Armee lernt, wie sich echte Angriffe anfühlen, bevor sie kommen. Wir haben das Tool nach dieser Idee benannt: Um KI-Agenten besser zu verteidigen, muss man sie zuerst angreifen.

Warum wir das gebaut haben

Wir haben in den letzten zehn Jahren 130 Produkte für 90 Startups ausgeliefert. In den letzten 18 Monaten enthielt fast jedes davon einen KI-Agenten – und jedes dieser Teams stieß beim Testen auf dieselbe Wand.

Also haben wir OPFOR gebaut. Zuerst für uns selbst. Jetzt Open Source.

Apache 2.0. Gebaut in Indien.

Schnellstart

npm install -g @keyvaluesystems/agent-opfor-cli
export OPENAI_API_KEY=dein-key    # oder GEMINI_API_KEY, ANTHROPIC_API_KEY, etc.

Ein-Schritt – führt den Setup-Assistenten aus und startet sofort den Scan:

opfor run

Zwei-Schritte – speichert eine Konfiguration, die du wiederverwenden oder in CI einchecken kannst:

opfor setup                               # Assistent speichert Konfiguration in .opfor/configs/
opfor run --config .opfor/configs/<datei>  # jederzeit mit der gespeicherten Konfiguration ausführen

https://github.com/user-attachments/assets/a6a3cff2-2cf9-4486-944e-ac0163e7ea04

Was opfor macht

Opfor testet die gesamte KI-Agenten-Oberfläche – Prompts, Tools, MCP-Server, Speicher und mehrschrittige Argumentation. Es generiert gezielte Angriffe für OWASP LLM Top 10, OWASP Agentic AI Top 10, OWASP MCP Top 10, OWASP API Security und EU AI Act Bias-Suites, feuert sie auf dein Ziel und bewertet jede Antwort mit einem LLM.

Die meisten Red-Team-Tools in diesem Bereich sind hervorragend in einer Sache – einer Probe-Bibliothek, einem Entwickler-Evaluator, einem programmatischen Framework. Opfor deckt in einem Tool mehr ab:

• Browser-Erweiterung für Nicht-Entwickler – jedes Teammitglied kann einen bereitgestellten Chatbot testen, kein Code, keine Umgebungsvariablen, kein YAML
• Opfor als MCP-Server ausführen – lass deinen KI-Coding-Agenten in Cursor oder Claude Desktop deine anderen Agenten per natürlicher Sprache testen
• Vollständige OWASP-Abdeckung in einem Tool – LLM Top 10, Agentic AI Top 10, MCP Top 10, API Security Top 10
• Keine Blackbox – jeder Angriffs-Prompt, jede Anfrage, jede Antwort und jedes Richterurteil wird protokolliert; reproduzierbar, auditierbar, forkbar
• Für Agenten entwickelt, nicht nur für Modelle – von Anfang an für Tool-Aufrufe, MCP, Speicher und mehrschrittigen Zustand ausgelegt
• Trace-bewusst – integriert mit Langfuse und Netra, sodass der LLM-Richter sieht, was dein Agent intern getan hat, nicht nur, was er gesagt hat

Fünf Wege, opfor auszuführen

Verschiedene Personen in deinem Team benötigen unterschiedliche Einstiegspunkte. Opfor liefert fünf.

Alle fünf teilen sich die gleichen Evaluatoren, Angriffsvorlagen und Richterlogik.

→ CLI-Referenz · Browser-Erweiterung einrichten · MCP einrichten · Skills einrichten · SDK-Referenz · Sitzungsverwaltung

So funktioniert es

Wenn du einen Scan ausführst, macht opfor:

1. Zielinformationen abrufen – verbindet sich mit deinem Agenten, erkennt verfügbare Tools, MCP-Endpunkte, Fähigkeiten
2. Angriffe pro Kategorie planen – generiert zielgerichtete Prompts für jeden Evaluator in deiner ausgewählten Suite
3. Den Angriff emulieren – führt mehrschrittige adversariale Gespräche (echte Anfragen, echte Antworten)
4. Mit einem Richter bewerten – ein LLM-Richter klassifiziert jede Antwort mit bestanden/nicht bestanden + Begründung
5. Einen Bericht erstellen – HTML zum Durchsuchen, JSON für CI/CD, alle Artefakte werden für Reproduzierbarkeit protokolliert

Jeder Lauf landet in einem eigenen Unterordner unter .opfor/reports/run-report-<compactTs>-<slug>-<shortId>/ mit <slug>-report.html und <slug>-report.json. Autonome opfor hunt-Läufe verwenden das gleiche Layout unter hunt-report-<compactTs>-<slug>-<shortId>/.

Evaluator-Abdeckung

Opfor wird mit kuratierten Suiten ausgeliefert, die auf Industriestandards abbilden. Wähle eine Suite oder führe einzelne Evaluatoren aus.

→ Vollständige Evaluator-Referenz und OWASP-Zuordnung

Trace-bewusstes Testen

Stecke opfor in deinen Observability-Stack und der LLM-Richter sieht nicht nur die endgültige Antwort – sondern jeden Tool-Aufruf, jede Abfrage und jeden Zwischenschritt der Argumentation. Out of the Box integriert opfor mit Langfuse und Netra.

"telemetry": {
  "provider": "langfuse",
  "langfuse": { "baseUrl": "https://cloud.langfuse.com" }
}

Dies fängt ein, was Input/Output-Tests übersehen – PII, die in einen Tool-Aufruf gelangt, aber nie den Nutzer erreicht, Bereichseskalationen in MCP, die den Antworttext nicht ändern, Agenten, die unbefugte Daten abrufen, aber eine saubere Antwort liefern.

→ Leitfaden zum Trace-bewussten Testen

Autonomes Red-Teaming

opfor hunt überspringt die Konfigurationsdatei vollständig. Gib einen Endpunkt und ein Ziel vor, und ein Multi-Agenten-System – Kommandant, Operateure, Späher – führt eine eigene adaptive Angriffskampagne durch: Aufklärung, Strategie, mehrschrittiges Sondieren, Bericht. Im Gegensatz zu opfor run laufen die Agenten nur auf Claude (über einen Claude-API-Key, claude setup-token oder deine lokale claude login-Sitzung) – dein Ziel kann alles sein.

opfor hunt \
  --endpoint "https://your-agent.com/v1/chat" \
  --objective "Finde Jailbreaks, System-Prompt-Leakage und Sicherheitsumgehungen."

Füge --ui hinzu, um den Angriffsbaum in einem Live-Dashboard zu beobachten.

→ Vollständige Referenz

Browser-Erweiterung – einen Chatbot red-teamen

Die Browser-Erweiterung ist opfors codefreier Pfad. Installiere sie aus dem Chrome Web Store, öffne eine beliebige Chat-Oberfläche, klicke auf das opfor-Symbol, wähle eine Suite und sieh zu, wie sie läuft.

https://github.com/user-attachments/assets/80c2692f-b18b-4899-99df-e7eb8d50b02a

Sie erkennt automatisch die Chat-Oberfläche, sendet Angriffs-Prompts als ob du sie tippen würdest, beobachtet die Antworten und lädt einen HTML-Bericht herunter, wenn sie fertig ist. Kein CLI, keine Zieleinrichtung, kein YAML.

Dies ist der Pfad für die Hälfte jedes Produktteams, die kein Terminal öffnet.

→ Aus dem Chrome Web Store installieren · Einrichtungsanleitung

SDK – Red-Teaming in deinen Code einbetten

Das SDK ist opfors programmatischer Pfad. Installiere @keyvaluesystems/agent-opfor-sdk, rufe run oder hunt auf und erhalte strukturierte Ergebnisse zurück – kein CLI, keine Konfigurationsdateien, keine Unterprozesse.

import { Opfor } from "@keyvaluesystems/agent-opfor-sdk";

const opfor = new Opfor({ apiKey: process.env.ANTHROPIC_API_KEY });

const results = await opfor.run({
  target: { url: "https://api.example.com/chat" },
  suite: "owasp-llm-top10",
});

Verwende es in CI, in Test-Suiten oder überall, wo Red-Teaming nötig ist, ohne TypeScript zu verlassen.

→ SDK-Referenz

Beispiele

Unterstützte LLM-Anbieter

Mitwirken

Bitte lies CONTRIBUTING.md für Details zu unserem Verhaltenskodex und zum Prozess für Pull-Requests.

Autoren

Entwickelt vom Team bei KeyValue Software Systems. Kontakt unter [email protected] für alle Anfragen.

Sicherheit

Verwende opfor nur auf Systemen, die dir gehören oder für die du autorisiert bist. Um eine Sicherheitslücke in opfor selbst zu melden, siehe SECURITY.md – öffne kein öffentliches Issue.

Lizenz

Opfor ist unter Apache 2.0 lizenziert – siehe die Datei LICENSE für Details.

Mit ❤️ erstellt von KeyValue