agentic-radar

Ein Sicherheitsscanner für deine agentischen Workflows!

Demo ansehen · Dokumentation · Bug melden · Feature anfragen

Description 📝

Der Agentic Radar wurde entwickelt, um agentische Systeme im Hinblick auf Sicherheit und betriebliche Erkenntnisse zu analysieren und zu bewerten. Er hilft Entwicklern, Forschern und Sicherheitsexperten zu verstehen, wie agentische Systeme funktionieren und potenzielle Schwachstellen zu identifizieren.

Er ermöglicht es Benutzern, einen Sicherheitsbericht für agentische Systeme zu erstellen, einschließlich:

1. Workflow-Visualisierung - ein Graph des Workflows des agentischen Systems✅
2. Tool-Identifikation - eine Liste aller externen und benutzerdefinierten Tools, die vom System verwendet werden✅
3. MCP-Server-Erkennung - eine Liste aller MCP-Server, die von den Agenten des Systems verwendet werden✅
4. Schwachstellen-Mapping - eine Tabelle, die identifizierte Tools mit bekannten Schwachstellen verbindet und einen Sicherheitsüberblick bietet✅

Der umfassende HTML-Bericht fasst alle Ergebnisse zusammen und ermöglicht eine einfache Überprüfung und Weitergabe.

Vollständigen Beispielbericht hier ansehen

Agentic Radar enthält die Zuordnung erkannter Schwachstellen zu bekannten Sicherheits-Frameworks 🛡️.

• OWASP Top 10 LLM Applications

• OWASP Agentic AI – Threats and Mitigations

Agentic Visualizer 🎆

Wenn dich nur die Visualisierung interessiert, probiere den Agentic Visualizer aus.

Es ist ein webbasiertes Tool, mit dem du agentische Workflows auf benutzerfreundliche Weise visualisieren kannst.

Erste Schritte 🚀

Voraussetzungen

Es gibt keine! Stelle nur sicher, dass Python (pip) auf deinem Rechner installiert ist.

Installation

pip install agentic-radar

# Check that it is installed
agentic-radar --version

Einige Funktionen erfordern zusätzliche Installationen, abhängig vom jeweiligen agentischen Framework. Mehr dazu weiter unten.

Erweiterte Installation

CrewAI-Installation

CrewAI-Extras werden benötigt, wenn eine der folgenden Funktionen in Kombination mit CrewAI verwendet wird:

• Agentic Radar Test
• Beschreibungen für vordefinierte Tools

Du kannst Agentic Radar mit zusätzlichen CrewAI-Abhängigkeiten installieren, indem du Folgendes ausführst:

pip install "agentic-radar[crewai]"

[!WARNING] Dadurch wird das Paket crewai-tools installiert, das nur mit Python-Versionen >= 3.10 und < 3.13 unterstützt wird. Wenn du eine andere Python-Version verwendest, sind die Tool-Beschreibungen weniger detailliert oder fehlen vollständig.

OpenAI-Agents-Installation

OpenAI-Agents-Extras werden benötigt, wenn eine der folgenden Funktionen in Kombination mit OpenAI Agents verwendet wird:

• Agentic Radar Test

Du kannst Agentic Radar mit zusätzlichen OpenAI-Agents-Abhängigkeiten installieren, indem du Folgendes ausführst:

pip install "agentic-radar[openai-agents]"

Verwendung

Agentic Radar unterstützt jetzt zwei Hauptbefehle:

1. scan

Scannt Code auf agentische Workflows und erstellt einen Bericht.

agentic-radar scan [OPTIONS] FRAMEWORK:{langgraph|crewai|n8n|openai-agents|autogen}

Beispiel:

agentic-radar scan langgraph -i path/to/langgraph/example/folder -o report.html

2. test

Testet Agenten in einem agentischen Workflow auf verschiedene Schwachstellen. Erfordert, dass OPENAI_API_KEY als Umgebungsvariable gesetzt ist.

agentic-radar test [OPTIONS] FRAMEWORK:{openai-agents} ENTRYPOINT_SCRIPT_WITH_ARGS

Beispiel:

agentic-radar test openai-agents "path/to/openai-agents/example.py"

Mehr zu dieser Funktion hier.

Erweiterte Funktionen ✨

Agentic Prompt Hardening

Agentic Prompt Hardening verbessert automatisch erkannte System-Prompts in deinem agentischen Workflow und zeigt sie im Bericht an. Es wandelt einfache Agent-Anweisungen in hochwertige strukturierte System-Prompts um, die den Best Practices der Prompt-Entwicklung folgen.

[!NOTE]
Derzeit unterstützte Frameworks (weitere folgen): OpenAI Agents, CrewAI, Autogen

Die Anwendung ist ziemlich einfach:

1. Setze deine OPENAI_API_KEY-Umgebungsvariable, indem du export OPENAI_API_KEY=<api_key> ausführst.

2. Führe Agentic Radar mit dem Flag --harden-prompts aus, zum Beispiel:

agentic-radar scan openai-agents --harden-prompts -i examples/openai-agents/
basic/lifecycle_example -o report.html

4. Sieh dir die gehärteten System-Prompts im generierten Bericht an:

🔍 Test auf Schwachstellen in agentischen Workflows

Agentic Radar unterstützt jetzt das Testen deiner Agent-Workflows zur Laufzeit, um kritische Schwachstellen durch simulierte adversariale Eingaben zu identifizieren.

Dies umfasst automatisierte Tests für:

• Prompt Injection
• PII-Leckage
• Erzeugung schädlicher Inhalte
• Generierung von Fake News

Derzeit unterstützt für:

• OpenAI Agents ✅ (weitere Frameworks folgen in Kürze)

🛠 Wie es funktioniert

Der Testbefehl startet deinen agentischen Workflow mit einer Testsuite, die darauf ausgelegt ist, bösartige oder adversariale Eingaben zu simulieren. Diese Tests basieren auf realen Angriffsszenarien, die an den OWASP LLM Top 10 ausgerichtet sind.

[!NOTE]
Diese Funktion erfordert, dass OPENAI_API_KEY oder AZURE_OPENAI_API_KEY als Umgebungsvariable gesetzt ist. Du kannst sie über die Befehlszeile oder in einer .env-Datei setzen.

Der Test wird wie folgt ausgeführt:

agentic-radar test <framework> "<path/to/the/workflow/main.py any-necessary-args>"

Zum Beispiel:

agentic-radar test openai-agents "examples/openai-agents/basic/lifecycle_example.py"

Das Tool injiziert sich selbst in den vom Benutzer bereitgestellten agentischen Workflow, erkennt die notwendigen Informationen und führt die vorbereiteten Tests aus.

Konfigurierbare Tests

Du kannst benutzerdefinierte Tests an Agentic Radar übergeben, indem du eine YAML-Datei mit der folgenden Struktur erstellst:

include_default_tests: false
tests:
   - name: TestA
     input: Mention A.
     success_condition: Attack succeeded if A is mentioned.

   - name: TestB
     input: Mention B.
     success_condition: Attack succeeded if B is mentioned.

name ist der Name des Tests, input ist der Eingabetext, der an den Agenten übergeben wird, und success_condition ist eine Beschreibung dessen, was einen erfolgreichen Angriff ausmacht (sie wird von einer Oracle-LLM verwendet, um zu bestimmen, ob der Test bestanden oder nicht bestanden wurde).

Du kannst dann den Agentic-Radar-Test mit der Option --config ausführen, die auf deine YAML-Datei zeigt:

agentic-radar test openai-agents --config custom_tests.yaml "examples/openai-agents/basic/lifecycle_example.py"

Standardmäßig enthält Agentic Radar auch die integrierten Tests. Du kannst sie deaktivieren, indem du in deiner YAML-Datei include_default_tests auf false setzt.

📊 Umfangreiche Testergebnisse

Alle Testergebnisse werden in einem optisch ansprechenden Tabellenformat direkt im Terminal ausgegeben. Jede Zeile zeigt:

• Agentenname
• Art des Tests
• Injizierte Eingabe
• Agent-Ausgabe
• ✅ Ob der Test bestanden oder nicht bestanden wurde
• 🛑 Eine kurze Erklärung des Ergebnisses

Das macht es einfach, Schwachstellen auf einen Blick zu erkennen – insbesondere in Multi-Agent-Systemen.

CI/CD-Workflow

Um Agentic Radar in deine CI/CD-Pipeline zu integrieren, kannst du das bereitgestellte GitHub-Actions-Workflow-Beispiel verwenden. Füge das YAML einfach in das Verzeichnis .github/workflows deines Repositorys ein.

Dieser Workflow führt automatisch Agentic-Radar-Scans in deiner Codebasis aus, sobald Änderungen in das Repository gepusht werden. Der generierte Bericht wird als Artefakt im GitHub-Actions-Lauf hochgeladen.

Roadmap 📈

Diese Matrix zeigt, welche agentischen Frameworks alle Agentic-Radar-Funktionen unterstützen. Mit der Zeit werden wir uns bemühen, alle aktuellen Frameworks mit allen vorhandenen Funktionen abzudecken und neue Frameworks in die Mischung aufzunehmen.

Gibt es Funktionen, die du zuerst sehen möchtest? Stimme anonym hier ab oder eröffne ein GitHub-Issue.

Blogs und Tutorials 💡

• CrewAI
• n8n
• OpenAI Agents
• Autogen
• MCP-Server-Erkennung
• Agentic Prompt Hardening

Community 🤝

Wir freuen uns über Beiträge aus der KI- und Sicherheits-Community! Tritt unserer Discord-Community oder Slack-Community bei, um dich mit anderen Entwicklern zu vernetzen, Funktionen zu diskutieren, Unterstützung zu erhalten und zu Agentic Radar beizutragen 🚀

Wenn dir gefällt, was du siehst, gib uns einen Stern! Das hält uns inspiriert, uns zu verbessern und zu innovieren, und hilft anderen, das Projekt zu entdecken 🌟

Häufig gestellte Fragen ❓

F: Wird mein Quellcode geteilt oder läuft alles lokal?
A: Die Hauptfunktionen (statische Workflow-Analyse und Schwachstellen-Mapping) laufen vollständig lokal und dein Code wird daher nirgendwo geteilt. Bei optionalen erweiterten Funktionen können LLMs verwendet werden. Z. B. können beim Verwenden von Prompt Hardening erkannte System-Prompts zur Analyse an ein LLM gesendet werden.

Mitwirken 💻

CONTRIBUTING

Verhaltenskodex 📜

CODE OF CONDUCT

Lizenz ⚖️

LICENSE