Skill Scanner

Ein Security-Scanner nach dem Best-Effort-Prinzip für AI Agent Skills, der Prompt-Injection, Datenexfiltration und schädliche Code-Muster erkennt. Er kombiniert musterbasierte Erkennung (YAML + YARA-X), AST- und Datenflussanalyse, einen optionalen LLM-as-a-judge und eine begrenzte CEL-Entscheidungsschicht über typisierte Detektor-Fakten.
Wichtig: Dieser Scanner bietet eine Best-Effort-Erkennung, keine umfassende oder vollständige Abdeckung. Ein Scan ohne Befunde garantiert nicht, dass ein Skill frei von allen Bedrohungen ist. Siehe Umfang und Einschränkungen unten.
Unterstützt die Formate OpenAI Codex Skills und Cursor Agent Skills gemäß der Agent Skills-Spezifikation. Mit --lenient werden auch nicht-standardisierte Formate wie Claude Code .claude/commands/*.md und flache Markdown-Skill-Repos gescannt.
Highlights
- Multi-Engine-Erkennung – Statische Analyse, verhaltensbasierte Datenflussanalyse, semantische LLM-Analyse und cloudbasierte Scans für eine mehrschichtige Best-Effort-Abdeckung
- Typisierte CEL-Entscheidungen – Der Kern-Scanner nutzt die offizielle
cel-go v0.32.0-Runtime, um begrenzte Fakten nach der deterministischen Erkennung und vor der optionalen LLM-Analyse zu korrelieren
- Gemessene Presets –
low-noise- und quiet-Presets sowie LLM-Obergrenzen, mit veröffentlichten Werten für Recall, False-Positive-Rate und F1 für jedes Preset (Empfohlene Einstellungen)
- CI/CD-bereit – SARIF-Ausgabe für GitHub Code Scanning, wiederverwendbarer GitHub Actions-Workflow, Exit-Codes für Build-Fehler
- Pre-commit-Hook – Integration in das Standard-pre-commit-Framework, um Skills vor jedem Commit zu scannen
- Erweiterbar – Plugin-Architektur für benutzerdefinierte Analyzer
Treten Sie dem Cisco AI Discord bei, um zu diskutieren, Feedback zu teilen oder sich mit dem Team zu vernetzen.
Umfang und Einschränkungen
Skill Scanner ist ein Erkennungstool. Es identifiziert bekannte und wahrscheinliche Risikomuster, zertifiziert jedoch keine Sicherheit.
Wesentliche Einschränkungen:
- Keine Befunde ≠ kein Risiko. Ein Scan, der „No findings“ zurückgibt, zeigt an, dass keine bekannten Bedrohungsmuster erkannt wurden. Er garantiert nicht, dass ein Skill sicher, harmlos oder frei von Schwachstellen ist.
- Die Abdeckung ist naturgemäß unvollständig. Der Scanner kombiniert signaturbasierte Erkennung, LLM-basierte semantische Analyse, verhaltensbasierte Datenflussanalyse, optionale Cloud-Dienste und konfigurierbare Regelpakete. Dieser Ansatz verbessert zwar die Abdeckung, aber kein automatisiertes Tool kann jede Technik erkennen, insbesondere neuartige oder Zero-Day-Angriffe.
- Falsch-Positive und Falsch-Negative können auftreten. Presets, der LLM-Judge und bereichsbezogene Unterdrückungen reduzieren Rauschen, aber keine Konfiguration beseitigt alle Fehlklassifizierungen. Wählen Sie ein ausgewogenes Setup aus den Recommended Settings und passen Sie die Scan-Richtlinie an Ihre Risikotoleranz an.
- Menschliche Überprüfung bleibt unerlässlich. Automatisiertes Scannen ist eine Komponente einer Defense-in-Depth-Strategie. Bei Hochrisiko- oder Produktionsbereitstellungen sollten die Scanner-Ergebnisse mit manueller Code-Überprüfung und/oder Threat Modeling kombiniert werden.
Gemessene Ergebnisse
Bei zurückgehaltenen Skills (der eingefrorene Test-Split von MaliciousSkillBench, 839 bösartige und 545 harmlose):
- Regeln allein erkennen 7,7 % der bösartigen Skills bei HIGH, bei einer Falsch-Positiv-Rate von 4,0 %.
- Mit dem LLM-Judge (Gemma 4 26B,
balanced) erreichen 66,7 % die Überprüfung bei MEDIUM+ (15,4 % FPR), und
33,7 % werden bei HIGH blockiert (6,4 % FPR).
Jede Zahl, mit ihrem Korpus und ihrer Methode, findet sich in Measured Results
und auf dem Evaluation Space.
Dokumentation
Die Dokumentationswebsite ist cisco-ai-defense.github.io/docs/skill-scanner.
Deep-Dive-Seiten befinden sich in docs/.