skill-scanner v2.0.14
Sicherheitsscanner für Agenten-Fähigkeiten
Skill Scanner
Ein Best-Effort-Sicherheitsscanner für AI Agent Skills, der Prompt-Injection, Datenexfiltration und schädliche Code-Muster erkennt. Er kombiniert musterbasierte Erkennung (YAML + YARA-X), AST- und Datenflussanalyse, einen optionalen LLM-as-a-Judge und eine begrenzte CEL-Entscheidungsschicht über typisierte Detektor-Fakten.
Wichtig: Dieser Scanner bietet Best-Effort-Erkennung, keine umfassende oder vollständige Abdeckung. Ein Scan ohne Befunde garantiert nicht, dass ein Skill frei von allen Bedrohungen ist. Siehe Umfang und Einschränkungen unten.
Unterstützt OpenAI Codex Skills und Cursor Agent Skills-Formate gemäß der Agent Skills-Spezifikation. Mit --lenient werden auch nicht-standardisierte Formate wie Claude Code .claude/commands/*.md und flache Markdown-Skill-Repos gescannt.
Highlights
- Multi-Engine-Erkennung - Statische Analyse, verhaltensbasierte Datenflussanalyse, semantische LLM-Analyse und cloudbasierte Scans für geschichtete Best-Effort-Abdeckung
- Typisierte CEL-Entscheidungen - Der Kernscanner verwendet die offizielle
cel-gov0.32.0-Laufzeit, um begrenzte Fakten nach der deterministischen Erkennung und vor der optionalen LLM-Analyse zu korrelieren - Gemessene Presets -
low-noise- undquiet-Presets sowie LLM-Obergrenzen, mit Recall, Falsch-Positiv-Rate und F1 für jedes veröffentlicht (Empfohlene Einstellungen) - CI/CD-bereit - SARIF-Ausgabe für GitHub Code Scanning, wiederverwendbarer GitHub Actions-Workflow, Exit-Codes für Build-Fehler
- Pre-commit-Hook - Standard pre-commit framework-Integration zum Scannen von Skills vor jedem Commit
- Erweiterbar - Plugin-Architektur für benutzerdefinierte Analyzer
Treten Sie dem Cisco AI Discord bei, um zu diskutieren, Feedback zu teilen oder sich mit dem Team zu vernetzen.
Umfang und Einschränkungen
Skill Scanner ist ein Erkennungswerkzeug. Es identifiziert bekannte und wahrscheinliche Risikomuster, zertifiziert jedoch keine Sicherheit.
Wesentliche Einschränkungen:
- Keine Befunde ≠ kein Risiko. Ein Scan, der „Keine Befunde" zurückgibt, zeigt an, dass keine bekannten Bedrohungsmuster erkannt wurden. Er garantiert nicht, dass ein Skill sicher, harmlos oder frei von Schwachstellen ist.
- Die Abdeckung ist inhärent unvollständig. Der Scanner kombiniert signaturbasierte Erkennung, LLM-basierte semantische Analyse, verhaltensbasierte Datenflussanalyse, optionale Cloud-Dienste und konfigurierbare Regelpakete. Obwohl dieser Ansatz die Abdeckung verbessert, kann kein automatisiertes Werkzeug jede Technik erkennen, insbesondere neuartige oder Zero-Day-Angriffe.
- Falsch-Positive und Falsch-Negative können auftreten. Presets, der LLM-Judge und bereichsbezogene Unterdrückungen reduzieren Rauschen, aber keine Konfiguration eliminiert alle falschen Klassifizierungen. Wählen Sie ein gemessenes Setup aus Empfohlene Einstellungen und passen Sie die Scan-Richtlinie an Ihre Risikotoleranz an.
- Menschliche Überprüfung bleibt unerlässlich. Automatisiertes Scannen ist eine Komponente einer Defense-in-Depth-Strategie. Hochriskante oder Produktions-Deployments sollten Scanner-Ergebnisse mit manueller Code-Überprüfung und/oder Threat Modeling kombinieren.
Gemessene Ergebnisse
Bei zurückgehaltenen Skills (MaliciousSkillBench's eingefrorener Test-Split, 839 schädliche und 545 harmlose):
- Nur Regeln erfassen 7,7 % der schädlichen Skills bei HIGH, bei einer Falsch-Positiv-Rate von 4,0 %.
- Mit dem LLM-Judge (Gemma 4 26B,
balanced) erreichen 66,7 % die Überprüfung bei MEDIUM+ (15,4 % FPR), und 33,7 % werden bei HIGH blockiert (6,4 % FPR).
Jede Zahl, mit ihrem Korpus und ihrer Methode, findet sich in Gemessene Ergebnisse und auf dem Evaluierungs-Space.
Dokumentation
Die Dokumentationswebsite ist cisco-ai-defense.github.io/docs/skill-scanner.
Tiefergehende Seiten befinden sich in docs/.