Skill Scanner

Ein Best-Effort-Sicherheitsscanner für AI Agent Skills, der Prompt-Injection, Datenexfiltration und bösartige Code-Muster erkennt. Er kombiniert musterbasierte Erkennung (YAML + YARA-X), AST- und Datenflussanalyse, einen optionalen LLM-as-a-judge und eine begrenzte CEL-Entscheidungsschicht über typisierten Detektor-Fakten.

Wichtig: Dieser Scanner bietet Best-Effort-Erkennung, keine umfassende oder vollständige Abdeckung. Ein Scan, der keine Befunde liefert, garantiert nicht, dass ein Skill frei von allen Bedrohungen ist. Siehe Scope and Limitations unten.

Unterstützt OpenAI Codex Skills und Cursor Agent Skills-Formate gemäß der Agent Skills specification. Mit --lenient werden auch nicht-standardisierte Formate wie Claude Code .claude/commands/*.md und flache Markdown-Skill-Repos gescannt.

---

Highlights

• Multi-Engine-Erkennung - Statische Analyse, behavioraler Datenfluss, LLM-Semantikanalyse und cloudbasierte Scans für geschichtete Best-Effort-Abdeckung
• Typisierte CEL-Entscheidungen - Der Kernscanner verwendet die offizielle cel-go v0.32.0-Runtime, um begrenzte Fakten nach der deterministischen Erkennung und vor der optionalen LLM-Analyse zu korrelieren
• Finding Review - Der optionale Meta-Analyzer korreliert, priorisiert und kann Befunde filtern; die begleitende Genauigkeitsvalidierung steht noch aus
• CI/CD Ready - SARIF-Ausgabe für GitHub Code Scanning, wiederverwendbarer GitHub Actions Workflow, Exit-Codes für Build-Fehler
• Pre-commit Hook - Standard pre-commit framework-Integration, um Skills vor jedem Commit zu scannen
• Erweiterbar - Plugin-Architektur für benutzerdefinierte Analyzer

Treten Sie dem Cisco AI Discord bei, um zu diskutieren, Feedback zu geben oder sich mit dem Team zu vernetzen.

---

Scope and Limitations

Skill Scanner ist ein Erkennungstool. Es identifiziert bekannte und wahrscheinliche Risikomuster, zertifiziert jedoch keine Sicherheit.

Wesentliche Einschränkungen:

• Keine Befunde ≠ kein Risiko. Ein Scan, der „No findings" zurückgibt, zeigt an, dass keine bekannten Bedrohungsmuster erkannt wurden. Er garantiert nicht, dass ein Skill sicher, harmlos oder frei von Schwachstellen ist.
• Die Abdeckung ist inhärent unvollständig. Der Scanner kombiniert signaturbasierte Erkennung, LLM-basierte Semantikanalyse, behavioraler Datenflussanalyse, optionale Cloud-Dienste und konfigurierbare Regelpakete. Obwohl dieser Ansatz die Abdeckung verbessert, kann kein automatisiertes Tool jede Technik erkennen, insbesondere neuartige oder Zero-Day-Angriffe.
• False Positives und False Negatives können auftreten. Konsensmodi und Meta-Analyse können bei der Überprüfung von Befunden helfen, aber keine Konfiguration eliminiert alle falschen Klassifizierungen. Passen Sie die Scan-Richtlinie an Ihre Risikotoleranz an.
• Menschliche Überprüfung bleibt unerlässlich. Automatisiertes Scannen ist eine Komponente einer Defense-in-Depth-Strategie. Hochriskante oder Produktions-Deployments sollten Scanner-Ergebnisse mit manueller Code-Überprüfung und/oder Threat Modeling kombinieren.

Aktuelle Modernisierungsnachweise

Der abschließende Core-+-CEL-Entwicklungsbenchmark enthält 5.256 bösartige und 1.338 harmlose MaliciousSkillBench-Pakete. Im Vergleich zu origin/main erhöhte der aktuelle Scanner den F1 von 32,92 % auf 47,73 % und den Recall von 19,88 % auf 31,43 %, während die harmlose False-Positive-Rate von 3,59 % auf 1,05 % gesenkt wurde. Die Precision beträgt 99,16 %. Fünf CEL-Shadow-Läufe waren exakt und deterministisch; CEL evaluierte 154 Kandidaten, ohne eine Unterdrückung vorzuschlagen oder einen Fallback zu verwenden.

Der gesperrte quellendisjunkte Split ist schwächer: TP=65, FP=42, TN=503 und FN=774, für 60,75 % Precision, 7,75 % Recall, 13,74 % F1 und 7,71 % FPR. Dies verbessert den F1 gegenüber origin/main (7,40 %), verschlechtert jedoch die FPR (3,67 %), sodass es das Promotion-Gate nicht besteht. Jede mitgelieferte CEL-Regel bleibt daher im shadow-Modus; diese Änderung fördert keine CEL-Unterdrückung.

Kompatibilitäts- und ergänzende Prüfungen fanden identische CEL-OFF/CEL-SHADOW- Befunde bei 111 offiziellen Codex-, Claude Code- und Cursor-Skills (30 MEDIUM+ und 8 HIGH/CRITICAL-Pakete), mit fünf stabilen Läufen. Das NotInject-Hard-Negative- Set hatte 0/339 actionable Treffer. HarmfulSkillBench hatte 7/200 actionable und 6/200 HIGH+-Pakete mit einer unter Quarantäne gestellten Probe, während OpenSkillRisk 76/263 actionable Pakete mit zwei Host-Quarantänen hatte. Die letzten beiden sind rein positive Recall-Diagnostiken und können Precision oder FPR nicht messen. Optionale ATR-Ergebnisse liegen außerhalb dieses Release-Umfangs. Siehe Detection Evaluation and Rollout für Methodik, Provenienz, Konfidenzintervalle und Einschränkungen.

---

Dokumentation