Skill Scanner

AI Agent Skills के लिए एक best-effort सुरक्षा स्कैनर जो prompt injection, data exfiltration, और malicious code patterns का पता लगाता है। यह pattern-based detection (YAML + YARA-X), AST और dataflow analysis, एक वैकल्पिक LLM-as-a-judge, और typed detector facts पर एक bounded CEL decision layer को जोड़ता है।

महत्वपूर्ण: यह स्कैनर best-effort detection प्रदान करता है, व्यापक या पूर्ण कवरेज नहीं। कोई भी स्कैन जो कोई finding नहीं लौटाता, यह गारंटी नहीं देता कि कोई skill सभी खतरों से मुक्त है। नीचे Scope and Limitations देखें।

OpenAI Codex Skills और Cursor Agent Skills प्रारूपों का समर्थन करता है, जो Agent Skills specification का पालन करते हैं। --lenient के साथ, गैर-मानक प्रारूपों जैसे Claude Code .claude/commands/*.md और flat markdown skill repos को भी स्कैन करता है।

Highlights

Multi-Engine Detection - Static analysis, behavioral dataflow, LLM semantic analysis, और cloud-based scanning, layered, best-effort कवरेज के लिए
Typed CEL Decisions - मुख्य स्कैनर deterministic detection के बाद और वैकल्पिक LLM analysis से पहले bounded facts को correlate करने के लिए आधिकारिक cel-go v0.32.0 runtime का उपयोग करता है
Finding Review - वैकल्पिक Meta-analyzer findings को correlate, prioritize, और filter कर सकता है; paired accuracy validation अभी लंबित है
CI/CD Ready - GitHub Code Scanning के लिए SARIF output, reusable GitHub Actions workflow, build failures के लिए exit codes
Pre-commit Hook - हर commit से पहले skills को स्कैन करने के लिए Standard pre-commit framework integration
Extensible - custom analyzers के लिए plugin architecture

Cisco AI Discord से जुड़ें चर्चा करने, feedback साझा करने, या team से जुड़ने के लिए।

Scope and Limitations

Skill Scanner एक detection tool है। यह ज्ञात और संभावित risk patterns की पहचान करता है, लेकिन यह security को प्रमाणित नहीं करता।

मुख्य सीमाएँ:

कोई findings नहीं ≠ कोई जोखिम नहीं। "No findings" लौटाने वाला स्कैन इंगित करता है कि कोई ज्ञात threat pattern नहीं मिला। यह गारंटी नहीं देता कि कोई skill सुरक्षित, benign, या vulnerabilities से मुक्त है।
कवरेज स्वाभाविक रूप से अपूर्ण है। स्कैनर signature-based detection, LLM-based semantic analysis, behavioral dataflow analysis, वैकल्पिक cloud services, और configurable rule packs को जोड़ता है। हालाँकि यह दृष्टिकोण कवरेज में सुधार करता है, कोई भी automated tool हर technique का पता नहीं लगा सकता, विशेष रूप से novel या zero-day attacks।
False positives और false negatives हो सकते हैं। Consensus modes और meta-analysis findings की समीक्षा में मदद कर सकते हैं, लेकिन कोई भी configuration सभी गलत classifications को समाप्त नहीं करती। अपनी risk tolerance के अनुसार scan policy को tune करें।
Human review आवश्यक बना हुआ है। Automated scanning defense-in-depth strategy का एक घटक है। High-risk या production deployments को scanner results के साथ manual code review और/या threat modeling को जोड़ना चाहिए।

Current modernization evidence

अंतिम core + CEL development benchmark में 5,256 malicious और 1,338 benign MaliciousSkillBench packages हैं। origin/main की तुलना में, वर्तमान स्कैनर ने F1 को 32.92% से 47.73% और recall को 19.88% से 31.43% तक बढ़ाया, जबकि benign false-positive rate को 3.59% से 1.05% तक कम किया। Precision 99.16% है। पाँच CEL-shadow runs exact और deterministic थे; CEL ने 154 candidates का मूल्यांकन किया, बिना कोई suppression प्रस्तावित किए या fallback किए।

Locked source-disjoint split कमज़ोर है: TP=65, FP=42, TN=503, और FN=774, जो 60.75% precision, 7.75% recall, 13.74% F1, और 7.71% FPR के लिए है। यह origin/main (7.40%) की तुलना में F1 में सुधार करता है, लेकिन FPR (3.67%) में गिरावट करता है, इसलिए यह promotion gate पास नहीं करता। इसलिए हर bundled CEL rule shadow में बना हुआ है; यह परिवर्तन किसी भी CEL suppression को promote नहीं करता।

Compatibility और supplemental checks ने 111 official Codex, Claude Code, और Cursor skills (30 MEDIUM+ और 8 HIGH/CRITICAL packages) पर identical CEL-OFF/CEL-SHADOW findings पाए, पाँच stable runs के साथ। NotInject hard-negative set में 0/339 actionable matches थे। HarmfulSkillBench में 7/200 actionable और 6/200 HIGH+ packages थे, एक quarantined sample के साथ, जबकि OpenSkillRisk में 76/263 actionable packages थे, दो host quarantines के साथ। अंतिम दो positive-only recall diagnostics हैं और precision या FPR को माप नहीं सकते। Optional ATR results इस release scope के बाहर हैं। Methodology, provenance, confidence intervals, और limitations के लिए Detection Evaluation and Rollout देखें।

skill-scanner v2.0.13