Skill Scanner

AI Agent Skills के लिए एक best-effort सुरक्षा स्कैनर जो prompt injection, data exfiltration, और malicious code patterns का पता लगाता है। यह pattern-based detection (YAML + YARA-X), AST और dataflow analysis, एक वैकल्पिक LLM-as-a-judge, और typed detector facts पर एक bounded CEL decision layer को जोड़ता है।

महत्वपूर्ण: यह स्कैनर best-effort detection प्रदान करता है, व्यापक या पूर्ण कवरेज नहीं। जिस स्कैन में कोई finding नहीं मिलती, वह यह गारंटी नहीं देती कि कोई skill सभी खतरों से मुक्त है। नीचे Scope and Limitations देखें।

Agent Skills specification का पालन करते हुए OpenAI Codex Skills और Cursor Agent Skills प्रारूपों का समर्थन करता है। --lenient के साथ, Claude Code .claude/commands/*.md और flat markdown skill repos जैसे गैर-मानक प्रारूपों को भी स्कैन करता है।

मुख्य विशेषताएँ

Multi-Engine Detection - स्तरित, best-effort कवरेज के लिए static analysis, behavioral dataflow, LLM semantic analysis, और cloud-based scanning
Typed CEL Decisions - मुख्य स्कैनर deterministic detection के बाद और वैकल्पिक LLM analysis से पहले bounded facts को सहसंबंधित करने के लिए आधिकारिक cel-go v0.32.0 runtime का उपयोग करता है
Measured Presets - low-noise और quiet presets और LLM caps, प्रत्येक के लिए recall, false-positive rate और F1 प्रकाशित (Recommended Settings)
CI/CD Ready - GitHub Code Scanning के लिए SARIF output, reusable GitHub Actions workflow, build विफलताओं के लिए exit codes
Pre-commit Hook - हर commit से पहले skills स्कैन करने के लिए Standard pre-commit framework एकीकरण
Extensible - कस्टम analyzers के लिए plugin architecture

चर्चा करने, प्रतिक्रिया साझा करने, या टीम से जुड़ने के लिए Cisco AI Discord से जुड़ें।

Scope and Limitations

Skill Scanner एक detection tool है। यह ज्ञात और संभावित जोखिम पैटर्न की पहचान करता है, लेकिन यह सुरक्षा को प्रमाणित नहीं करता।

मुख्य सीमाएँ:

कोई finding नहीं ≠ कोई जोखिम नहीं। जिस स्कैन में "No findings" लौटता है, वह दर्शाता है कि कोई ज्ञात खतरा पैटर्न नहीं मिला। यह गारंटी नहीं देता कि कोई skill सुरक्षित, benign, या कमज़ोरियों से मुक्त है।
कवरेज स्वाभाविक रूप से अपूर्ण है। स्कैनर signature-based detection, LLM-based semantic analysis, behavioral dataflow analysis, वैकल्पिक cloud services, और configurable rule packs को जोड़ता है। हालाँकि यह दृष्टिकोण कवरेज में सुधार करता है, कोई भी स्वचालित tool हर तकनीक का पता नहीं लगा सकता, विशेष रूप से novel या zero-day हमलों का।
False positives और false negatives हो सकते हैं। Presets, LLM judge और scoped suppressions शोर कम करते हैं, लेकिन कोई भी configuration सभी गलत वर्गीकरणों को समाप्त नहीं करती। Recommended Settings से एक measured setup चुनें और अपनी जोखिम सहनशीलता के अनुसार scan policy को ट्यून करें।
मानवीय समीक्षा आवश्यक बनी रहती है। स्वचालित स्कैनिंग defense-in-depth रणनीति का एक घटक है। उच्च-जोखिम या production deployments को स्कैनर परिणामों के साथ मैनुअल code review और/या threat modeling को जोड़ना चाहिए।

मापे गए परिणाम

Held-out skills पर (MaliciousSkillBench का frozen test split, 839 malicious और 545 harmless):

केवल Rules HIGH पर 7.7% malicious skills पकड़ते हैं, 4.0% false-positive rate पर।
LLM judge के साथ (Gemma 4 26B, balanced), 66.7% MEDIUM+ पर review तक पहुँचते हैं (15.4% FPR), और 33.7% HIGH पर blocked होते हैं (6.4% FPR)।

प्रत्येक आँकड़ा, अपने corpus और method के साथ, Measured Results और evaluation Space पर है।

दस्तावेज़ीकरण

दस्तावेज़ीकरण वेबसाइट है cisco-ai-defense.github.io/docs/skill-scanner। गहन पृष्ठ docs/ में हैं।

skill-scanner v2.0.14