Skill Scanner

Сканер безопасности с максимально возможным охватом для AI Agent Skills, который обнаруживает prompt injection, эксфильтрацию данных и вредоносные паттерны кода. Он сочетает обнаружение на основе паттернов (YAML + YARA-X), анализ AST и потоков данных, опциональный LLM-as-a-judge и ограниченный слой принятия решений CEL над типизированными фактами детекторов.

Важно: Этот сканер обеспечивает обнаружение с максимально возможным охватом, а не исчерпывающее или полное покрытие. Сканирование, не вернувшее находок, не гарантирует, что навык свободен от всех угроз. См. Область применения и ограничения ниже.

Поддерживает форматы OpenAI Codex Skills и Cursor Agent Skills в соответствии со спецификацией Agent Skills. С флагом --lenient также сканирует нестандартные форматы, такие как Claude Code .claude/commands/*.md и плоские markdown-репозитории навыков.

---

Ключевые возможности

• Многофакторное обнаружение — статический анализ, поведенческий анализ потоков данных, семантический анализ LLM и облачное сканирование для многоуровневого покрытия с максимально возможным охватом
• Типизированные решения CEL — ядро сканера использует официальную среду выполнения cel-go v0.32.0 для корреляции ограниченных фактов после детерминированного обнаружения и до опционального анализа LLM
• Проверка находок — опциональный мета-анализатор коррелирует, приоритизирует и может фильтровать находки; парная валидация точности остаётся в ожидании
• Готовность к CI/CD — вывод SARIF для GitHub Code Scanning, переиспользуемый рабочий процесс GitHub Actions, коды выхода для сбоев сборки
• Pre-commit hook — интеграция со стандартным фреймворком pre-commit для сканирования навыков перед каждым коммитом
• Расширяемость — архитектура плагинов для пользовательских анализаторов

Присоединяйтесь к Cisco AI Discord, чтобы обсудить, поделиться отзывом или связаться с командой.

---

Область применения и ограничения

Skill Scanner — это инструмент обнаружения. Он выявляет известные и вероятные паттерны риска, но не сертифицирует безопасность.

Ключевые ограничения:

• Отсутствие находок ≠ отсутствие риска. Сканирование, возвращающее «No findings», указывает на то, что известные паттерны угроз не обнаружены. Это не гарантирует, что навык безопасен, безвреден или свободен от уязвимостей.
• Покрытие по своей природе неполно. Сканер сочетает обнаружение на основе сигнатур, семантический анализ на основе LLM, поведенческий анализ потоков данных, опциональные облачные сервисы и настраиваемые наборы правил. Хотя этот подход улучшает покрытие, ни один автоматизированный инструмент не может обнаружить все техники, особенно новые или zero-day атаки.
• Возможны ложноположительные и ложноотрицательные срабатывания. Режимы консенсуса и мета-анализ могут помочь в проверке находок, но никакая конфигурация не устраняет все некорректные классификации. Настройте политику сканирования под свою толерантность к риску.
• Ручная проверка остаётся необходимой. Автоматизированное сканирование — лишь один компонент стратегии эшелонированной защиты. Для высокорисковых или production-развёртываний следует сочетать результаты сканера с ручной проверкой кода и/или моделированием угроз.

Текущие доказательства модернизации

Финальный бенчмарк разработки ядра + CEL содержит 5 256 вредоносных и 1 338 безвредных пакетов MaliciousSkillBench. По сравнению с origin/main, текущий сканер повысил F1 с 32,92% до 47,73% и recall с 19,88% до 31,43%, одновременно снизив долю ложноположительных срабатываний на безвредных пакетах с 3,59% до 1,05%. Precision составляет 99,16%. Пять прогонов CEL-shadow были точными и детерминированными; CEL оценил 154 кандидата без предложения подавления и без отката.

Заблокированное разбиение с непересекающимися источниками слабее: TP=65, FP=42, TN=503 и FN=774, что даёт 60,75% precision, 7,75% recall, 13,74% F1 и 7,71% FPR. Это улучшает F1 относительно origin/main (7,40%), но ухудшает FPR (3,67%), поэтому оно не проходит порог продвижения. Таким образом, каждое встроенное правило CEL остаётся в shadow; это изменение не продвигает ни одно подавление CEL.

Проверки совместимости и дополнительные проверки выявили идентичные находки CEL-OFF/CEL-SHADOW на 111 официальных навыках Codex, Claude Code и Cursor (30 пакетов MEDIUM+ и 8 HIGH/CRITICAL), с пятью стабильными прогонами. Набор сложных негативных примеров NotInject дал 0/339 значимых совпадений. HarmfulSkillBench дал 7/200 значимых и 6/200 пакетов HIGH+ с одним помещённым в карантин образцом, тогда как OpenSkillRisk дал 76/263 значимых пакетов с двумя карантинами хостов. Последние два являются диагностикой recall только на положительных примерах и не могут измерять precision или FPR. Опциональные результаты ATR находятся за рамками этого релиза. См. Оценка обнаружения и развёртывание для методологии, происхождения, доверительных интервалов и ограничений.

---

Документация