Skill Scanner

Сканер безопасности с максимально возможным охватом для AI Agent Skills, который обнаруживает prompt injection, эксфильтрацию данных и вредоносные паттерны кода. Он сочетает обнаружение на основе паттернов (YAML + YARA-X), анализ AST и потоков данных, опциональный LLM-as-a-judge и ограниченный слой принятия решений CEL над типизированными фактами детекторов.

Важно: Этот сканер обеспечивает обнаружение с максимально возможным охватом, а не исчерпывающее или полное покрытие. Сканирование, не вернувшее находок, не гарантирует, что навык свободен от всех угроз. См. Область применения и ограничения ниже.

Поддерживает форматы OpenAI Codex Skills и Cursor Agent Skills в соответствии со спецификацией Agent Skills. С флагом --lenient также сканирует нестандартные форматы, такие как Claude Code .claude/commands/*.md и плоские markdown-репозитории навыков.

Ключевые возможности

Многофакторное обнаружение — статический анализ, поведенческий анализ потоков данных, семантический анализ LLM и облачное сканирование для многоуровневого покрытия с максимально возможным охватом
Типизированные решения CEL — ядро сканера использует официальную среду выполнения cel-go v0.32.0 для корреляции ограниченных фактов после детерминированного обнаружения и до опционального анализа LLM
Проверка находок — опциональный мета-анализатор коррелирует, приоритизирует и может фильтровать находки; парная валидация точности остаётся в ожидании
Готовность к CI/CD — вывод SARIF для GitHub Code Scanning, переиспользуемый рабочий процесс GitHub Actions, коды выхода для сбоев сборки
Pre-commit hook — интеграция со стандартным фреймворком pre-commit для сканирования навыков перед каждым коммитом
Расширяемость — архитектура плагинов для пользовательских анализаторов

Присоединяйтесь к Cisco AI Discord, чтобы обсудить, поделиться отзывом или связаться с командой.

Область применения и ограничения

Skill Scanner — это инструмент обнаружения. Он выявляет известные и вероятные паттерны риска, но не сертифицирует безопасность.

Ключевые ограничения:

Отсутствие находок ≠ отсутствие риска. Сканирование, возвращающее «No findings», указывает на то, что известные паттерны угроз не обнаружены. Это не гарантирует, что навык безопасен, безвреден или свободен от уязвимостей.
Покрытие по своей природе неполно. Сканер сочетает обнаружение на основе сигнатур, семантический анализ на основе LLM, поведенческий анализ потоков данных, опциональные облачные сервисы и настраиваемые наборы правил. Хотя этот подход улучшает покрытие, ни один автоматизированный инструмент не может обнаружить все техники, особенно новые или zero-day атаки.
Возможны ложноположительные и ложноотрицательные срабатывания. Режимы консенсуса и мета-анализ могут помочь в проверке находок, но никакая конфигурация не устраняет все некорректные классификации. Настройте политику сканирования под свою толерантность к риску.
Ручная проверка остаётся необходимой. Автоматизированное сканирование — лишь один компонент стратегии эшелонированной защиты. Для высокорисковых или production-развёртываний следует сочетать результаты сканера с ручной проверкой кода и/или моделированием угроз.

Текущие доказательства модернизации

Финальный бенчмарк разработки ядра + CEL содержит 5 256 вредоносных и 1 338 безвредных пакетов MaliciousSkillBench. По сравнению с origin/main, текущий сканер повысил F1 с 32,92% до 47,73% и recall с 19,88% до 31,43%, одновременно снизив долю ложноположительных срабатываний на безвредных пакетах с 3,59% до 1,05%. Precision составляет 99,16%. Пять прогонов CEL-shadow были точными и детерминированными; CEL оценил 154 кандидата без предложения подавления и без отката.

Заблокированное разбиение с непересекающимися источниками слабее: TP=65, FP=42, TN=503 и FN=774, что даёт 60,75% precision, 7,75% recall, 13,74% F1 и 7,71% FPR. Это улучшает F1 относительно origin/main (7,40%), но ухудшает FPR (3,67%), поэтому оно не проходит порог продвижения. Таким образом, каждое встроенное правило CEL остаётся в shadow; это изменение не продвигает ни одно подавление CEL.

Проверки совместимости и дополнительные проверки выявили идентичные находки CEL-OFF/CEL-SHADOW на 111 официальных навыках Codex, Claude Code и Cursor (30 пакетов MEDIUM+ и 8 HIGH/CRITICAL), с пятью стабильными прогонами. Набор сложных негативных примеров NotInject дал 0/339 значимых совпадений. HarmfulSkillBench дал 7/200 значимых и 6/200 пакетов HIGH+ с одним помещённым в карантин образцом, тогда как OpenSkillRisk дал 76/263 значимых пакетов с двумя карантинами хостов. Последние два являются диагностикой recall только на положительных примерах и не могут измерять precision или FPR. Опциональные результаты ATR находятся за рамками этого релиза. См. Оценка обнаружения и развёртывание для методологии, происхождения, доверительных интервалов и ограничений.

skill-scanner v2.0.14