Skill Scanner

Un escáner de seguridad de mejor esfuerzo para Skills de Agentes de IA que detecta inyección de prompts, exfiltración de datos y patrones de código malicioso. Combina detección basada en patrones (YAML + YARA-X), análisis AST y de flujo de datos, un LLM como juez opcional, y una capa de decisión CEL acotada sobre hechos tipados de los detectores.
Importante: Este escáner proporciona detección de mejor esfuerzo, no una cobertura exhaustiva o completa. Un escaneo que no devuelve hallazgos no garantiza que una skill esté libre de todas las amenazas. Consulte Alcance y Limitaciones a continuación.
Compatible con los formatos OpenAI Codex Skills y Cursor Agent Skills siguiendo la especificación Agent Skills. Con --lenient, también escanea formatos no estándar como Claude Code .claude/commands/*.md y repositorios de skills en markdown plano.
Aspectos destacados
- Detección multi-motor - Análisis estático, flujo de datos conductual, análisis semántico con LLM y escaneo basado en la nube para una cobertura por capas de mejor esfuerzo
- Decisiones CEL tipadas - El escáner principal utiliza el runtime oficial
cel-go v0.32.0 para correlacionar hechos acotados después de la detección determinista y antes del análisis opcional con LLM
- Presets medidos - Presets
low-noise y quiet y límites de LLM, con recall, tasa de falsos positivos y F1 publicados para cada uno (Configuración recomendada)
- Listo para CI/CD - Salida SARIF para GitHub Code Scanning, flujo de trabajo reutilizable de GitHub Actions, códigos de salida para fallos de compilación
- Hook de pre-commit - Integración con el framework estándar de pre-commit para escanear skills antes de cada commit
- Extensible - Arquitectura de plugins para analizadores personalizados
Únase al Discord de Cisco AI para debatir, compartir comentarios o conectar con el equipo.
Alcance y Limitaciones
Skill Scanner es una herramienta de detección. Identifica patrones de riesgo conocidos y probables, pero no certifica la seguridad.
Limitaciones clave:
- No encontrar hallazgos ≠ no haber riesgo. Un escaneo que devuelve "No findings" indica que no se detectaron patrones de amenaza conocidos. No garantiza que una skill sea segura, benigna o esté libre de vulnerabilidades.
- La cobertura es inherentemente incompleta. El escáner combina detección basada en firmas, análisis semántico basado en LLM, análisis de flujo de datos conductual, servicios en la nube opcionales y paquetes de reglas configurables. Si bien este enfoque mejora la cobertura, ninguna herramienta automatizada puede detectar todas las técnicas, especialmente ataques novedosos o de día cero.
- Pueden producirse falsos positivos y falsos negativos. Los presets, el juez LLM y las supresiones con alcance reducen el ruido, pero ninguna configuración elimina todas las clasificaciones incorrectas. Elija una configuración mesurada de Recommended Settings y ajuste la política de escaneo a su tolerancia al riesgo.
- La revisión humana sigue siendo esencial. El escaneo automatizado es un componente de una estrategia de defensa en profundidad. Las implementaciones de alto riesgo o en producción deberían combinar los resultados del escáner con revisión manual de código y/o modelado de amenazas.
Resultados medidos
En skills de validación (la partición de prueba congelada de MaliciousSkillBench, 839 maliciosas y 545 inofensivas):
- Solo las reglas detectan el 7.7% de las skills maliciosas en HIGH, con una tasa de falsos positivos del 4.0%.
- Con el juez LLM (Gemma 4 26B,
balanced), el 66.7% llega a revisión en MEDIUM+ (15.4% FPR), y
el 33.7% se bloquea en HIGH (6.4% FPR).
Cada cifra, con su corpus y método, está en Measured Results
y en el Space de evaluación.
Documentación
El sitio web de documentación es cisco-ai-defense.github.io/docs/skill-scanner.
Las páginas detalladas se encuentran en docs/.