skill-scanner v2.0.14
Scanner de Segurança para Habilidades de Agentes
Skill Scanner
Um scanner de segurança de melhor esforço para AI Agent Skills que detecta injeção de prompt, exfiltração de dados e padrões de código malicioso. Ele combina detecção baseada em padrões (YAML + YARA-X), análise AST e de fluxo de dados, um LLM-como-juiz opcional e uma camada de decisão CEL limitada sobre fatos tipados de detectores.
Importante: Este scanner fornece detecção de melhor esforço, não cobertura abrangente ou completa. Uma varredura que não retorna achados não garante que uma skill esteja livre de todas as ameaças. Consulte Escopo e Limitações abaixo.
Suporta os formatos OpenAI Codex Skills e Cursor Agent Skills seguindo a especificação Agent Skills. Com --lenient, também varre formatos não padronizados, como Claude Code .claude/commands/*.md e repositórios de skills em markdown simples.
Destaques
- Detecção Multi-Engine - Análise estática, fluxo de dados comportamental, análise semântica por LLM e varredura baseada em nuvem para cobertura em camadas de melhor esforço
- Decisões CEL Tipadas - O scanner principal usa o runtime oficial
cel-gov0.32.0 para correlacionar fatos limitados após a detecção determinística e antes da análise opcional por LLM - Presets Medidos - Presets
low-noiseequiete limites de LLM, com recall, taxa de falsos positivos e F1 publicados para cada um (Configurações Recomendadas) - Pronto para CI/CD - Saída SARIF para GitHub Code Scanning, workflow reutilizável do GitHub Actions, códigos de saída para falhas de build
- Hook de Pre-commit - Integração com o framework padrão de pre-commit para varrer skills antes de cada commit
- Extensível - Arquitetura de plugins para analisadores personalizados
Entre no Cisco AI Discord para discutir, compartilhar feedback ou se conectar com a equipe.
Escopo e Limitações
O Skill Scanner é uma ferramenta de detecção. Ele identifica padrões de risco conhecidos e prováveis, mas não certifica segurança.
Limitações principais:
- Sem achados ≠ sem risco. Uma varredura que retorna "Sem achados" indica que nenhum padrão de ameaça conhecido foi detectado. Isso não garante que uma skill seja segura, benigna ou livre de vulnerabilidades.
- A cobertura é inerentemente incompleta. O scanner combina detecção baseada em assinaturas, análise semântica por LLM, análise de fluxo de dados comportamental, serviços opcionais em nuvem e pacotes de regras configuráveis. Embora essa abordagem melhore a cobertura, nenhuma ferramenta automatizada consegue detectar todas as técnicas, especialmente ataques novos ou zero-day.
- Falsos positivos e falsos negativos podem ocorrer. Presets, o juiz LLM e supressões com escopo reduzem o ruído, mas nenhuma configuração elimina todas as classificações incorretas. Escolha uma configuração medida em Configurações Recomendadas e ajuste a política de varredura à sua tolerância a riscos.
- A revisão humana continua essencial. A varredura automatizada é um componente de uma estratégia de defesa em profundidade. Implantações de alto risco ou em produção devem combinar os resultados do scanner com revisão manual de código e/ou modelagem de ameaças.
Resultados medidos
Em skills mantidas separadas (divisão de teste congelada do MaliciousSkillBench, 839 maliciosas e 545 inofensivas):
- Somente regras capturam 7,7% das skills maliciosas em HIGH, com taxa de falsos positivos de 4,0%.
- Com o juiz LLM (Gemma 4 26B,
balanced), 66,7% chegam à revisão em MEDIUM+ (15,4% FPR), e 33,7% são bloqueadas em HIGH (6,4% FPR).
Cada número, com seu corpus e método, está em Resultados Medidos e no Space de avaliação.
Documentação
O site de documentação é cisco-ai-defense.github.io/docs/skill-scanner.
Páginas aprofundadas ficam em docs/.