AI Security Newsletter - Um resumo mensal de pesquisas em segurança de IA, insights, relatórios, próximos eventos e ferramentas e recursos
Uma coletânea de pesquisas, insights, relatórios, próximos eventos e ferramentas e recursos de segurança de IA. Siga a comunidade AISecHub e nosso grupo no LinkedIn para atualizações adicionais. Confira também nosso projeto, Awesome AI Security.
Patrocinado por InnovGuard.com - Consultoria em Risco Tecnológico e Cibersegurança - Inove e Invista com Confiança, Lidere com Garantia.
📌 Atualizando nossa taxonomia: Modos de falha em sistemas de IA agentivos A Microsoft expande sua taxonomia de modos de falha de IA agentiva a partir do trabalho de red team, dando às equipes de segurança uma maneira mais clara de raciocinar sobre uso indevido de ferramentas, agência excessiva, contaminação de memória, limites de identidade e lacunas de override humano em sistemas de agentes implantados.
📌 Miasma Worm atinge a Microsoft novamente: Azure Functions Action e 72 outros repositórios desativados após ataque à cadeia de suprimentos visando agentes de codificação de IA A StepSecurity documenta uma campanha de cadeia de suprimentos visando workflows de agentes de codificação de IA e repositórios GitHub, com foco defensivo em confiança de dependências, proveniência de ações, caminhos de escrita em repositórios e credenciais visíveis a agentes em ambientes CI/CD.
📌 O estado lamentável da distribuição de habilidades Pesquisadores da Trail of Bits contornaram verificações do ClawHub, Cisco skill-scanner e skills.sh com pacotes de habilidades que usavam truncamento, indireção de arquivo, envenenamento de bytecode e framing de injeção de prompt, mostrando por que mercados públicos de habilidades de agentes precisam de curadoria e controles de proveniência em vez de confiança apenas em scanners.
📌 Codex CLI RCE: Mitigações de injeção de prompt A Cymulate aborda o risco de injeção de prompt em agentes de codificação de linha de comando, onde texto não confiável pode direcionar escritas de arquivo ou execução de ferramentas, a menos que sandboxing, limites de aprovação e restrições de comando sejam aplicados fora do modelo.
📌 Agentjacking: Injeção MCP sequestra agentes de codificação de IA A Cloud Security Alliance resume o padrão de "agentjacking" do Sentry para MCP, onde telemetria ou conteúdo de problemas controlados externamente se tornam contexto confiável para agentes de codificação. O quadro defensivo útil é tratar observabilidade, dados de relatórios de bugs e integrações como entrada de agente não confiável, e não como metadados de desenvolvimento neutros.
📌 SearchLeak: Como Transformamos o M365 Copilot em uma Arma de Exfiltração de Dados em Um Clique A Varonis descreve uma cadeia de ataque do Microsoft 365 Copilot Enterprise que combina injeção de parâmetro em prompt, comportamento de renderização HTML e abuso de caminho de busca para vazar dados sensíveis do M365 através de um workflow de um único clique.
📌 AutoJack: Como uma única página pode causar RCE no host que executa seu agente de IA A Microsoft mostra como uma página web maliciosa visualizada por um agente de navegação de IA pode alcançar um serviço local do AutoGen Studio e desencadear execução de processo no host através de confiança insegura em localhost e manipulação de ações do agente.
📌 Ataque à cadeia de suprimentos do Mastra npm: Mais de 140 pacotes backdoorados via typosquat do easy-day-js A StepSecurity relata um comprometimento do ecossistema npm do Mastra através de uma dependência typosquatted com um dropper pós-instalação ofuscado, afetando pacotes de agente, RAG, MCP e workflow usados em pilhas de aplicações de IA.
📌 Quebrando o LiteLLM: De Usuário com Poucos Privilégios a Admin e RCE A Obsidian documenta um caminho encadeado de escalada de privilégios e RCE no LiteLLM, mostrando como o acesso com poucos privilégios a um gateway de IA pode se tornar controle administrativo sobre segredos de provedores, políticas de proxy e funções de agentes em tempo de execução.
📌 Vulnerabilidade no Amazon Q: Comprometimento via Execução Automática de MCP A Wiz analisa um problema na extensão Amazon Q para VS Code onde a configuração MCP confiável no espaço de trabalho em um repositório clonado podia carregar automaticamente comportamento controlado por atacantes e expor caminhos de execução do desenvolvedor e credenciais na nuvem.
📌 macOS.Gaslight: Backdoor em Rust transforma injeção de prompt contra o analista, não contra o sandbox A SentinelOne documenta um backdoor em Rust que planta conteúdo de injeção de prompt para analistas e ferramentas assistidas por IA, deslocando o ataque da fuga do sandbox para a manipulação do humano e do modelo que revisa o malware.
📌 Uso de Computador e TOCTOU: O que você clica não é o que você obtém! Johann Rehberger demonstra uma condição de corrida em um agente de uso de computador onde a tela muda após o modelo observá-la, mas antes do clique acontecer, transformando uma interação aparentemente benigna em uma ação de envio no Outlook e tornando a revalidação de pixel ou estado pré-ação um controle central.
📌 A abordagem do espectro de codificação vibe para desenvolvimento de software assistido por IA O NCSC do Reino Unido enquadra a codificação assistida por IA como um espectro de risco, separando protótipos de baixo risco de código gerado que toca em autenticação, autorização, dados sensíveis, comportamento crítico de segurança ou infraestrutura crítica.
📌 Injeção de Prompt e Segurança de Runtime de Agentes: Um Modelo de Ameaça Prático A TMLS enquadra a injeção de prompt como um problema de segurança de runtime, mapeando ataques através de mediação de ferramentas, armazenamentos de memória, canais de saída e lacunas de aprovação humana. A conclusão prática é mover controles para corretores de capacidade, execução em sandbox, listas de permissões e caminhos de auditoria, em vez de tratar o texto do prompt como limite de segurança.
