AI Security Newsletter - Ежемесячный дайджест исследований в области безопасности ИИ, инсайтов, отчетов, предстоящих событий, а также инструментов и ресурсов.
Дайджест исследований в области безопасности ИИ, идей, отчетов, предстоящих событий, инструментов и ресурсов. Подписывайтесь на сообщество AISecHub и нашу группу в LinkedIn для дополнительных обновлений. Также ознакомьтесь с нашим проектом Awesome AI Security.
При поддержке InnovGuard.com - Консультирование по технологическим рискам и кибербезопасности - Инновируйте и инвестируйте с уверенностью, действуйте с гарантией.
📌 Обновление таксономии: Режимы сбоев в агентных системах ИИ Microsoft расширяет свою таксономию режимов сбоев агентного ИИ на основе работы red team, предоставляя командам безопасности более понятный способ анализа неправильного использования инструментов, чрезмерной автономии, загрязнения памяти, границ идентичности и пробелов в ручном переопределении в развернутых агентных системах.
📌 Miasma Worm снова атакует Microsoft: Действие Azure Functions и 72 других репозитория отключены после атаки на цепочку поставок, нацеленной на ИИ-агентов кодирования StepSecurity документирует кампанию по атаке на цепочку поставок, направленную на рабочие процессы ИИ-агентов кодирования и репозитории GitHub, с акцентом на защиту от доверия к зависимостям, происхождению действий, путей записи в репозитории и видимых для агента учетных данных в средах CI/CD.
📌 Печальное состояние распределения навыков Исследователи Trail of Bits обошли проверки ClawHub, Cisco skill-scanner и skills.sh с помощью пакетов навыков, использующих усечение, косвенность архива, отравление байт-кодом и фрейминг с инъекцией промптов, показывая, почему публичные маркетплейсы навыков агентов нуждаются в курировании и контроле происхождения, а не только в доверии к сканерам.
📌 Codex CLI RCE: Смягчение инъекции промптов Cymulate разбирает риск инъекции промптов в агентах кодирования командной строки, где непроверенный текст может управлять записью файлов или выполнением инструментов, если изоляция, границы утверждения и ограничения команд не применяются вне модели.
📌 Agentjacking: MCP-инъекция перехватывает ИИ-агентов кодирования Cloud Security Alliance обобщает паттерн «agentjacking» от Sentry к MCP, где телеметрия или содержимое проблем, контролируемые извне, становятся доверенным контекстом для агентов кодирования. Полезная защитная рамка — рассматривать данные наблюдения, отчетов об ошибках и интеграции как непроверенный ввод агента, а не как нейтральные метаданные разработки.
📌 SearchLeak: Как мы превратили M365 Copilot в оружие одношаговой кражи данных Varonis описывает цепочку атак на Microsoft 365 Copilot Enterprise, которая сочетает инъекцию параметра в промпт, поведение рендеринга HTML и злоупотребление путями поиска для утечки конфиденциальных данных M365 через одношаговый рабочий процесс.
📌 AutoJack: Как одна страница может выполнить RCE на хосте, запускающем вашего ИИ-агента Microsoft показывает, как вредоносная веб-страница, просмотренная ИИ-агентом просмотра, может достичь локального сервиса AutoGen Studio и инициировать выполнение процесса на хосте через небезопасное доверие к localhost и обработку действий агента.
📌 Атака на цепочку поставок Mastra npm: 140+ пакетов с бэкдором через тайпсквот easy-day-js StepSecurity сообщает о компрометации экосистемы npm Mastra через тайпсквот зависимость с обфусцированным дроппером postinstall, затрагивающую пакеты агентов, RAG, MCP и рабочих процессов, используемые в стеках приложений ИИ.
📌 Взлом LiteLLM: От пользователя с низкими привилегиями до администратора и RCE Obsidian документирует цепочку повышения привилегий и RCE в LiteLLM, показывая, как доступ с низкими привилегиями к шлюзу ИИ может стать административным контролем над секретами провайдеров, политикой прокси и функциями агента во время выполнения.
📌 Уязвимость Amazon Q: Компрометация через автоматическое выполнение MCP Wiz анализирует проблему расширения VS Code Amazon Q, где доверенная конфигурация MCP в рабочей области из клонированного репозитория может автоматически загружать поведение, контролируемое атакующим, и раскрывать пути выполнения разработчика и облачные учетные данные.
📌 macOS.Gaslight: Rust-бэкдор превращает инъекцию промптов против аналитика, а не песочницы SentinelOne документирует бэкдор на Rust, который внедряет содержимое инъекции промптов для аналитиков и инструментов на базе ИИ, смещая атаку с побега из песочницы на манипуляцию человеком и моделью, просматривающими вредоносное ПО.
📌 Использование компьютера и TOCTOU: То, на что вы нажимаете — не то, что получаете! Johann Rehberger демонстрирует состояние гонки в агенте компьютерного использования, где экран изменяется после того, как модель его увидела, но до того, как произошел клик, превращая безобидное взаимодействие в действие отправки Outlook и делая повторную проверку состояния пикселей или экрана до действия ключевым контролем.
📌 Спектральный подход vibe coding к разработке ПО с помощью ИИ Великобританский NCSC представляет помощь ИИ в кодировании как спектр риска, отделяя низкорисковые прототипы от сгенерированного кода, который затрагивает аутентификацию, авторизацию, конфиденциальные данные, критически важное для безопасности поведение или критическую инфраструктуру.
📌 Инъекция промптов и безопасность среды выполнения агентов: Практическая модель угроз TMLS рассматривает инъекцию промптов как проблему безопасности среды выполнения, отображая атаки через посредничество инструментов, хранилища памяти, исходящие каналы и пробелы в утверждении человеком. Практический вывод — перенести контроли в брокеры возможностей, изолированное выполнение, белые списки и пути аудита вместо того, чтобы рассматривать текст промпта как границу безопасности.
📌 Что произошло после того, как 2000 человек попытались взломать моего ИИ-ассистента Fernando Irarrázaval сообщает о задаче по инъекции промптов в почтового агента OpenClaw с более чем 6000 попытками и ни одной успешной утечкой секрета, одновременно выявляя практические проблемы развертывания: заражение памяти агента, пакетный контекст, стоимость API, блокировку учетной записи и выбор модели.
