jonrau1/syntheticsunБессерверная среда автоматизации безопасности AWS, которая собирает данные об угрозах, применяет ML-обнаружение аномалий (RCF, IP Insights) и обогащает телеметрию безопасности в Kibana для автоматического предотвращения, обнаружения и реагирования на угрозы.
SyntheticSun — это фреймворк глубинной безопасности, автоматизации и мониторинга, который использует аналитику угроз, машинное обучение, управляемые сервисы безопасности AWS и бессерверные технологии для непрерывного предотвращения, обнаружения и реагирования на угрозы.
Ты спишь в битом стекле
С отражениями себя,
Но чувствуешь ли ты себя живым?
Да, позволь спросить тебя,
Чувствуешь ли ты себя живым?
- Norma Jean, 2016
SyntheticSun построен на основе использования Malware Information Sharing Platform (MISP) и Anomali's LIMO — сообщества платформ обмена угрозами (TIP), предоставляющих различные типы индикаторов компрометации (IoC). Нормализованная и дедуплицированная аналитика угроз проверяется в почти реальном времени для быстрого выявления известных угроз в различных типах сетевого трафика. Для повышения динамизма выявления потенциальных угроз развертываются модели IP Insights, позволяющие находить аномалии (и потенциальные угрозы в них) между парами IP-адресов и сущностей (например, ID основных субъектов IAM, user-agent и т.д.). Также используются нативные детекторы RCF в Elasticsearch для обнаружения аномалий в телеметрии безопасности в почти реальном времени по мере ее поступления в Kibana. Чтобы демократизировать использование и тонкую настройку моделей ML в командах безопасности, предоставляются утилиты для обучения моделей IP Insights в качестве дополнения к основному решению.
Для оркестрации и автоматизации, а также для извлечения, преобразования и загрузки (ETL) телеметрии безопасности в Kibana используются различные бессерверные технологии AWS, такие как AWS Lambda, Amazon DynamoDB и AWS CodeBuild. Эти бессерверные технологии применяются из-за их масштабируемости, простоты использования и относительно низкой стоимости по сравнению с тяжелыми решениями MapReduce или Glue ETL. Большая часть решения развертывается через CloudFormation со вспомогательными скриптами на Python и shell, предоставленными на всех этапах, чтобы способствовать внедрению и потенциальному развертыванию в конвейерах непрерывной интеграции.
Чтобы сделать «внутренности» решения максимально легкими, основные модули Python, такие как boto3, requests, json, ipaddress, socket и re, выполняют большую часть извлечения, преобразования и загрузки (ETL) в последующие сервисы. Поскольку вся информация о геолокации предоставляется ip-api.com, она не требует учетной записи или платных тарифов и имеет отличный API, включающий информацию о регулировании в заголовках ответов. Большая часть зависимостей Elasticsearch и Kibana также предоставляется в коде (индексы, маппинги, визуализации и т.д.), чтобы избежать тяжелой ручной настройки.
SyntheticSun разделен на три этапа из-за размера решения и необходимых зависимостей. Вся архитектура и инструкции по установке (а также часто задаваемые вопросы) находятся в рамках соответствующего этапа. Дополнительные модули (называемые Приложениями) также предоставляются для расширения функциональности и имеют свою архитектуру и инструкции по установке.
SyntheticSun, как и любое найденное на GitHub, является концептуальным решением, поэтому я не стал прилагать дополнительные усилия для абсолютного укрепления безопасности в первом релизе. Если вы читаете это в момент, когда я еще не внес необходимые изменения, учтите следующее перед развертыванием решения в производственной среде (или любой среде с повышенными требованиями к безопасности). Я добавлю эти пункты в дорожную карту и обновлю по мере необходимости.
SyntheticSun — это простой способ начать использовать киберразведку угроз и машинное обучение для защиты периметра в облаке AWS без необходимости инвестировать в одно или несколько коммерческих средств или нанимать специалиста по данным для вашей команды безопасности (хотя в идеале вы должны сделать последнее). Это решение после начальной настройки полностью автоматизировано, что позволяет выявлять угрозы и реагировать на них на машинной скорости. Наконец, решение предоставляет базовые визуализации для вашей команды реагирования на инциденты, такие как разрешенные входящие или исходящие соединения или DNS-запросы к IP-адресам или доменам, признанным вредоносными. Основная часть решения опирается на очень легкие конвейеры автоматизации и обработки данных, которые теоретически можно повторно использовать для других целей, где требуется многоэтапная нормализация и обогащение или запланированные быстрые пакетные задания.
