Облако

Мониторинг облачного ландшафта

Наша миссия в этом проекте — предоставить всегда актуальную и свободно доступную карту облачного ландшафта для каждого крупного поставщика облачных услуг.

Мы решили начать со сбора данных SSL-сертификатов машин AWS EC2 и GCP, учитывая ценность этих данных для исследователей безопасности. Однако в ближайшем будущем мы планируем расширить проект, включив в него больше данных и провайдеров. Ваши отзывы и предложения невероятно ценны для нас, поэтому, пожалуйста, не стесняйтесь обращаться к нам в Twitter или Discord и сообщите, какие области, по вашему мнению, мы должны развивать в первую очередь!

Как данные SSL-сертификатов могут быть вам полезны?

Данные SSL организованы в CSV-файлы со следующими свойствами, собранными для каждого найденного сертификата:

• IP-адрес
• Общее имя (Common Name)
• Организация
• Страна
• Населенный пункт
• Провинция/Штат
• Альтернативное DNS-имя субъекта
• Альтернативный IP-адрес субъекта
• Самоподписанный (логическое значение)

Итак, что можно сделать с этими данными?

Перечисление поддоменов ваших целевых доменов

Ищите доменные имена вашей цели (например, example.com) и находите совпадения в полях Общее имя и Альтернативное имя субъекта собранных сертификатов. Все IP-диапазоны сканируются ежедневно, и набор данных обновляется соответствующим образом, поэтому вы с большой вероятностью найдете эфемерные хосты до того, как они будут удалены.

Перечисление доменов ваших целевых компаний

Ищите название компании вашей цели (например, Example, Inc.), находите совпадения в поле Организация и изучайте связанные поля Общее имя и Альтернативное имя субъекта. Результаты, вероятно, будут включать поддомены знакомых вам доменов, и если вам повезет, вы можете найти новые корневые домены, расширяя область исследования.

Поиск целей для перечисления под-поддоменов

Если сертификат выдан для wildcard (например, *.foo.example.com), велика вероятность, что там есть и другие поддомены, которые можно найти с помощью брутфорса. И вы знаете, насколько эффективной может быть эта техника. Вот несколько словников, которые помогут вам в этом!

💡 Примечание: не забывайте следить за ежедневными обновлениями набора данных, чтобы получать уведомления о появлении новых ресурсов!

Выполнение IP-запросов

Ищите IP-адрес (например, 3.122.37.147), чтобы найти связанные с ним имена хостов, и изучайте поля Общее имя, Альтернативное имя субъекта и Организация, чтобы получить больше информации об этом адресе.

Обнаружение реальных IP-адресов для обхода прокси-сервисов

Когда веб-сайт скрыт за прокси-сервисами безопасности, такими как Cloudflare, Akamai, Incapsula и другими, можно выполнить поиск имени хоста (например, example.com) в наборе данных. Этот поиск может раскрыть реальный IP-адрес, что позволит обойти прокси. Мы обсуждали аналогичную технику в нашем блоге, который можно найти здесь!

Получение свежего набора данных о работающих веб-серверах

Каждый IP-адрес в наборе данных соответствует HTTPS-серверу, работающему на порту 443. Вы можете использовать эти данные для масштабных исследований, не тратя время на их самостоятельный сбор.

Всё, что вы еще можете придумать

Если вы используете эти данные для интересного проекта или исследования, мы будем рады услышать об этом!

Кроме того, ниже вы найдете подробное описание нашего процесса сбора данных и того, как вы можете реализовать ту же технику для сбора информации с ваших собственных IP-диапазонов.

Как это работает

TB; DZ (Слишком много; не увеличивал):

1. Мы запускаем рабочий процесс с двух простых bash-скриптов, которые получают IP-диапазоны:
   • IP-диапазоны AWS фильтруются с помощью JQ-запроса. Мы извлекаем IP-диапазоны машин EC2, фильтруя по .prefixes[] | select(.service=="EC2") | .ip_prefix. Другие сервисы исключены из этого рабочего процесса, так как они не поддерживают пользовательские SSL-сертификаты, что делает их данные нерелевантными для нашего набора.
   • IP-диапазоны GCP извлекаются с помощью другого JQ-запроса: .prefixes[].ipv4Prefix.
2. Затем мы используем mapcidr для разделения IP-диапазонов, полученных на шаге 1, на более мелкие диапазоны, каждый из которых содержит до 100 тыс. хостов (спасибо команде ProjectDiscovery!). Этот шаг пригодится на следующем этапе, когда мы будем запускать параллельное сканирование.
3. На момент написания облачные IP-диапазоны включают более 75 миллионов IP-адресов, поэтому сканировать их все на одной машине было бы непрактично. Здесь вступает в игру наш узел file-splitter. Этот узел перебирает входные данные от mapcidr и запускает отдельные задания для каждого диапазона. При выполнении этого рабочего процесса на нескольких машинах (скажем, 30) они параллельно обрабатывают эти задания, что значительно сокращает общее время выполнения. Эта эффективность позволяет нам запускать рабочий процесс ежедневно, поддерживая данные в актуальном состоянии.
4. Параллельные машины затем запускают экземпляры zgrab2 для сбора SSL-сертификатов. После экспериментов с различными инструментами и техниками, модуль tls от zgrab2 оказался самым быстрым и надежным вариантом. Огромное спасибо команде !

Вклад

Все вклады/идеи/предложения приветствуются! Не стесняйтесь создавать новый тикет через GitHub issues, написать нам в твиттере @trick3st или присоединиться к обсуждению на Discord.

Создавайте собственные рабочие процессы

Мы верим в ценность экспериментов; шаблонные решения редко бывают эффективными. Запишитесь на демонстрацию Trickest, чтобы настроить этот рабочий процесс под ваши задачи, получить доступ ко множеству других рабочих процессов или создать собственные с нуля!