wtfis

Инструмент пассивного поиска hostname, доменов и IP-адресов для людей, а не роботов

Что это такое?

wtfis — это инструмент командной строки, который собирает информацию о домене, FQDN или IP-адресе с помощью различных OSINT-сервисов. В отличие от других подобных инструментов, он создан специально для восприятия человеком и выдаёт результаты, которые красивы (субъективно) и легко читаются и понимаются.

Инструмент предполагает, что вы используете учётные записи бесплатного тарифа / уровня community, и поэтому совершает как можно меньше API-вызовов, чтобы свести к минимуму превышение квот и ограничений скорости.

Название проекта — игра слов на основе «whois».

Источники данных

Сервис	Используется в поиске	Обязателен	Бесплатный тариф
Virustotal	Все	Нет	Да
AbuseIPDB	IP-адрес	Нет	Да
Greynoise	IP-адрес	Нет	Да
IP2Location	IP-адрес	Нет	Да
IP2Whois	Домен/FQDN	Нет	Да
IPinfo	IP-адрес	Нет	Да (без регистрации)
IPWhois	IP-адрес	Нет	Да (без регистрации)
Shodan	IP-адрес	Нет	Нет
URLhaus	Все	Нет	Да

Virustotal

Основной источник информации. Получает:

• Hostname (FQDN), домен или IP
  • Статистика последнего анализа с детализацией по вендорам
  • Оценка репутации (на основе голосов сообщества VT)
  • Рейтинги популярности (Alexa, Cisco Umbrella и т. д.) (только FQDN и домен)
  • Категории (назначенные разными вендорами)
• Резолвы (только FQDN и домен)
  • Последние n IP-адресов (по умолчанию: 3, макс.: 10)
  • Статистика последнего анализа для каждого из указанных выше IP-адресов
• Whois
  • Только запасной вариант: если нет учётных данных IP2Whois
  • Различные whois-данные о самом домене

AbuseIPDB

AbuseIPDB — краудсорсинговая база данных сообщений о вредоносных IP-адресах. Через её API wtfis показывает:

• Оценка злоупотреблений (0–100)
• Количество жалоб

IP2Location

Альтернативный источник данных о геолокации и ASN для IP-адресов (по умолчанию используется IPWhois). Получает:

• Геолокацию
• ASN и организацию
• Прокси (True или False)

IP2Whois и IP2Location — разные функции одного и того же сервиса, поэтому регистрироваться нужно только один раз. Затем один и тот же API-ключ можно использовать для обоих типов поиска.

IP2Whois

Используется опционально, если предоставлены учётные данные. Получает:

• Whois
  • Различные whois-данные о самом домене

IP2Whois рекомендуется вместо Virustotal для получения whois-данных по ряду причин:

• Формат whois-данных VT менее единообразен
• whois-данные IP2Whois, как правило, качественнее, чем у VT. Кроме того, данные регистранта у VT, судя по всему, анонимизированы.
• Можно сэкономить один API-вызов VT, передав эту задачу IP2Whois.

IPinfo

Ещё один альтернативный источник данных о геолокации и ASN для IP-адресов. Получает:

• Геолокацию
• ASN и организацию
• Hostname
• Anycast (true или false)

IPWhois

Источник данных о геолокации и ASN для IP-адресов по умолчанию. Получает:

• Геолокацию
• ASN, организацию и ISP
• Домен

IPWhois не следует путать с IP2Whois, который предоставляет whois-данные о домене.

Greynoise

Используя community API Greynoise, wtfis показывает, входит ли IP в один из наборов данных Greynoise:

• Noise: IP регулярно замечен в сканировании Интернета
• RIOT: IP принадлежит распространённому бизнес-приложению (например, Microsoft O365, Google Workspace, Slack)

Подробнее о наборах данных здесь.

Кроме того, API также возвращает классификацию IP от Greynoise (если доступна). Возможные значения: benign, malicious и unknown.

Shodan

Получает данные из эндпоинта /shodan/host/{ip} (см. документацию). Для каждого IP получает:

• Список открытых портов и сервисов
• Операционную систему (если доступна)
• Теги (назначенные Shodan)

URLhaus

URLhaus — краудсорсинговая база данных сообщений о вредоносных URL. Эта функция обогащения позволяет понять, используется или использовался ли запрошенный hostname или IP для распространения вредоносного ПО через HTTP или HTTPS. Предоставляемые данные включают:

• Число вредоносных URL, находящихся в данный момент онлайн, и их общее количество
• Находится ли hostname или IP в публичных блок-списках DNSBL и SURBL
• Все теги, присвоенные URL за всю его историю в базе данных URLhaus

Установка

$ pip install wtfis

Для установки через conda (из conda-forge) см. wtfis-feedstock.

Для установки через brew:

brew install wtfis

Настройка

wtfis использует следующие переменные окружения (все необязательны):

• VT_API_KEY - API-ключ Virustotal
• ABUSEIPDB_API_KEY - API-ключ AbuseIPDB
• IP2LOCATION_API_KEY - API-ключ IP2Location
• IP2WHOIS_API_KEY - API-ключ IP2Whois
• GREYNOISE_API_KEY - API-ключ Greynoise
• SHODAN_API_KEY - API-ключ Shodan
• URLHAUS_API_KEY - API-ключ URLhaus
• WTFIS_DEFAULTS - Булевы аргументы по умолчанию
• GEOLOCATION_SERVICE - Сервис геолокации / ASN для использования

Задайте их любым удобным способом.

В качестве альтернативы создайте в домашнем каталоге файл ~/.env.wtfis с указанными выше параметрами. Шаблон см. в .env.wtfis.example. ПРИМЕЧАНИЕ: не забудьте выполнить chmod 400 для этого файла!

Использование

usage: wtfis [-h] [-A] [-s] [-g] [-a] [-u] [-m N] [-n] [-1] [-V] [--geolocation-service {ip2location,ipinfo,ipwhois}] entity

positional arguments:
  entity                Hostname, domain or IP

options:
  -h, --help            show this help message and exit
  -A, --all             Enable all possible enrichments
  -s, --use-shodan      Use Shodan to enrich IPs
  -g, --use-greynoise   Enable Greynoise for IPs
  -a, --use-abuseipdb   Enable AbuseIPDB for IPs
  -u, --use-urlhaus     Enable URLhaus for IPs and domains
  -m N, --max-resolutions N
                        Maximum number of resolutions to show (default: 3)
  -n, --no-color        Show output without colors
  -1, --one-column      Display results in one column
  -V, --version         Print version number
  --geolocation-service {ip2location,ipinfo,ipwhois}
                        Geolocation service to use (default: ipwhois)

Проще говоря:

$ wtfis FQDN_OR_DOMAIN_OR_IP