FProbe

FProbe — быстрый HTTP-пробник

Установка

GO111MODULE=on go get -u github.com/theblackturtle/fprobe

Особенности

• Принимает список доменов/поддоменов и проверяет рабочие http/https серверы.
• Оптимизирует использование ОЗУ и ЦП во время работы.
• Поддерживает отдельные порты для каждого домена.
• Подробный вывод в формате JSON с дополнительными заголовками, такими как Status Code, Content Type, Location.

Использование

Usage of fprobe:
  -c int
        Количество потоков (по умолчанию 50)
  -cidr
        Генерировать IP-адреса из CIDR
  -i string
        Входной файл (по умолчанию stdin) (по умолчанию "-")
  -l    Использовать порты в той же строке (google.com,2087,2086)
  -p value
        Добавить дополнительный пробник (протокол:порт)
  -prefer-https
        Пробовать обычный HTTP только если HTTPS не работает
  -s    Пропустить стандартные пробники (http:80 и https:443)
  -t int
        Таймаут (секунды) (по умолчанию 9)
  -v    Включить подробный вывод

Базовое использование

Ввод через stdin

❯ cat domains.txt | fprobe

Ввод из файла

❯ fprobe -i domains.txt

Количество потоков

❯ cat domains.txt | fprobe -c 200

Использование портов в одной строке

Если нужно указать отдельные порты для каждого домена, используйте флаг -l. Вы можете обработать вывод Nmap/Masscan и переформатировать его для этой функции.

Ввод (domains.txt)

google.com,2087,2086,8880,2082,443,80,2052,2096,2083,8080,8443,2095,2053
yahoo.com,2087,2086,8880,2082,443,80,2052,2096,2083,8080,8443,2095,2053
sport.yahoo.com,2086,443,2096,2053,8080,2082,80,2083,8443,2052,2087,2095,8880

Команда

❯ cat domains.txt | fprobe -l

Таймаут

❯ cat domains.txt | fprobe -t 10

Специальные порты

❯ cat domains.txt | fprobe -p http:8080 -p https:8443

Проверка рабочих URL-адресов

❯ echo 'https://google.com/path1?param=1' | fprobe

https://google.com/path1?param=1

Ввод CIDR

❯ echo '192.168.1.1/24' | fprobe -cidr

Использование встроенного набора портов (по умолчанию включает 80, 443)

• Medium: 8000, 8080, 8443
• Large: 81, 591, 2082, 2087, 2095, 2096, 3000, 8000, 8001, 8008, 8080, 8083, 8443, 8834, 8888
• XLarge: 81, 300, 591, 593, 832, 981, 1010, 1311, 2082, 2087, 2095, 2096, 2480, 3000, 3128, 3333, 4243, 4567, 4711, 4712, 4993, 5000, 5104, 5108, 5800, 6543, 7000, 7396, 7474, 8000, 8001, 8008, 8014, 8042, 8069, 8080, 8081, 8088, 8090, 8091, 8118, 8123, 8172, 8222, 8243, 8280, 8281, 8333, 8443, 8500, 8834, 8880, 8888, 8983, 9000, 9043, 9060, 9080, 9090, 9091, 9200, 9443, 9800, 9981, 12443, 16080, 18091, 18092, 20720, 28017

❯ cat domains.txt | fprobe -p medium/large/xlarge

Пропуск стандартных пробников

Если не нужно проверять HTTP на порту 80 или HTTPS на порту 443, используйте флаг -s.

❯ cat domains.txt | fprobe -s

Подробный вывод

Подробный вывод будет в формате JSON с дополнительными заголовками, такими как Status Code, Content Type, Location.

❯ cat domains.txt | fprobe -v

{"site":"http://google.com","status_code":301,"server":"gws","content_type":"text/html; charset=UTF-8","location":"http://www.google.com/"}
{"site":"https://google.com","status_code":301,"server":"gws","content_type":"text/html; charset=UTF-8","location":"https://www.google.com/"}

Благодарности

Этот инструмент заимствует идею и некоторые строки кода из httprobe от @tomnomnom.