URLextractor

Сбор информации и разведка веб-сайтов

Использование: ./extractor http://www.hackthissite.org/

Советы:

• Colorex: раскрашивает вывод pip install colorex и используйте так ./extractor http://www.hackthissite.org/ | colorex -g "INFO" -r "ALERT"
• Tldextract: используется функцией dnsenumeration pip install tldextract

Возможности:

• Информация об IP и хостинге: город, страна (используя FreegeoIP)
• DNS-серверы (используя dig)
• ASN, диапазон сети, имя провайдера (используя RISwhois)
• Проверка балансировщика нагрузки
• Whois для почты злоупотреблений (используя Spamcop)
• Файл PAC (Proxy Auto Configuration)
• Сравнение хешей для различения кода
• robots.txt (рекурсивный поиск скрытых элементов)
• Исходный код (поиск паролей и пользователей)
• Внешние ссылки (фреймы с других сайтов)
• FUZZ каталогов (как Dirbuster и Wfuzz — используя список каталогов Dirbuster)
• API URLvoid — проверяет рейтинг Google Page Rank, Alexa Rank и возможные чёрные списки
• Предоставляет полезные ссылки на другие сайты для корреляции с IP/ASN
• Опция открыть ВСЕ результаты в браузере в конце

Список изменений до версии 0.2.0:

• [Исправление] Изменён GeoIP с freegeoip на ip-api
• [Исправление/Улучшение] Удаление дубликатов из robots.txt
• [Улучшение] Улучшены контакты для злоупотреблений whois (abuse.net)
• [Улучшение] Добавлена коллекция популярных паролей в проверку исходного кода
• [Новая функция] Проверка при первом запуске для установки зависимостей при необходимости
• [Новая функция] Файл журнала
• [Новая функция] Проверка наличия имени хоста в файле журнала
• [Новая функция] Проверка, указано ли имя хоста в чёрном списке доменов Spamaus
• [Новая функция] Быстрая dns-переборка с распространёнными именами серверов

Список изменений до версии 0.1.9:

• Почта злоупотреблений теперь через lynx вместо curl
• Исправлен парсинг имени целевого сервера
• Более подробный вывод HTTP-кодов и обнаружения каталогов
• Исправлен сбор MD5 для IP
• Найденные ссылки теперь показывают уникальные URL из массива
• [Новая функция] Результаты Google
• [Новая функция] Проверка IP через Bing для других хостов/vhosts
• [Новая функция] Открытые порты из Shodan
• [Новая функция] Информация об IP от VirusTotal
• [Новая функция] Информация о Alexa Rank для $TARGET_HOST

Требования:

Протестировано на Kali light mini и OSX 10.11.3 с brew

sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

Файл конфигурации:

CURL_TIMEOUT=15 #timeout в --connect-timeout
CURL_UA=Mozilla #user-agent (оставьте простым)
INTERNAL=NO #YES ИЛИ NO (показывать информацию о внутренней сети)
URLVOID_KEY=ваш_API_ключ #используя API с http://www.urlvoid.com/
FUZZ_LIMIT=10 #сколько строк будет прочитано из файла fuzz
OPEN_TARGET_URLS=NO #открывать найденные URL в конце скрипта
OPEN_EXTERNAL_LINKS=NO #открывать внешние ссылки (фреймы) в конце скрипта
FIRST_TIME=YES #если первый запуск, проверять зависимости

Список задач:

• Загрузить на github :)
• Проверка установленных пакетов
• Интеграция с другими API
• Экспорт в CSV
• Интеграция с CipherScan

Звёзды с течением времени