NetScout

NetScout — это OSINT-инструмент, который находит домены, поддомены, директории, эндпоинты и файлы для заданного начального URL. Он состоит из следующих компонентов:

• Клиент BinaryEdge: получает поддомены
• DNS: пытается выполнить передачу DNS-зоны для извлечения поддоменов
• Краулер: получает URL и директории из начального URL
• Клиент SERP: получает ссылки на файлы. Использует методы Google dorking для поиска определённых типов файлов на основе расширений, найденных краулером
• Сканирование сокращённых URL: этот модуль использует списки сокращённых URL проекта URLTeam. Он загружает последний загруженный список и проверяет каждую запись на предмет хоста, совпадающего с хостом начального URL. Эти текстовые файлы могут быть очень большими (>500 МБ), и такое сканирование занимает несколько минут. Этот модуль был во многом вдохновлён urlhunter.

Настройка

Как установить

• Установка через Go: - Выполните go install github.com/caio-ishikawa/netscout@latest
• Сборка из исходников: - Клонируйте репозиторий - Выполните make install

Внешние API

NetScout использует два внешних API: BinaryEdge и SerpAPI. BinaryEdge используется для запроса исторических данных о поддоменах, зарегистрированных для начального URL, а SERP API — для сбора результатов поиска Google по определённым типам файлов для начального URL.

Настройка API-ключей

NetScout ожидает, что API-ключи будут заданы как переменные окружения:

• export BINARYEDGE_API_KEY="<key>"
• export SERP_API_KEY="<key>"

Примеры

Использование:

=======================================================================
 ███▄    █ ▓█████▄▄▄█████▓  ██████  ▄████▄   ▒█████   █    ██ ▄▄▄█████▓
 ██ ▀█   █ ▓█   ▀▓  ██▒ ▓▒▒██    ▒ ▒██▀ ▀█  ▒██▒  ██▒ ██  ▓██▒▓  ██▒ ▓▒
▓██  ▀█ ██▒▒███  ▒ ▓██░ ▒░░ ▓██▄   ▒▓█    ▄ ▒██░  ██▒▓██  ▒██░▒ ▓██░ ▒░
▓██▒  ▐▌██▒▒▓█  ▄░ ▓██▓ ░   ▒   ██▒▒▓▓▄ ▄██▒▒██   ██░▓▓█  ░██░░ ▓██▓ ░ 
▒██░   ▓██░░▒████▒ ▒██▒ ░ ▒██████▒▒▒ ▓███▀ ░░ ████▓▒░▒▒█████▓   ▒██▒ ░ 
░ ▒░   ▒ ▒ ░░ ▒░ ░ ▒ ░░   ▒ ▒▓▒ ▒ ░░ ░▒ ▒  ░░ ▒░▒░▒░ ░▒▓▒ ▒ ▒   ▒ ░░   
░ ░░   ░ ▒░ ░ ░  ░   ░    ░ ░▒  ░ ░  ░  ▒     ░ ▒ ▒░ ░░▒░ ░ ░     ░    
   ░   ░ ░    ░    ░      ░  ░  ░  ░        ░ ░ ░ ▒   ░░░ ░ ░   ░      
         ░    ░  ░              ░  ░ ░          ░ ░     ░              
=======================================================================
Usage:
  -u string
        A string representing the URL
  -d int
        An integer representing the depth of the crawl
  -t int
        An integer representing the amount of threads to use for the scans (default 5)
  -delay-ms int
        An integer representing the delay between requests in miliseconds
  -lock-host
        A boolean - if set, it will only save URLs with the same host as the seed
  -o string
        A string representing the name of the output file
  -h string
        A comma-separated key-value string representing request headers
  -c string
        A comma-separated key-value string representing the cookies
  -v
        A boolean - if set, it will display all found URLs


  -skip-axfr
        A bool - if set, it will skip the DNS zone transfer attempt
  -skip-binaryedge
        A bool - if set, it will skip BinaryEdge subdomain scan
  -skip-google-dork 
        A bool - if set, it will skip the Google filetype scan
  -headless
        A bool - if set, all requests in the crawler will be made through a headless Chrome browser (requires Google Chrome)
  -deep
        A bool - if set, the shortened URL scan will be performed (can take several minutes)

Задаёт начальный URL, глубину и выходной файл:

netscout -u https://crawler-test -d 2 -o netscout.txt

Пропускает BinaryEdge и Google dork:

netscout -u https://crawler-test.com -d 2 --skip-binaryedge --skip-google-dork -o netscout.txt

Устанавливает количество потоков 5, задержку запросов 1000 мс и заставляет выполнять запросы через браузер Chrome в режиме headless.

netscout -u https://crawler-test.com -d 2 -t 5 --delay-ms 1000 --headless -o netscout.txt

Устанавливает глубину 2 и добавляет значения куки и заголовков

netscout -u https://crawler-test.com --deep -d 2 -t 5 -h "key=test,key_two=test_2" -c "key=test,key_two=test_2"

Включает сканирование сокращённых URL, устанавливает глубину краулера 2 и количество потоков 5

netscout -u https://crawler-test.com --deep -d 2 -t 5

Разработка

Перед отправкой PR, пожалуйста, убедитесь, что проект успешно собирается и все существующие тесты проходят. Подробнее в разделе Тестирование

Спасибо за интерес к этому проекту!

Тестирование

Тесты расположены в том же каталоге, что и тестируемый файл, а для тестов краулера требуется, чтобы DVWA (Damn Vulnerable Web App) работала локально с открытым портом 80. Перед запуском тестов необходимо подготовить тестовые файлы.

Вся необходимая для тестов настройка выполняется в Makefile:

• Чтобы скачать образ DVWA, выполните make test-container-pull
• Чтобы подготовить тестовые файлы, выполните make testfiles-setup
• Чтобы запустить контейнер, выполните make test-container-run
• Чтобы запустить тесты, выполните make test
• Чтобы удалить тестовые файлы, выполните make testfiles-teardown