Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
dcrawl — Простой, но умный многопоточный веб-сканер для случайного сбора огромных списков уникальных доменных имен. | Kitploit
Инструменты/GitHubGitHub/kgretzky/dcrawl
OSINT (Разведка открытых источников)РазведкаСбор информацииКраулер
GitHubkgretzky/dcrawl

dcrawl

Простой, но умный многопоточный веб-сканер для случайного сбора огромных списков уникальных доменных имен.

Репозиторий
546951649 лет назадПроверено Kitploit
Поделиться

dcrawl

dcrawl — это простой, но умный многопоточный веб-краулер для случайного сбора огромных списков уникальных доменных имен.

baby-gopher

demo

Как это работает?

dcrawl принимает один URL сайта в качестве входных данных и обнаруживает все ссылки <a href=...> в теле сайта. Каждая найденная ссылка помещается в очередь. Последовательно каждая ссылка из очереди обрабатывается таким же образом, разветвляясь на большее количество URL, найденных в ссылках на теле каждого сайта.

Как работает умный краулинг:

  • Разветвление только на предопределенное количество ссылок, найденных на одном хосте.
  • Максимальное количество разрешенных различных имен хостов для одного домена (избегает ада краулинга поддоменов, например blogspot.com).
  • Может быть перезапущен с тем же списком доменов — последние сохраненные домены добавляются в очередь URL.
  • Сканирует только сайты, возвращающие Content-Type text/html в ответе HEAD.
  • Извлекает тело сайта размером не более 1 МБ.
  • Не сохраняет недоступные домены.

Как запустить?

go build dcrawl.go
./dcrawl -url http://wired.com -out ~/domain_lists/domains1.txt -t 8

Использование

     ___                          __
  __| _/________________ __  _  _|  |
 / __ |/ ___\_  __ \__  \\ \/ \/ /  |
/ /_/ \  \___|  | \// __ \\     /|  |__
\____ |\___  >__|  (____  /\/\_/ |____/
     \/    \/           \/       v.1.0

usage: dcrawl -url URL -out OUTPUT_FILE -t THREADS

  -ms int
        maximum different subdomains for one domain (def. 10) (default 10)
  -mu int
        maximum number of links to spider per hostname (def. 5) (default 5)
  -out string
        output file to save hostnames to
  -t int
        number of concurrent threads (def. 8) (default 8)
  -url string
        URL to start scraping from
  -v bool
        verbose (default false)

Лицензия

dcrawl был создан Kuba Gretzky из breakdev.org и выпущен под лицензией MIT.

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Полный набор инструментов OSINT: граф расследования, оценка достоверности, семейства псевдонимов, карта, временная шкала и отчёты. 49 модулей, более 400 сайтов, API-ключи не требуются.

    732
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Приложение GhostLock с запуском в один клик (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    Платформа автономного тестирования на проникновение на основе мультиагентной LLM с агентами-планировщиками и агентами-исполнителями, графами активов и исследования, записью MITM-трафика и повторной проверкой уязвимостей.

    405
  • 4

    redforge

    cybersecurity91/redforge

    Браузерный инструментарий для red team с 102 офлайн-инструментами для разведки, генерации полезной нагрузки, атак на учётные данные, криптографии, кодирования и отчётности по проектам.

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Система действий для кибербезопасности на базе ИИ — где намерение превращается в управляемое исполнение, доказательства становятся оперативной памятью, а каждая операция улучшает следующую.

    261
  • 6

    antifox

    antifox-ai/antifox

    Мультиагентная платформа автономного тестирования на проникновение на базе ИИ, которая выполняет разведку, обнаружение поверхности атаки, валидацию эксплуатации и подготовку отчётов с подтверждающими доказательствами.

    259

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →