laramies/theharvesterЭлектронные письма, поддомены и имена Harvester - OSINT
theHarvester — это простой в использовании, но мощный инструмент, предназначенный для использования на этапе разведки при оценке безопасности красной команды или пентесте. Он выполняет сбор данных из открытых источников (OSINT), чтобы помочь определить внешний ландшафт угроз домена. Инструмент собирает имена, email-адреса, IP-адреса, поддомены и URL-адреса, используя множество публичных ресурсов, включая:
Установите uv:
curl -LsSf https://astral.sh/uv/install.sh | sh
Клонируйте репозиторий:
git clone https://github.com/laramies/theHarvester
cd theHarvester
Установите зависимости и создайте виртуальное окружение:
uv sync
Запустите theHarvester:
uv run theHarvester
Для установки зависимостей разработки:
uv sync --all-groups
Для запуска тестов:
uv run pytest
Для запуска линтинга и форматирования:
uv run ruff check
uv run ruff format
Чтобы защитить опциональные маршруты REST API /additional/*, установите THEHARVESTER_API_KEY и передавайте то же значение в заголовке X-API-Key. Эти маршруты возвращают 503, если ключ не настроен.
baidu: поисковая система Baidu (https://www.baidu.com)
bevigil: CloudSEK BeVigil сканирует мобильные приложения на предмет активов OSINT (https://bevigil.com/osint-api)
brave: поисковая система Brave — теперь использует официальный Brave Search API (https://api-dashboard.search.brave.com)
bufferoverun: быстрый поиск доменных имён по TLS-сертификатам в пространстве IPv4 (https://tls.bufferover.run)
builtwith: узнайте, на чём сделаны веб-сайты (https://builtwith.com)
censys: использует поиск по сертификатам для перечисления поддоменов и сбора email-адресов (https://censys.io)
certspotter: Cert Spotter отслеживает журналы Certificate Transparency (https://sslmate.com/certspotter)
criminalip: специализированная поисковая система CTI (киберразведки) (https://www.criminalip.io)
crtsh: поиск сертификатов Comodo (https://crt.sh)
dehashed: выведите безопасность своих данных на новый уровень (https://dehashed.com)
dnsdumpster: инструмент исследования доменов, который может обнаружить хосты, связанные с доменом (https://dnsdumpster.com)
duckduckgo: поисковая система DuckDuckGo (https://duckduckgo.com)
dymo: верификатор данных Dymo API — подтверждает домены, предлагает исправления опечаток и сигналы MX/мошенничества (https://dymo.tpeoficial.com)
fofa: поисковая система FOFA (https://en.fofa.info)
fullhunt: платформа безопасности нового поколения для анализа поверхности атак (https://fullhunt.io)
github-code: поиск по коду GitHub (https://www.github.com)
hackertarget: онлайн-сканеры уязвимостей и сетевая разведка для помощи организациям (https://hackertarget.com)
haveibeenpwned: проверьте, не был ли ваш email скомпрометирован (https://haveibeenpwned.com)
hunter: поисковая система Hunter (https://hunter.io)
hunterhow: поисковые системы для исследователей безопасности (https://hunter.how)
intelx: поисковая система Intelx (https://intelx.io)
leakix: поисковая система LeakIX (https://leakix.net)
leaklookup: поисковая система утечек данных (https://leak-lookup.com)
mojeek: поисковая система Mojeek (https://www.mojeek.com)
netlas: конкурент Shodan или Censys (https://app.netlas.io)
onyphe: поисковая система киберзащиты (https://www.onyphe.io)
otx: открытый обмен угрозами AlienVault (https://otx.alienvault.com)
pentesttools: облачный набор инструментов для тестирования на проникновение, ориентированный на веб-приложения и сети (https://pentest-tools.com)
projecdiscovery: активно собирает и поддерживает данные об активах в интернете для улучшения исследований и анализа изменений DNS (https://chaos.projectdiscovery.io)
rapiddns: инструмент DNS-запросов, упрощающий поиск поддоменов или сайтов с одним IP (https://rapiddns.io)
rocketreach: доступ к проверенным личным/профессиональным email-адресам, номерам телефонов и ссылкам на соцсети в реальном времени (https://rocketreach.co)
securityscorecard: помогает командам TPRM и SOC обнаруживать, приоритизировать и устранять риски поставщиков в масштабе всей экосистемы (https://securityscorecard.com)
securityTrails: поисковая система Security Trails, крупнейшее хранилище исторических DNS-данных (https://securitytrails.com)
sherlockeye: обратный поиск и OSINT на основе ИИ (https://sherlockeye.io)
-s, --shodan: поисковая система Shodan будет искать порты и баннеры на обнаруженных хостах (https://shodan.io)
subdomaincenter: инструмент поиска поддоменов для заданного домена (https://www.subdomain.center)
subdomainfinderc99: инструмент для поиска поддоменов заданного домена (https://subdomainfinder.c99.nl)
thc: бесплатный сервис перечисления поддоменов без необходимости API-ключа (https://ip.thc.org)
threatminer: интеллектуальный анализ данных для киберразведки (https://www.threatminer.org)
tomba: поисковая система Tomba (https://tomba.io)
urlscan: песочница для веба — сканер URL и веб-сайтов (https://urlscan.io)
venacus: поисковая система Venacus (https://venacus.com)
virustotal: поиск по доменам (https://www.virustotal.com)
whoisxml: поиск поддоменов (https://subdomains.whoisxmlapi.com/api/pricing)
yahoo: поисковая система Yahoo (https://www.yahoo.com)
windvane: поисковая система Windvane (https://windvane.lichoin.com)
zoomeye: китайская версия Shodan (https://www.zoomeye.org)
Документация по настройке API-ключей находится по адресу — https://github.com/laramies/theHarvester/wiki/Installation#api-keys