theHarvester

Sobre

o theHarvester é uma ferramenta simples de usar, porém poderosa, projetada para ser usada durante a fase de reconhecimento de uma avaliação de equipe vermelha ou teste de penetração. Ela realiza coleta de inteligência de fontes abertas (OSINT) para ajudar a determinar a paisagem de ameaças externas de um domínio. A ferramenta coleta nomes, e-mails, IPs, subdomínios e URLs utilizando vários recursos públicos que incluem:

Versões do pacote

Instalação e dependências

• Python 3.12 ou superior.
• https://github.com/laramies/theHarvester/wiki/Installation

Instale o uv:

curl -LsSf https://astral.sh/uv/install.sh | sh

Clone o repositório:

git clone https://github.com/laramies/theHarvester
cd theHarvester

Instale as dependências e crie um ambiente virtual:

uv sync

Execute o theHarvester:

uv run theHarvester

Desenvolvimento

Para instalar dependências de desenvolvimento:

uv sync --all-groups

Para executar testes:

uv run pytest

Para executar linting e formatação:

uv run ruff check

uv run ruff format

Para proteger as rotas opcionais da API REST /additional/*, defina THEHARVESTER_API_KEY e passe o mesmo valor no cabeçalho X-API-Key. Essas rotas retornam 503 quando a chave não está configurada.

Módulos passivos

• baidu: Motor de busca Baidu (https://www.baidu.com)

• bevigil: CloudSEK BeVigil escaneia aplicativos móveis em busca de ativos OSINT (https://bevigil.com/osint-api)

• brave: Motor de busca Brave – agora usa a API oficial Brave Search (https://api-dashboard.search.brave.com)

• bufferoverun: Pesquisas rápidas de nomes de domínio para certificados TLS no espaço IPv4 (https://tls.bufferover.run)

• builtwith: Descubra com quais tecnologias os sites são construídos (https://builtwith.com)

• censys: Usa pesquisas de certificados para enumerar subdomínios e coletar e-mails (https://censys.io)

• certspotter: Cert Spotter monitora logs de transparência de certificados (https://sslmate.com/certspotter)

• criminalip: Motor de busca especializado em Inteligência de Ameaças Cibernéticas (CTI) (https://www.criminalip.io)

• crtsh: Pesquisa de certificados Comodo (https://crt.sh)

• dehashed: Leve sua segurança de dados para o próximo nível (https://dehashed.com)

• dnsdumpster: Ferramenta de pesquisa de domínios que pode descobrir hosts relacionados a um domínio (https://dnsdumpster.com)

• duckduckgo: Motor de busca DuckDuckGo (https://duckduckgo.com)

• dymo: Verificador de dados da API Dymo – confirma domínios, exibe sugestões de typos e sinais de MX/fraude (https://dymo.tpeoficial.com)

• fofa: Motor de busca FOFA (https://en.fofa.info)

• fullhunt: Plataforma de segurança de superfície de ataque de próxima geração (https://fullhunt.io)

Módulos ativos

• DNS brute force: enumeração por dicionário de força bruta
• Screenshots: Tire capturas de tela dos subdomínios encontrados

Módulos que requerem chave de API

Documentação para configurar chaves de API pode ser encontrada em - https://github.com/laramies/theHarvester/wiki/Installation#api-keys

• bevigil - 50 consultas gratuitas/mês. 1k consultas/mês $50
• brave - plano gratuito disponível. Planos Pro para limites maiores
• bufferoverun - 100 consultas gratuitas/mês. 10k/mês $25
• builtwith - 50 consultas gratuitas no total. $2950/ano
• censys - 500 créditos $100
• criminalip - 100 consultas gratuitas/mês. 700k/mês $59
• dehashed - 500 créditos $15, 5k créditos $150
• dnsdumpster - 50 consultas gratuitas/dia, $49
• dymo - nível gratuito disponível, planos pagos para limites maiores
• fofa - créditos de consulta 10.000/mês. 100k resultados/mês $25
• fullhunt - 50 consultas gratuitas. 200 consultas $29/mês, 500 consultas $59
• github-code
• haveibeenpwned - 10 pesquisas de e-mail/min $4,50, 50 pesquisas de e-mail/min $22
• hunter - 50 créditos gratuitos/mês. 12k créditos/ano $34
• hunterhow - 10k resultados de API gratuitos a cada 30 dias. 50k resultados de API a cada 30 dias $10
• intelx - conta gratuita é muito limitada. Conta empresarial $2900
• leakix - 25 páginas de resultados gratuitas, 3000 requisições de API/mês. Bounty Hunter $29
• leaklookup - 20 créditos $10, 50 créditos $20, 140 créditos $50, 300 créditos $100
• mojeek - 5000 créditos gratuitos $6,50, $1,30 CPM (Pessoal), $2,60 CPM (Inicial), $3,90 CPM (Empresarial)
• netlas - 50 requisições gratuitas/dia. 1k requisições $49, 10k requisições $249
• onyphe - 10M resultados/mês $587
• pentesttools - 5 ativos netsec $95/mês, 5 ativos webnetsec $140/mês
• projecdiscovery - requer e-mail corporativo. Descoberta mensal gratuita e varreduras de vulnerabilidade no domínio de e-mail de cadastro, empresarial $
• rocketreach - 100 consultas de e-mail/mês $48, 250 consultas de e-mail/mês $108
• securityscorecard - requer um e-mail corporativo
• securityTrails - 50 consultas gratuitas/mês. 20k consultas/mês $500
• sherlockeye - Intermediário $46 mês, Avançado $120 mês. Empresarial disponível.
• shodan - Freelancer $69 mês, Pequena Empresa $359 mês
• tomba - 25 pesquisas gratuitas/mês. 1k pesquisas/mês $39, 5k pesquisas/mês $89
• venacus - 1 pesquisa gratuita/dia. 10 pesquisas/dia $12, 30 pesquisas/dia $36
• virustotal - 500 consultas gratuitas/dia, 15.5k consultas/mês. Contas empresariais requerem e-mail corporativo
• whoisxml - 2k consultas $50, 5k consultas $105
• windvane - 100 consultas gratuitas
• zoomeye - 5 resultados gratuitos/dia. 30 resultados/dia $190/ano

Comentários, bugs e solicitações

• Christian Martorella @laramies [email protected]
• Matthew Brown @NotoriousRebel1
• Jay "L1ghtn1ng" Townsend @jay_townsend1

Principais contribuidores

• Matthew Brown @NotoriousRebel1
• Jay "L1ghtn1ng" Townsend @jay_townsend1
• Lee Baird @discoverscripts

Agradecimentos

• John Matherly - Projeto Shodan
• Ahmed Aboul Ela - dicionários de nomes de subdomínios (grande e pequeno)