theHarvester

Informazioni

theHarvester è uno strumento semplice da usare ma potente, progettato per essere utilizzato durante la fase di ricognizione di un assessment red team o di un penetration test. Esegue la raccolta di intelligence da fonti aperte (OSINT) per aiutare a determinare il panorama delle minacce esterne di un dominio. Lo strumento raccoglie nomi, email, IP, sottodomini e URL utilizzando diverse risorse pubbliche, tra cui:

Versioni dei pacchetti

Installazione e dipendenze

• Python 3.12 o superiore.
• https://github.com/laramies/theHarvester/wiki/Installation

Installa uv:

curl -LsSf https://astral.sh/uv/install.sh | sh

Clona il repository:

git clone https://github.com/laramies/theHarvester
cd theHarvester

Installa le dipendenze e crea un ambiente virtuale:

uv sync

Esegui theHarvester:

uv run theHarvester

Sviluppo

Per installare le dipendenze di sviluppo:

uv sync --all-groups

Per eseguire i test:

uv run pytest

Per eseguire linting e formattazione:

uv run ruff check

uv run ruff format

Per proteggere le route opzionali dell'API REST /additional/*, imposta THEHARVESTER_API_KEY e passa lo stesso valore nell'header X-API-Key. Quelle route restituiscono 503 quando la chiave non è configurata.

Moduli passivi

• baidu: Motore di ricerca Baidu (https://www.baidu.com)

• bevigil: CloudSEK BeVigil scansiona applicazioni mobili per asset OSINT (https://bevigil.com/osint-api)

• brave: Motore di ricerca Brave – ora utilizza l'API ufficiale Brave Search (https://api-dashboard.search.brave.com)

• bufferoverun: Ricerca veloce di nomi di dominio per certificati TLS nello spazio IPv4 (https://tls.bufferover.run)

• builtwith: Scopri con cosa sono costruiti i siti web (https://builtwith.com)

• censys: Utilizza ricerche di certificati per enumerare sottodomini e raccogliere email (https://censys.io)

• certspotter: Cert Spotter monitora i log di Certificate Transparency (https://sslmate.com/certspotter)

• criminalip: Motore di ricerca specializzato in Cyber Threat Intelligence (CTI) (https://www.criminalip.io)

• crtsh: Ricerca certificati Comodo (https://crt.sh)

• dehashed: Porta la sicurezza dei tuoi dati al livello successivo (https://dehashed.com)

• dnsdumpster: Strumento di ricerca dei domini in grado di scoprire host correlati a un dominio (https://dnsdumpster.com)

• duckduckgo: Motore di ricerca DuckDuckGo (https://duckduckgo.com)

• dymo: Dymo API data verifier – conferma domini, mostra suggerimenti di errori di digitazione e segnali MX/frode (https://dymo.tpeoficial.com)

• fofa: Motore di ricerca FOFA (https://en.fofa.info)

• fullhunt: Piattaforma di sicurezza della superficie d'attacco di nuova generazione (https://fullhunt.io)

Moduli attivi

• DNS brute force: enumerazione tramite dizionario brute force
• Screenshot: Cattura screenshot dei sottodomini trovati

Moduli che richiedono una chiave API

La documentazione per configurare le chiavi API si trova su: https://github.com/laramies/theHarvester/wiki/Installation#api-keys

• bevigil - 50 query gratuite/mese. 1k query/mese $50
• brave - piano gratuito disponibile. Piani Pro per limiti superiori
• bufferoverun - 100 query gratuite/mese. 10k/mese $25
• builtwith - 50 query gratuite una tantum. $2950/anno
• censys - 500 crediti $100
• criminalip - 100 query gratuite/mese. 700k/mese $59
• dehashed - 500 crediti $15, 5k crediti $150
• dnsdumpster - 50 query gratuite/giorno, $49
• dymo - livello gratuito disponibile, piani a pagamento per limiti superiori
• fofa - crediti query 10.000/mese. 100k risultati/mese $25
• fullhunt - 50 query gratuite. 200 query $29/mese, 500 query $59
• github-code
• haveibeenpwned - 10 ricerche email/min $4.50, 50 ricerche email/min $22
• hunter - 50 crediti gratuiti/mese. 12k crediti/anno $34
• hunterhow - 10k risultati API gratuiti ogni 30 giorni. 50k risultati API ogni 30 giorni $10
• intelx - account gratuito molto limitato. Account Business $2900
• leakix - 25 pagine di risultati gratuite, 3000 richieste API/mese. Bounty Hunter $29
• leaklookup - 20 crediti $10, 50 crediti $20, 140 crediti $50, 300 crediti $100
• mojeek - 5000 crediti gratuiti $6.50, $1.30 CPM (Personale), $2.60 CPM (Startup), $3.90 CPM (Business)
• netlas - 50 richieste gratuite/giorno. 1k richieste $49, 10k richieste $249
• onyphe - 10M risultati/mese $587
• pentesttools - 5 asset netsec $95/mese, 5 asset webnetsec $140/mese
• projecdiscovery - richiede un'email lavorativa. Scansioni mensili gratuite di discovery e vulnerabilità sul dominio dell'email di registrazione, enterprise $
• rocketreach - 100 ricerche email/mese $48, 250 ricerche email/mese $108
• securityscorecard - richiede un'email lavorativa
• securityTrails - 50 query gratuite/mese. 20k query/mese $500
• sherlockeye - Intermedio $46/mese, Avanzato $120/mese. Enterprise disponibile.
• shodan - Freelancer $69/mese, Small Business $359/mese
• tomba - 25 ricerche gratuite/mese. 1k ricerche/mese $39, 5k ricerche/mese $89
• venacus - 1 ricerca gratuita/giorno. 10 ricerche/giorno $12, 30 ricerche/giorno $36
• virustotal - 500 ricerche gratuite/giorno, 15.5k ricerche/mese. Account Business richiedono un'email lavorativa
• whoisxml - 2k query $50, 5k query $105
• windvane - 100 query gratuite
• zoomeye - 5 risultati gratuiti/giorno. 30 risultati/giorno $190/anno

Commenti, bug e richieste

• Christian Martorella @laramies [email protected]
• Matthew Brown @NotoriousRebel1
• Jay "L1ghtn1ng" Townsend @jay_townsend1

Principali contributori

• Matthew Brown @NotoriousRebel1
• Jay "L1ghtn1ng" Townsend @jay_townsend1
• Lee Baird @discoverscripts

Ringraziamenti

• John Matherly - Progetto Shodan
• Ahmed Aboul Ela - dizionari dei nomi dei sottodomini (grande e piccolo)