theHarvester

À propos

theHarvester est un outil simple à utiliser mais puissant, conçu pour être utilisé lors de la phase de reconnaissance d'une évaluation par équipe rouge ou d'un test de pénétration. Il effectue une collecte de renseignements de sources ouvertes (OSINT) pour aider à déterminer le paysage de menaces externes d'un domaine. L'outil recueille des noms, des emails, des adresses IP, des sous-domaines et des URL en utilisant plusieurs ressources publiques, notamment :

Versions du paquet

Installation et dépendances

• Python 3.12 ou supérieur.
• https://github.com/laramies/theHarvester/wiki/Installation

Installer uv :

curl -LsSf https://astral.sh/uv/install.sh | sh

Cloner le dépôt :

git clone https://github.com/laramies/theHarvester
cd theHarvester

Installer les dépendances et créer un environnement virtuel :

uv sync

Exécuter theHarvester :

uv run theHarvester

Développement

Pour installer les dépendances de développement :

uv sync --all-groups

Pour exécuter les tests :

uv run pytest

Pour exécuter le linting et le formatage :

uv run ruff check

uv run ruff format

Pour protéger les routes API REST optionnelles /additional/*, définissez THEHARVESTER_API_KEY et transmettez la même valeur dans l'en-tête X-API-Key. Ces routes renvoient 503 lorsque la clé n'est pas configurée.

Modules passifs

• baidu : Moteur de recherche Baidu (https://www.baidu.com)

• bevigil : CloudSEK BeVigil analyse les applications mobiles pour les actifs OSINT (https://bevigil.com/osint-api)

• brave : Moteur de recherche Brave - utilise désormais l'API officielle Brave Search (https://api-dashboard.search.brave.com)

• bufferoverun : Recherches rapides de noms de domaine pour les certificats TLS dans l'espace IPv4 (https://tls.bufferover.run)

• builtwith : Découvrez avec quoi les sites Web sont construits (https://builtwith.com)

• censys : Utilise les recherches de certificats pour énumérer les sous-domaines et collecter des emails (https://censys.io)

• certspotter : Cert Spotter surveille les journaux de transparence des certificats (https://sslmate.com/certspotter)

• criminalip : Moteur de recherche spécialisé en Cyber Threat Intelligence (CTI) (https://www.criminalip.io)

• crtsh : Recherche de certificats Comodo (https://crt.sh)

• dehashed : Portez votre sécurité des données au niveau supérieur (https://dehashed.com)

• dnsdumpster : Outil de recherche de domaine capable de découvrir des hôtes liés à un domaine (https://dnsdumpster.com)

• duckduckgo : Moteur de recherche DuckDuckGo (https://duckduckgo.com)

• dymo : Vérificateur de données API Dymo - confirme les domaines, suggère des typos et des signaux MX/fraude (https://dymo.tpeoficial.com)

• fofa : Moteur de recherche FOFA (https://en.fofa.info)

• fullhunt : Plateforme de sécurité de surface d'attaque de nouvelle génération ()

Modules actifs

• DNS brute force : énumération par force brute via dictionnaire
• Captures d'écran : Prendre des captures d'écran des sous-domaines trouvés

Modules nécessitant une clé API

La documentation pour configurer les clés API se trouve sur - https://github.com/laramies/theHarvester/wiki/Installation#api-keys

• bevigil - 50 requêtes gratuites/mois. 1k requêtes/mois 50$
• brave - forfait gratuit disponible. Forfaits Pro pour des limites plus élevées
• bufferoverun - 100 requêtes gratuites/mois. 10k/mois 25$
• builtwith - 50 requêtes gratuites à vie. 2950$/an
• censys - 500 crédits 100$
• criminalip - 100 requêtes gratuites/mois. 700k/mois 59$
• dehashed - 500 crédits 15$, 5k crédits 150$
• dnsdumpster - 50 requêtes gratuites/jour, 49$
• dymo - niveau gratuit disponible, forfaits payants pour des limites plus élevées
• fofa - crédits de requête 10 000/mois. 100k résultats/mois 25$
• fullhunt - 50 requêtes gratuites. 200 requêtes 29$/mois, 500 requêtes 59$
• github-code
• haveibeenpwned - 10 recherches d'emails/min 4,50$, 50 recherches d'emails/min 22$
• hunter - 50 crédits gratuits/mois. 12k crédits/an 34$
• hunterhow - 10k résultats API gratuits par 30 jours. 50k résultats API par 30 jours 10$
• intelx - compte gratuit très limité. Compte Business 2900$
• leakix - 25 pages de résultats gratuites, 3000 requêtes API/mois. Bounty Hunter 29$
• leaklookup - 20 crédits 10$, 50 crédits 20$, 140 crédits 50$, 300 crédits 100$
• mojeek - 5000 crédits gratuits 6,50$, 1,30$ CPM (Personnel), 2,60$ CPM (Startup), 3,90$ CPM (Business)
• netlas - 50 requêtes gratuites/jour. 1k requêtes 49$, 10k requêtes 249$
• onyphe - 10M résultats/mois 587$
• pentesttools - 5 actifs netsec 95$/mois, 5 actifs webnetsec 140$/mois
• projecdiscovery - nécessite un email professionnel. Découverte mensuelle gratuite et scans de vulnérabilités sur le domaine de l'email d'inscription, entreprise $
• rocketreach - 100 recherches d'emails/mois 48$, 250 recherches d'emails/mois 108$
• securityscorecard - nécessite un email professionnel
• securityTrails - 50 requêtes gratuites/mois. 20k requêtes/mois 500$
• sherlockeye - Intermédiaire 46$/mois, Avancé 120$/mois. Entreprise disponible.
• shodan - Freelancer 69$/mois, Small Business 359$/mois
• tomba - 25 recherches gratuites/mois. 1k recherches/mois 39$, 5k recherches/mois 89$
• venacus - 1 recherche gratuite/jour. 10 recherches/jour 12$, 30 recherches/jour 36$
• virustotal - 500 consultations gratuites/jour, 15,5k consultations/mois. Les comptes Business nécessitent un email professionnel
• whoisxml - 2k requêtes 50$, 5k requêtes 105$
• windvane - 100 requêtes gratuites
• zoomeye - 5 résultats gratuits/jour. 30 résultats/jour 190$/an

Commentaires, bugs et demandes

• Christian Martorella @laramies [email protected]
• Matthew Brown @NotoriousRebel1
• Jay "L1ghtn1ng" Townsend @jay_townsend1

Contributeurs principaux

• Matthew Brown @NotoriousRebel1
• Jay "L1ghtn1ng" Townsend @jay_townsend1
• Lee Baird @discoverscripts

Remerciements

• John Matherly - Projet Shodan
• Ahmed Aboul Ela - Dictionnaires de noms de sous-domaines (grand et petit)