urlhunter

urlhunter est un outil de reconnaissance qui permet de rechercher des URL exposées via des services de raccourcissement comme bit.ly et goo.gl. Le projet est écrit en Go.

### Comment ça marche ?

Un groupe nommé [URLTeam](https://archiveteam.org/index.php?title=URLTeam) (un grand merci à eux) effectue du brute-force sur les services de raccourcissement d'URL et publie les résultats correspondants quotidiennement. urlhunter télécharge leurs [collections](https://archive.org/details/UrlteamWebCrawls) et vous permet de les analyser.

# Installation

## Depuis un binaire

Vous pouvez télécharger les binaires pré-construits depuis la page des [versions](https://github.com/utkusen/urlhunter/releases/latest) et les exécuter. Par exemple :

`tar xzvf urlhunter_0.1.0_Linux_amd64.tar.gz`

`./urlhunter --help`

## Depuis les sources

1) Installez Go sur votre système

2) Exécutez : `go install github.com/utkusen/urlhunter@latest`

**Note pour les utilisateurs Windows :** urlhunter utilise `XZ Utils`, qui est pré-installé sur les systèmes Linux et macOS. Pour Windows, vous devez le télécharger depuis [https://tukaani.org/xz/](https://tukaani.org/xz/)

# Utilisation

urlhunter nécessite 3 paramètres pour fonctionner : `-keywords`, `-date`.

Par exemple : `urlhunter --keywords keywords.txt --date 2020-11-20`

### --keywords

Vous devez spécifier le fichier txt contenant les mots-clés à rechercher dans les URL. Les mots-clés doivent être écrits ligne par ligne. Vous avez trois façons différentes de spécifier les mots-clés :

**Mot-clé unique :** urlhunter recherchera le mot-clé donné comme sous-chaîne. Par exemple :

`acme.com` correspondra à la fois à `https://acme.com/blabla` et à `https://another.com/?referrer=acme.com`

**Mots-clés multiples :** urlhunter recherchera les mots-clés donnés avec une logique `ET`. Cela signifie qu'une URL doit inclure tous les mots-clés fournis. Les mots-clés doivent être séparés par le caractère `,`. Par exemple :

`acme.com,admin` correspondra à `https://acme.com/secret/adminpanel` mais **_ne_** correspondra **_pas_** à `https://acme.com/somethingelse`

**Expressions régulières :** urlhunter recherchera l'expression régulière donnée. Dans le fichier de mots-clés, la ligne contenant une formule d'expression régulière doit commencer par la chaîne `regex ` . Le format est : `regex FORMULEREGEX`. Par exemple :

`regex 1\d{10}` correspondra à `https://example.com/index.php?id=12938454312` mais **_ne_** correspondra **_pas_** à `https://example.com/index.php?id=abc223`

### --date

urlhunter télécharge les fichiers d'archive de la ou des dates données. Vous avez trois façons différentes de spécifier la date :

**La plus récente :** urlhunter téléchargera la dernière archive. `-date latest`

**Date unique :** urlhunter téléchargera l'archive de la date donnée. Le format de date est AAAA-MM-JJ.

Par exemple : `-date 2020-11-20`

**Année :** urlhunter téléchargera l'archive de l'année donnée. Le format de l'année est AAAA.

Par exemple : `-date 2024`

**Plage de dates :** urlhunter téléchargera toutes les archives entre les dates de début et de fin données.

Par exemple : `-date 2020-11-10:2020-11-20`

### --output

Vous pouvez spécifier le fichier de sortie avec le paramètre `-o`. Par exemple `-o out.txt`

### --rm

Vous pouvez spécifier le paramètre `-rm` pour supprimer les dossiers d'archives téléchargés après le traitement. Cela permet d'économiser de l'espace disque.

### Vidéo de démonstration

[![Regarder la vidéo](https://assets.kitploit.com/production/public/readmes/3972/442a4082c32a7cd26f2424bbfbbe852e00bdef88d5ce911c9c229054c21a4a8c.png)](https://www.youtube.com/watch?v=Ct086YRm7i8)

## Le problème de vitesse

Archive.org limite la vitesse lors du téléchargement des fichiers. Par conséquent, le téléchargement d'une archive prend plus de temps que d'habitude. Pour contourner ce problème, vous pouvez télécharger les archives via Torrent et les placer dans le dossier `archive/` qui se trouve dans le même répertoire que le binaire urlhunter. L'arborescence des répertoires ressemblera à :

## Exemples de cas d'utilisation

urlhunter peut être utile pour le renseignement cybernétique et le bug bounty. Par exemple :

`docs.google.com/a/acme.com` `drive.google.com/a/acme.com` les mots-clés vous permettent de trouver des liens de partage publics Google Docs&Drive de la société Acme.

`acme.com,password_reset_token` le mot-clé peut vous permettre de trouver des jetons de réinitialisation de mot de passe fonctionnels pour acme.com

`trello.com` vous permet de trouver des adresses Trello publiques.

## Remerciements

Un merci tout particulier à Samet Bekmezci([@sametbekmezci](https://twitter.com/sametbekmezci)) qui m'a donné l'idée de cet outil.