leakScraper

version mongodb

LeakScraper est un ensemble efficace d'outils pour traiter et visualiser d'énormes fichiers texte contenant des identifiants. Ces outils sont conçus pour aider les pentesters/redteamers dans les opérations d'OSINT, de collecte d'identifiants et d'attaques par stuffing d'identifiants.

Installation

• Tout d'abord : disposer d'un serveur mongodb fonctionnel.
• Ensuite :
  root@kitploit:~

  git clone -b mongodb https://github.com/Acceis/leakScraper
  cd leakScraper
  sudo ./install.sh
  

  Cela installera quelques paquets pip et paquets debian (python-magic, python3-pymongo et bottle).

Prérequis

Linux (debian), python 3.x et un serveur mongodb.

Utilisation

Voir le wiki pour cela

Capture d'écran

Les différents outils

LeakScraper est divisé en trois parties :

• leakStandardizer : Un outil pour normaliser les fuites obtenues depuis un endroit légitime sur internet. Il prend en entrée un fichier contenant des identifiants suivant un format étrange, contenant des caractères non ASCII ou des lignes vides, des lignes contenant des emails invalides ou aucun mot de passe. Il produira, avec votre aide (en utilisant une expression régulière), un fichier facilement greppable utilisant le format suivant : email:hash:plain ("plain" pour "mot de passe en clair").
• leakImporter : Un outil pour importer un fichier de fuite normalisé dans une base de données mongodb. Il se chargera d'extraire les données du fichier, de les mettre dans un format complet mysql, de créer/gérer les index ...
• leakScraper : Un outil et une interface pour extraire les données de la base de données et les afficher de manière agréable.

Postulats

• Le cas d'usage couvert est le suivant : rechercher des identifiants appartenant à une organisation/entreprise/structure spécifique. Cela se fait en recherchant des identifiants associés à un email appartenant à l'organisation en question. Ex : La recherche d'identifiants appartenant à Microsoft se fait en recherchant des identifiants associés à des comptes enregistrés avec un email se terminant par "@microsoft.com". C'est le seul cas d'usage couvert et cela a des implications importantes en termes de choix techniques (index de base de données et représentation des données en général).

• Les fuites peuvent peser plusieurs gigaoctets. Cela signifie que chaque processus (normalisation, importations et recherches) utilise des algorithmes en place en termes de mémoire. Vous pouvez savoir à l'avance combien de mémoire ces outils utiliseront pour traiter un fichier spécifique, et cela n'épuisera jamais les ressources de votre ordinateur (sauf si vous en avez un très vieux).

• Traiter d'énormes fichiers et travailler avec beaucoup de données prend du temps. Il est important, à mon avis, d'avoir un retour visuel/en temps réel pour savoir combien de temps le traitement/l'importation d'un fichier prendra. Il est important de savoir si vous venez de démarrer un processus de 7 heures ou un de 1 200 ans.