Scavenger - Bot OSINT - REMANIÉ

bot en action

Introduction

Juste le code de mon bot OSINT qui recherche les fuites de données sensibles sur les sites de paste.

Termes de recherche :

• identifiants
• clés RSA privées
• fichiers de configuration WordPress
• chaînes de connexion MySQL
• liens onion
• dumps SQL
• clés API
• adresses e-mail complètes

Les termes de recherche peuvent être personnalisés. Vous pouvez en apprendre plus dans la section configuration.

Articles à propos de Scavenger

• https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
• https://jakecreps.com/2019/01/08/scavenger/
• https://youtu.be/VCwiZ2dh17Q?t=51 (le bot y est mentionné)

Fonctionnalités principales

Pour pastebin.com, le bot a deux modes :

• rechercher des données sensibles dans l'archive via le scraping
• rechercher des données sensibles en suivant les utilisateurs qui publient des fuites

Fonctionnalités supplémentaires :

• termes de recherche personnalisables
• analyser des dossiers avec des fichiers texte pour y trouver des informations sensibles

Configuration

1. Supprimez les fichiers README.md dans chaque sous-dossier car ils ne sont que des espaces réservés
2. Par défaut, le bot recherche les combinaisons email:mot de passe et d'autres types de données sensibles. Si vous souhaitez ajouter d'autres termes de recherche, modifiez le fichier configs/searchterms.txt ou utilisez l'option -3 dans le script de contrôle.

Configuration par défaut de configs/searchterms.txt :

mysqli_connect(
BEGIN RSA PRIVATE KEY
The name of the database for WordPress
apiKey:
Return-Path:
insert into
INSERT INTO
.onion

Si vous voulez ajouter d'autres termes de recherche, ajoutez-les simplement au fichier ligne par ligne. Vous connaissez un terme de recherche utile qui manque ici? Dites-le moi! :-) 3. Pour le module de suivi des utilisateurs de pastebin.com, vous devez ajouter les utilisateurs cibles ligne par ligne dans le fichier configs/users.txt.

Utilisation

Aide du programme :

$ python3 scavenger.py -h

  _________
 /   _____/ ____ _____ ___  __ ____   ____    ____   ___________
 \_____  \_/ ___\\__  \\  \/ // __ \ /    \  / ___\_/ __ \_  __ \
 /        \  \___ / __ \\   /\  ___/|   |  \/ /_/  >  ___/|  | \/
/_______  /\___  >____  /\_/  \___  >___|  /\___  / \___  >__|
        \/     \/     \/          \/     \//_____/      \/       Reworked

usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4]

control script

optional arguments:
  -h, --help           show this help message and exit
  -0, --pbincom        Activate pastebin.com archive scraping module
  -1, --pbincomTrack   Activate pastebin.com user tracking module
  -2, --sensitivedata  Search a specific folder for sensitive data. This might
                       be useful if you want to analyze some pastes which
                       were not collected by the bot.
  -3, --editsearch     Edit search terms file for additional search terms
                       (email:password combinations will always be searched)
  -4, --editusers      Edit user file of the pastebin.com user track module

example usage: python3 scavenger.py -0 -1

Les pastes explorés sont stockés à différents endroits selon leur statut.

• Paste exploré mais rien détecté -> data/raw_pastes
• Paste exploré et une combinaison email:mot de passe détectée -> data/raw_pastes et data/files_with_passwords
• Paste exploré et d'autres données sensibles détectées -> data/raw_pastes et data/otherSensitivePastes

Les pastes sont stockés dans data/raw_pastes jusqu'à atteindre une limite de 48 000 fichiers. Une fois qu'il y a plus de 48 000 pastes, ils sont compressés et déplacés vers le dossier d'archive.

Démarrer le module de scraping d'archive de pastebin.com

$ python3 scavenger.py -0

Démarrer le module de suivi d'utilisateurs de pastebin.com

$ python3 scavenger.py -1

Lors du démarrage de l'un de ces modules, une session tmux avec le module en cours d'exécution est créée en arrière-plan.

Lister les sessions tmux

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

Exemple d'interaction avec une session tmux

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

Pour se détacher d'une session, appuyez sur Ctrl+B d.

Si vous souhaitez démarrer un module sans utiliser le logiciel de contrôle, vous pouvez le faire en les appelant directement.

Scraper d'archive pastebin.com

$ python3 pbincomArchiveScrape.py

Suivi d'utilisateurs pastebin.com

$ python3 pbincomTrackUser.py

Rechercher des données sensibles dans un dossier spécifique :

$ python3 findSensitiveData.py TARGET_FOLDER

À faire

S'il vous manque quelque chose et que vous souhaitez que j'ajoute des fonctionnalités ou que je fasse des modifications, faites-le moi savoir via Twitter ou GitHub issue :-)