Scavenger - Bot OSINT - 3.0

Intro

Juste le code de mon bot OSINT qui recherche des fuites de données sensibles sur les sites de paste. Les combinaisons email:password sont toujours collectées.

Il détecte les informations sensibles en se basant sur le fichier searchterms.txt et quelques regex dans classes/utility.py.

Termes de recherche :

mysqli_connect(
BEGIN RSA PRIVATE KEY
-----BEGIN
The name of the database for WordPress
Return-Path:
insert into
INSERT INTO
.onion
github_pat_
AIza
sk_live_
rk_live_
client_secret
jdbc:
mongodb://
mongodb+srv://
mysql://
postgresql://
redis://
authorization: basic

Les termes de recherche peuvent être personnalisés. Vous pouvez en apprendre plus dans la section configuration.

Articles à propos de Scavenger

https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
https://jakecreps.com/2019/01/08/scavenger/
https://youtu.be/VCwiZ2dh17Q?t=51 (le bot est mentionné ici)

Fonctionnalités principales

Pour pastebin.com le bot a deux modes :

recherche de données sensibles dans l'archive via scraping
recherche de données sensibles en suivant les utilisateurs qui publient des fuites

Pour pastes.io :

essaie de deviner les pastes et recherche des informations sensibles
n'oubliez pas d'ajouter votre clé api sous configs/pastesio.json et de définir si vous avez un niveau free ou pro

Pour GitHub Gist :

scrape les derniers gists et recherche des informations sensibles

Pour dpaste.com :

scrape l'archive régulièrement

Fonctionnalités supplémentaires :

termes de recherche personnalisables

Configuration

Exécutez setup.sh pour installer les bibliothèques python non standard nécessaires
Supprimez les fichiers README.md dans chaque sous-dossier car ce ne sont que des placeholders
Le bot recherche par défaut des combinaisons email:password et d'autres types de données sensibles. Si vous voulez ajouter plus de termes de recherche, éditez le fichier configs/searchterms.txt ou utilisez le commutateur -2 dans le script de contrôle Configuration par défaut de configs/searchterms.txt :

Si vous voulez ajouter d'autres termes de recherche, ajoutez-les simplement au fichier ligne par ligne. Vous connaissez un terme de recherche utile qui manque ici ? Dites-le moi ! :-) 3. Pour le module de suivi des utilisateurs de pastebin.com, vous devez ajouter les utilisateurs cibles ligne par ligne dans le fichier configs/users.txt.

Utilisation

Aide du programme :

$ python3 scavenger.py -h
╭── Scavenger 3.0 ─────────────────────────────────╮
│ multi-source credential-leak crawler             │
│                                                  │
│   -0  pastebin archive scrape module             │
│   -1  pastebin user track module                 │
│   -2  pastes.io random-ID scraper                │
│   -3  GitHub gist scraper                        │
│   -4  dpaste.com scraper                         │
│   -5  edit search terms                          │
│   -6  edit tracked users                         │
│   -7  dashboard                                  │
│                                                  │
│ python3 scavenger.py -0 -1  (combine flags)      │
╰──────────────────────────────────────────────────╯
usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4] [-5] [-6] [-7]

control script

options:
  -h, --help          show this help message and exit
  -0, --pbincom       Activate pastebin.com archive scraping module
  -1, --pbincomTrack  Activate pastebin.com user track module
  -2, --pastesio      Activate pastes.io random-ID scraper
  -3, --githubgist    Activate GitHub gist scraper
  -4, --dpaste        Activate dpaste.com public archive scraper
  -5, --editsearch    Edit search terms file for additional search terms (email:password combinations will always be searched)
  -6, --editusers     Edit user file of the pastebin.com user track module
  -7, --dashboard     Start the web dashboard

example usage: python3 scavenger.py -0 -1

Les pastes crawlé sont stockés à différents endroits selon leur statut.

Paste crawlé mais rien n'a été détecté -> data/raw_pastes
Paste crawlé et une combinaison email:password a été détectée -> data/raw_pastes et data/files_with_passwords
Paste crawlé et d'autres données sensibles ont été détectées -> data/raw_pastes et data/otherSensitivePastes

Les pastes sont stockés dans data/raw_pastes jusqu'à atteindre une limite de 48000 fichiers. Une fois qu'il y a plus de 48000 pastes, ils sont zippés et déplacés vers le dossier archive.

Démarrer le module de scraping de l'archive pastebin.com

$ python3 scavenger.py -0

Démarrer le module de suivi des utilisateurs pastebin.com

$ python3 scavenger.py -1

Lors du démarrage de l'un de ces modules, une session tmux avec le module en cours d'exécution est créée en arrière-plan.

Lister les sessions tmux

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

Exemple d'interaction avec une session tmux

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

Pour se détacher d'une session, appuyez sur STRG+b d.

Si vous voulez démarrer un module sans utiliser le logiciel de contrôle, vous pouvez le faire en les appelant directement.

Scraper d'archive Pastebin.com

$ python3 pbincomArchiveScrape.py

Tracker d'utilisateurs Pastebin.com

$ python3 pbincomTrackUser.py

Démarrer le (dashboard) intégré montrant les statistiques du bot (vous voudrez peut-être personnaliser l'IP et le port)

$ python3 scavenger.py -6

À faire

Si quelque chose vous manque et que vous voulez que j'ajoute des fonctionnalités ou que je fasse des changements, faites-le moi savoir via Twitter ou une issue GitHub :-)

Scavenger

Populaires