Scavenger - OSINT Bot - 3.0

---

bot in azione

---

Introduzione

Solo il codice del mio bot OSINT che cerca fughe di dati sensibili sui siti di paste. Le combinazioni email:password vengono sempre raccolte.

Rileva informazioni sensibili in base al file searchterms.txt e ad alcune regex in classes/utility.py.

Termini di ricerca:

mysqli_connect(
BEGIN RSA PRIVATE KEY
-----BEGIN
The name of the database for WordPress
Return-Path:
insert into
INSERT INTO
.onion
github_pat_
AIza
sk_live_
rk_live_
client_secret
jdbc:
mongodb://
mongodb+srv://
mysql://
postgresql://
redis://
authorization: basic

I termini di ricerca possono essere personalizzati. Puoi saperne di più nella sezione di configurazione.

Articoli su Scavenger

• https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
• https://jakecreps.com/2019/01/08/scavenger/
• https://youtu.be/VCwiZ2dh17Q?t=51 (il bot è menzionato qui)

Funzionalità principali

Per pastebin.com il bot ha due modalità:

• ricerca di dati sensibili nell'archivio tramite scraping
• ricerca di dati sensibili monitorando gli utenti che pubblicano fughe di dati

Per pastes.io:

• tenta di indovinare i paste e cerca informazioni sensibili
• non dimenticare di aggiungere la tua api key in configs/pastesio.json e di impostare se hai un piano free o pro

Per GitHub Gist:

• esegue lo scraping degli ultimi gist e cerca informazioni sensibili

Per dpaste.com:

• esegue regolarmente lo scraping dell'archivio

Funzionalità aggiuntive:

• termini di ricerca personalizzabili

Configurazione

0. Esegui setup.sh per installare le librerie python non standard necessarie
1. Elimina i file README.md in ogni sottocartella poiché sono solo segnaposto
2. Il bot cerca per impostazione predefinita combinazioni email:password e altri tipi di dati sensibili. Se vuoi aggiungere altri termini di ricerca modifica il file configs/searchterms.txt o usa lo switch -2 nello script di controllo Configurazione predefinita di configs/searchterms.txt:

Se vuoi aggiungere altri termini di ricerca basta aggiungerli al file riga per riga. Conosci un termine di ricerca utile che manca qui? Fammelo sapere! :-) 3. Per il modulo di monitoraggio utenti di pastebin.com devi aggiungere gli utenti target riga per riga al file configs/users.txt.

Utilizzo

Aiuto del programma:

$ python3 scavenger.py -h
╭── Scavenger 3.0 ─────────────────────────────────╮
│ multi-source credential-leak crawler             │
│                                                  │
│   -0  pastebin archive scrape module             │
│   -1  pastebin user track module                 │
│   -2  pastes.io random-ID scraper                │
│   -3  GitHub gist scraper                        │
│   -4  dpaste.com scraper                         │
│   -5  edit search terms                          │
│   -6  edit tracked users                         │
│   -7  dashboard                                  │
│                                                  │
│ python3 scavenger.py -0 -1  (combine flags)      │
╰──────────────────────────────────────────────────╯
usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4] [-5] [-6] [-7]

control script

options:
  -h, --help          show this help message and exit
  -0, --pbincom       Activate pastebin.com archive scraping module
  -1, --pbincomTrack  Activate pastebin.com user track module
  -2, --pastesio      Activate pastes.io random-ID scraper
  -3, --githubgist    Activate GitHub gist scraper
  -4, --dpaste        Activate dpaste.com public archive scraper
  -5, --editsearch    Edit search terms file for additional search terms (email:password combinations will always be searched)
  -6, --editusers     Edit user file of the pastebin.com user track module
  -7, --dashboard     Start the web dashboard

example usage: python3 scavenger.py -0 -1

I paste scansionati vengono memorizzati in posizioni diverse a seconda del loro stato.

• Paste scansionato ma nulla è stato rilevato -> data/raw_pastes
• Paste scansionato e una combinazione email:password è stata rilevata -> data/raw_pastes e data/files_with_passwords
• Paste scansionato e altri dati sensibili sono stati rilevati -> data/raw_pastes e data/otherSensitivePastes

I paste vengono memorizzati in data/raw_pastes finché non raggiungono un limite di 48000 file. Una volta che ci sono più di 48000 paste vengono zippati e spostati nella cartella archive.

---

Avvia il modulo di scraping dell'archivio di pastebin.com

$ python3 scavenger.py -0

Avvia il modulo di monitoraggio utenti di pastebin.com

$ python3 scavenger.py -1

Quando avvii uno di questi moduli, viene creata in background una sessione tmux con il modulo in esecuzione.

Elenca le sessioni tmux

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

Esempio di interazione con una sessione tmux

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

Per staccarti da una sessione premi STRG+b d.

---

Se vuoi avviare un modulo senza usare il software di controllo puoi farlo chiamandoli direttamente.

Scraper dell'archivio di Pastebin.com

$ python3 pbincomArchiveScrape.py

Tracker utenti di Pastebin.com

$ python3 pbincomTrackUser.py

Avvia la (dashboard) integrata che mostra le statistiche del bot (potresti voler personalizzare IP e porta)

$ python3 scavenger.py -6

---

To Do

Se ti manca qualcosa e vuoi che aggiunga funzionalità o apporti modifiche, fammelo sapere tramite Twitter o una issue su GitHub :-)