Scavenger - OSINT-Bot - 3.0

Einführung

Nur der Code meines OSINT-Bots, der nach Lecks sensibler Daten auf Paste-Seiten sucht. email:password-Kombinationen werden immer gesammelt.

Er erkennt sensible Informationen basierend auf der Datei searchterms.txt und einigen Regexes in classes/utility.py.

Suchbegriffe:

mysqli_connect(
BEGIN RSA PRIVATE KEY
-----BEGIN
The name of the database for WordPress
Return-Path:
insert into
INSERT INTO
.onion
github_pat_
AIza
sk_live_
rk_live_
client_secret
jdbc:
mongodb://
mongodb+srv://
mysql://
postgresql://
redis://
authorization: basic

Suchbegriffe können angepasst werden. Mehr dazu erfährst du im Abschnitt Konfiguration.

Artikel über Scavenger

https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
https://jakecreps.com/2019/01/08/scavenger/
https://youtu.be/VCwiZ2dh17Q?t=51 (der Bot wird hier erwähnt)

Hauptfunktionen

Für pastebin.com hat der Bot zwei Modi:

Suche nach sensiblen Daten im Archiv durch Scraping
Suche nach sensiblen Daten durch Verfolgung von Nutzern, die Leaks veröffentlichen

Für pastes.io:

versucht, Pastes zu erraten und sucht nach sensiblen Informationen
vergiss nicht, deinen API-Schlüssel unter configs/pastesio.json hinzuzufügen und anzugeben, ob du einen free- oder pro-Tarif hast

Für GitHub Gist:

scrapt die neuesten Gists und sucht nach sensiblen Informationen

Für dpaste.com:

scrapt das Archiv regelmäßig

Zusätzliche Funktionen:

anpassbare Suchbegriffe

Konfiguration

Führe setup.sh aus, um die benötigten nicht standardmäßigen Python-Bibliotheken zu installieren
Lösche die README.md-Dateien in jedem Unterordner, da sie nur Platzhalter sind
Der Bot sucht standardmäßig nach email:password-Kombinationen und anderen Arten sensibler Daten. Wenn du weitere Suchbegriffe hinzufügen möchtest, bearbeite die Datei configs/searchterms.txt oder verwende den Schalter -2 im Steuerungsskript Standardkonfiguration von configs/searchterms.txt:

Wenn du weitere Suchbegriffe hinzufügen möchtest, füge sie einfach Zeile für Zeile zur Datei hinzu. Kennst du einen nützlichen Suchbegriff, der hier fehlt? Sag mir Bescheid! :-) 3. Für das Nutzerverfolgungsmodul von pastebin.com musst du die Zielnutzer Zeile für Zeile zur Datei configs/users.txt hinzufügen.

Verwendung

Programmhilfe:

$ python3 scavenger.py -h
╭── Scavenger 3.0 ─────────────────────────────────╮
│ multi-source credential-leak crawler             │
│                                                  │
│   -0  pastebin archive scrape module             │
│   -1  pastebin user track module                 │
│   -2  pastes.io random-ID scraper                │
│   -3  GitHub gist scraper                        │
│   -4  dpaste.com scraper                         │
│   -5  edit search terms                          │
│   -6  edit tracked users                         │
│   -7  dashboard                                  │
│                                                  │
│ python3 scavenger.py -0 -1  (combine flags)      │
╰──────────────────────────────────────────────────╯
usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4] [-5] [-6] [-7]

control script

options:
  -h, --help          show this help message and exit
  -0, --pbincom       Activate pastebin.com archive scraping module
  -1, --pbincomTrack  Activate pastebin.com user track module
  -2, --pastesio      Activate pastes.io random-ID scraper
  -3, --githubgist    Activate GitHub gist scraper
  -4, --dpaste        Activate dpaste.com public archive scraper
  -5, --editsearch    Edit search terms file for additional search terms (email:password combinations will always be searched)
  -6, --editusers     Edit user file of the pastebin.com user track module
  -7, --dashboard     Start the web dashboard

example usage: python3 scavenger.py -0 -1

Gecrawlte Pastes werden je nach Status an verschiedenen Orten gespeichert.

Paste gecrawlt, aber nichts erkannt -> data/raw_pastes
Paste gecrawlt und eine email:password-Kombination erkannt -> data/raw_pastes und data/files_with_passwords
Paste gecrawlt und andere sensible Daten erkannt -> data/raw_pastes und data/otherSensitivePastes

Pastes werden in data/raw_pastes gespeichert, bis sie ein Limit von 48000 Dateien erreichen. Sobald mehr als 48000 Pastes vorhanden sind, werden sie gezippt und in den Archivordner verschoben.

Starte das Archiv-Scraping-Modul von pastebin.com

$ python3 scavenger.py -0

Starte das Nutzerverfolgungsmodul von pastebin.com

$ python3 scavenger.py -1

Beim Start eines dieser Module wird im Hintergrund eine tmux-Sitzung mit dem laufenden Modul erstellt.

tmux-Sitzungen auflisten

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

Beispiel für die Interaktion mit einer tmux-Sitzung

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

Um dich von einer Sitzung zu lösen, drücke STRG+b d.

Wenn du ein Modul starten möchtest, ohne die Steuerungssoftware zu verwenden, kannst du sie direkt aufrufen.

Pastebin.com Archiv-Scraper

$ python3 pbincomArchiveScrape.py

Pastebin.com Nutzer-Tracker

$ python3 pbincomTrackUser.py

Starte das integrierte (Dashboard), das Statistiken für den Bot anzeigt (du möchtest vielleicht IP und Port anpassen)

$ python3 scavenger.py -6

To Do

Wenn dir etwas fehlt und du möchtest, dass ich Funktionen hinzufüge oder Änderungen vornehme, lass es mich einfach über Twitter oder ein GitHub-Issue wissen :-)

Scavenger

Beliebteste