leakScraper

mongodb Version

LeakScraper ist eine effiziente Sammlung von Werkzeugen, um riesige Textdateien mit Zugangsdaten zu verarbeiten und zu visualisieren. Diese Werkzeuge sind dafür entwickelt, Pentestern/Redteamern bei OSINT, dem Sammeln von Zugangsdaten und Credential-Stuffing-Angriffen zu helfen.

Installation

• Das Wichtigste zuerst: einen funktionierenden MongoDB-Server haben.
• Dann :
  root@kitploit:~

  git clone -b mongodb https://github.com/Acceis/leakScraper
  cd leakScraper
  sudo ./install.sh
  

  Es wird einige pip-Pakete und Debian-Pakete installieren (python-magic, python3-pymongo und bottle).

Anforderungen

Linux (Debian), Python 3.x und ein MongoDB-Server.

Verwendung

Siehe das Wiki für weitere Informationen

Screenshot

Die verschiedenen Werkzeuge

LeakScraper ist in drei Teile aufgeteilt:

• leakStandardizer : Ein Werkzeug, um Leaks zu standardisieren, die Sie von einer legitimen Stelle im Internet erhalten haben. Es nimmt eine Datei mit Zugangsdaten entgegen, die einem seltsamen Format folgt, nicht-ASCII-Zeichen oder leere Zeilen enthält, Zeilen mit ungültigen E-Mails oder ohne Passwort. Mit Ihrer Hilfe (mittels regulärem Ausdruck) wird eine leicht durchsuchbare Datei im folgenden Format erstellt: email:hash:plain ("plain" für "Plain-Text-Passwort").
• leakImporter : Ein Werkzeug, um eine standardisierte Leak-Datei in eine MongoDB-Datenbank zu importieren. Es kümmert sich um das Extrahieren der Daten aus der Datei, das Einfügen in ein umfassendes MySQL-Format, das Erstellen/Verwalten von Indizes ...
• leakScraper : Ein Werkzeug und eine Oberfläche, um Daten aus der Datenbank auszugraben und ansprechend darzustellen.

Postulate

• Der abgedeckte Anwendungsfall ist der folgende: Suche nach Zugangsdaten, die zu einer bestimmten Organisation/Firma/Struktur gehören. Dies erfolgt durch die Suche nach Zugangsdaten, die mit einer E-Mail der betreffenden Organisation verknüpft sind. Z.B.: Die Suche nach Zugangsdaten von Microsoft erfolgt durch die Suche nach Zugangsdaten, die mit Konten verknüpft sind, die mit einer E-Mail registriert wurden, die auf "@microsoft.com" endet. Es ist der einzige abgedeckte Anwendungsfall und dies hat große Auswirkungen auf die technischen Entscheidungen (Datenbankindizes und Datenrepräsentation im Allgemeinen).

• Leaks können mehrere Gigabyte wiegen. Das bedeutet, dass jeder Prozess (Standardisierung, Importe und Recherchen) in-place Algorithmen in Bezug auf den Speicher verwendet. Sie können im Voraus wissen, wie viel Speicher diese Werkzeuge für die Verarbeitung einer bestimmten Datei benötigen, und es wird niemals die Ressourcen Ihres Computers erschöpfen (es sei denn, Sie haben einen sehr alten).

• Das Verarbeiten riesiger Dateien und das Arbeiten mit vielen Daten benötigt Zeit. Es ist meiner Meinung nach wichtig, visuelles/Echtzeit-Feedback zu haben, um zu wissen, wie lange die Verarbeitung/der Import einer Datei dauern wird. Es ist wichtig zu wissen, ob Sie gerade einen 7-stündigen oder einen 1.200 Jahre dauernden Prozess gestartet haben.