leakScraper

versione mongodb

LeakScraper è un insieme efficiente di strumenti per elaborare e visualizzare enormi file di testo contenenti credenziali. Questi strumenti sono progettati per aiutare pentester/redteamer a fare OSINT, raccolta di credenziali e attacchi di credential stuffing.

Installazione

• Prima di tutto: avere un server mongodb funzionante.
• Poi :
  root@kitploit:~

  git clone -b mongodb https://github.com/Acceis/leakScraper
  cd leakScraper
  sudo ./install.sh
  

  Installerà alcuni pacchetti pip e pacchetti debian (python-magic, python3-pymongo e bottle).

Requisiti

Linux (Debian), Python 3.x e un server mongodb.

Utilizzo

Vedi il wiki per questo

Screenshot

I diversi strumenti

LeakScraper è diviso in tre parti :

• leakStandardizer : Uno strumento per standardizzare le leak ottenute da qualche posto legittimo su internet. Prende in input un file contenente credenziali in un formato strano, contenente caratteri non ascii o righe vuote, righe contenenti email non valide o nessuna password. Produrrà, con il tuo aiuto (usando espressioni regolari), un file facilmente grepabile utilizzando il seguente formato: email:hash:plain ("plain" per "password in testo chiaro").
• leakImporter : Uno strumento per importare un file di leak standardizzato in un database mongodb. Si occuperà di estrarre i dati dal file, metterli in un formato comprensivo per mysql, creare/gestire indici ...
• leakScraper : Uno strumento e un'interfaccia per scavare i dati dal database e visualizzarli in modo ordinato.

Postulati

• Il caso d'uso coperto è il seguente: cercare credenziali appartenenti a una specifica organizzazione/azienda/struttura. Questo viene fatto cercando credenziali associate a un'email appartenente all'organizzazione in questione. Es.: la ricerca di credenziali appartenenti a microsoft viene fatta cercando credenziali associate a account registrati con un'email che termina con "@microsoft.com". È l'unico caso d'uso coperto e ciò ha molte implicazioni in termini di scelte tecniche (indici del database e rappresentazione dei dati in generale).

• Le leak possono pesare diversi gigabyte. Ciò significa che ogni processo (standardizzazione, import e ricerche) utilizza algoritmi in-place in termini di memoria. Puoi sapere in anticipo quanta memoria questi strumenti utilizzeranno per elaborare un file specifico, e non esauriranno mai le risorse del tuo computer (a meno che tu non ne abbia uno molto vecchio).

• Elaborare file enormi e lavorare con molti dati richiede tempo. È importante, secondo me, avere un feedback visivo/in tempo reale per sapere quanto tempo richiederà l'elaborazione/importazione di un file. È importante sapere se hai appena avviato un processo di 7 ore o uno di 1.200 anni.