Scavenger - Bot OSINT - 3.0

---

bot en acción

---

Introducción

Solo el código de mi bot OSINT que busca filtraciones de datos sensibles en sitios de paste. Las combinaciones email:password siempre se recopilan.

Detecta información sensible basándose en el archivo searchterms.txt y algunas expresiones regulares en classes/utility.py.

Términos de búsqueda:

mysqli_connect(
BEGIN RSA PRIVATE KEY
-----BEGIN
The name of the database for WordPress
Return-Path:
insert into
INSERT INTO
.onion
github_pat_
AIza
sk_live_
rk_live_
client_secret
jdbc:
mongodb://
mongodb+srv://
mysql://
postgresql://
redis://
authorization: basic

Los términos de búsqueda se pueden personalizar. Puedes obtener más información al respecto en la sección de configuración.

Artículos sobre Scavenger

• https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
• https://jakecreps.com/2019/01/08/scavenger/
• https://youtu.be/VCwiZ2dh17Q?t=51 (el bot se menciona aquí)

Características principales

Para pastebin.com el bot tiene dos modos:

• buscar datos sensibles en el archivo mediante scraping
• buscar datos sensibles rastreando a los usuarios que publican filtraciones

Para pastes.io:

• intenta adivinar pastes y busca información sensible
• no olvides añadir tu api key en configs/pastesio.json y establecer si tienes un nivel free o pro

Para GitHub Gist:

• hace scraping de los últimos gists y busca información sensible

Para dpaste.com:

• hace scraping del archivo periódicamente

Características adicionales:

• términos de búsqueda personalizables

Configuración

0. Ejecuta setup.sh para instalar las librerías de python no estándar necesarias
1. Elimina los archivos README.md en cada subcarpeta, ya que solo son marcadores de posición
2. El bot busca combinaciones email:password y otros tipos de datos sensibles por defecto. Si quieres añadir más términos de búsqueda, edita el archivo configs/searchterms.txt o usa el interruptor -2 en el script de control Configuración predeterminada de configs/searchterms.txt:

Si quieres añadir otros términos de búsqueda, solo tienes que añadirlos al archivo línea por línea. ¿Conoces algún término de búsqueda útil que falte aquí? ¡Dímelo! :-) 3. Para el módulo de rastreo de usuarios de pastebin.com necesitas añadir los usuarios objetivo línea por línea al archivo configs/users.txt.

Uso

Ayuda del programa:

$ python3 scavenger.py -h
╭── Scavenger 3.0 ─────────────────────────────────╮
│ multi-source credential-leak crawler             │
│                                                  │
│   -0  pastebin archive scrape module             │
│   -1  pastebin user track module                 │
│   -2  pastes.io random-ID scraper                │
│   -3  GitHub gist scraper                        │
│   -4  dpaste.com scraper                         │
│   -5  edit search terms                          │
│   -6  edit tracked users                         │
│   -7  dashboard                                  │
│                                                  │
│ python3 scavenger.py -0 -1  (combine flags)      │
╰──────────────────────────────────────────────────╯
usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4] [-5] [-6] [-7]

control script

options:
  -h, --help          show this help message and exit
  -0, --pbincom       Activate pastebin.com archive scraping module
  -1, --pbincomTrack  Activate pastebin.com user track module
  -2, --pastesio      Activate pastes.io random-ID scraper
  -3, --githubgist    Activate GitHub gist scraper
  -4, --dpaste        Activate dpaste.com public archive scraper
  -5, --editsearch    Edit search terms file for additional search terms (email:password combinations will always be searched)
  -6, --editusers     Edit user file of the pastebin.com user track module
  -7, --dashboard     Start the web dashboard

example usage: python3 scavenger.py -0 -1

Los pastes rastreados se almacenan en diferentes ubicaciones según su estado.

• Paste rastreado pero no se detectó nada -> data/raw_pastes
• Paste rastreado y se detectó una combinación email:password -> data/raw_pastes y data/files_with_passwords
• Paste rastreado y se detectaron otros datos sensibles -> data/raw_pastes y data/otherSensitivePastes

Los pastes se almacenan en data/raw_pastes hasta que alcanzan un límite de 48000 archivos. Una vez que hay más de 48000 pastes, se comprimen y se mueven a la carpeta de archivo.

---

Iniciar el módulo de scraping del archivo de pastebin.com

$ python3 scavenger.py -0

Iniciar el módulo de rastreo de usuarios de pastebin.com

$ python3 scavenger.py -1

Al iniciar uno de estos módulos, se crea una sesión de tmux con el módulo en ejecución en segundo plano.

Listar sesiones de tmux

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

Ejemplo de interacción con una sesión de tmux

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

Para desacoplarte de una sesión pulsa STRG+b d.

---

Si quieres iniciar un módulo sin usar el software de control, puedes hacerlo llamándolos directamente.

Scraper del archivo de Pastebin.com

$ python3 pbincomArchiveScrape.py

Rastreador de usuarios de Pastebin.com

$ python3 pbincomTrackUser.py

Iniciar el (dashboard) integrado que muestra estadísticas del bot (quizás quieras personalizar la IP y el puerto)

$ python3 scavenger.py -6

---

Tareas pendientes

Si echas algo en falta y quieres que añada funciones o haga cambios, solo tienes que decírmelo por Twitter o mediante un issue de GitHub :-)