Acerca de gitGraber

gitGraber es una herramienta desarrollada en Python3 para monitorizar GitHub con el fin de buscar y encontrar datos sensibles en tiempo real para diferentes servicios online como: Google, Amazon (AWS), Paypal, Github, Mailgun, Facebook, Twitter, Heroku, Stripe, Twilio...

¿Cómo funciona?

Es importante entender que gitGraber no está diseñado para revisar el historial de repositorios; muchas herramientas ya hacen eso muy bien. gitGraber fue desarrollado originalmente para monitorizar y analizar los últimos archivos indexados en GitHub. Si gitGraber encuentra algo interesante, recibirás una notificación en tu canal de Slack. También puedes usarlo para obtener resultados directamente en la línea de comandos.

Según nuestra experiencia, estamos convencidos de que las filtraciones no provienen únicamente de las propias organizaciones, sino también de proveedores de servicios y empleados que no necesariamente tienen un "perfil" que indique que trabajan para una organización en particular.

Las expresiones regulares deben ser lo más precisas posible. A veces, tendrás falsos positivos; no dudes en contribuir para mejorar la detección y añadir nuevas expresiones regulares para la detección de patrones.

Preferimos reducir los falsos positivos en lugar de enviar notificaciones por cada clave API "estándar" que gitGraber pueda encontrar pero que sea irrelevante para tu monitorización.

Preguntas Frecuentes

¿Por qué solo veo "Github query" y "Status code : 200" en la salida?

gitGraber muestra algunas cosas directamente en la CLI: solicitud a GitHub, código de estado por detección de abuso (200 o 403)... y si no ves algo como [+] POSIBLE TOKEN FOO ENCONTRADO es simplemente porque gitGraber no ha encontrado tokens secretos para tu palabra clave definida.

Sobre el mensaje de error "Abuse detection reached for token"

Este mensaje aparece cuando GitHub detecta un gran número de solicitudes desde tu propio token de GitHub. No te preocupes, gitGraber puede manejar esto e intentará usar otro token definido en el archivo config.py. Nota: Este es un límite temporal y no necesitas crear otro token.

¿Recibiré los mismos tokens para el mismo repositorio cada vez que ejecute gitGraber?

No, para evitarlo, gitGraber almacena todas las URLs de los repositorios en un archivo llamado rawGitUrls.txt. Si un repositorio ya ha sido escaneado por gitGraber y se encontró una clave API, no recibirás una notificación.

¿Cómo configuro un patrón de lista negra para un token específico?

Debes editar el archivo tokens.py y agregar el patrón como argumento de lista al inicializar el token. Por ejemplo, para agregar el patrón XXXX al token MAILCHIMP, la línea tokensList.append(Token('MAILCHIMP', '\W(?:[a-f0-9]{32}(-us[0-9]{1,2}))\W')) se convierte en tokensList.append(Token('MAILCHIMP', '\W(?:[a-f0-9]{32}(-us[0-9]{1,2}))\W', ['XXXX'])).

Uso

usage: gitGraber.py [-h] [-k KEYWORDSFILE] [-q QUERY] [-s] [-w WORDLIST]

optional arguments:
  -h, --help                              Show this help message and exit
  -k KEYWORDSFILE, --keyword KEYWORDSFILE Specify a keywords file (-k keywordsfile.txt)
  -q QUERY, --query QUERY                 Specify your github query (-q "apikey")
  -m, --monitor                           Enable monitoring of your search query by creating cron job [Every 30 mins]
  -d, --discord                           Enable discord notifications
  -s, --slack                             Enable slack notifications
  -tg, --telegram                         Enable telegram notifications
  -w WORDLIST, --wordlist WORDLIST        Create a wordlist that fills dynamically with discovered filenames on GitHub
  -l LIMIT_DAYS, --limit LIMIT_DAYS       Limit the results to commits less than N days old

Por ejemplo, para buscar una palabra específica en GitHub en combinación con cada palabra del archivo keywordsfile.txt y enviar la salida a Slack:

python3 gitGraber.py -k keywordsfile.txt -q TU_PALABRA -s

Es posible buscar un nombre de dominio específico, por ejemplo, pero debe ir entre comillas dobles:

python3 gitGraber.py -k keywordsfile.txt -q \"yahoo.com\" -s

Si deseas construir una lista de palabras personalizada basada en los archivos encontrados en GitHub para usarla luego con tu herramienta de fuzzing favorita, añade el argumento -w:

python3 gitGraber.py -k keywordsfile.txt -q \"yahoo.com\" -s -w mipalabrasuper.txt

Si quieres monitorizar tu consulta de búsqueda cada 30 minutos, puedes usar la bandera -m, que indica a gitGraber que cree un trabajo cron basado en tu consulta:

python3 gitGraber.py -k keywordsfile.txt -q \"yahoo.com\" -s -m

Lo anterior buscará secretos cada 30 minutos en tu consulta de búsqueda y te enviará una notificación de Slack cuando haya coincidencias.

Dependencias

gitGraber necesita algunas dependencias. Para instalarlas en tu entorno:

pip3 install -r requirements.txt

Configuración

Antes de iniciar gitGraber debes modificar el archivo de configuración config.py:

• Añade tus propios tokens de GitHub (Personal access tokens) : GITHUB_TOKENS = ['tuToken1Aquí','tuToken2Aquí']
• Añade tu propio Webhook de Discord : DISCORD_WEBHOOKURL = 'https://discordapp.com/api/webhooks/7XXXX/XXXXXX'
• Añade tu propio Webhook de Slack : SLACK_WEBHOOKURL = 'https://hooks.slack.com/services/TXXXX/BXXXX/XXXXXXX'
• Añade tu propia Configuración de Telegram : TELEGRAM_CONFIG = { "token": "XXXXX:xXXXXXXXXXXXXX", "chat_id": -99999999 }

Para iniciar gitGraber: python3 gitGraber.py -k wordlists/keywords.txt -q "uber" -s

¿Qué claves API y servicios están soportados? (Última actualización: 12 de septiembre de 2019)

Actualmente, gitGraber soporta 31 tokens diferentes. Todos estos modelos de detección (regex) se almacenan en el archivo tokens.py:

• AWS
• FACEBOOK
• GITHUB_CLIENT_SECRET
• GOOGLE_SECRET
• GOOGLE_URL
• GOOGLE_FIREBASE_OR_MAPS
• GOOGLE_OAUTH_ACCESS_TOKEN
• HEROKU
• JSON_WEB_TOKEN
• MAILCHIMP
• MAILGUN
• PAYPAL
• PRIVATE_SSH_KEY
• PRIVATE_RSA_KEY
• PRIVATE_DSA_KEY
• PRIVATE_EC_KEY
• PRIVATE_PGP_KEY
• PRIVATE_OPENSSH_KEY
• SENDGRID_API_KEY
• SENSITIVE_URL
• SLACK_V2
• SLACK_V1
• SLACK_WEBHOOK_URL
• SQUARE_APP_SECRET
• SQUARE_PERSONAL_ACCESS_TOKEN
• STRIPE_LIVE_SECRET_KEY
• STRIPE_LIVE_RESTRICTED_KEY
• TWITTER
• TWILIO_AUTH
• TWILIO_SID
• TWILIO_API_KEY

Listas de palabras y recursos

Algunas listas de palabras y expresiones regulares han sido creadas por nosotros y otras están inspiradas en otros repositorios/investigadores:

• Enlace : https://gist.github.com/nullenc0de/fa23444ed574e7e978507178b50e1057
• Enlace : https://github.com/streaak/keyhacks
• Enlace : https://mathiasbynens.be/demo/url-regex

TAREAS PENDIENTES

• Añadir detección de falsos positivos
• Añadir argumentos para mostrar solo resultados (ocultar código de estado y otras cosas)
• Enviar solo una notificación para tokens duplicados (para servicios como Twilio)
• Filtrar para enviar notificación solo si la fecha del commit es posterior a la fecha definida en los argumentos
• Mejorar la notificación de "fecha del commit" para mostrar algo como "[+] Fecha del commit (hace 5 días)"
• Añadir argumentos para exportar resultados a un archivo
• Añadir múltiples hilos
• Mejorar la limpieza de tokens en la salida
• Añadir un módulo de "verificación combinada" (para servicios como Twilio que requieren dos tokens)
• Añadir nombres de usuario y organización en las notificaciones
• Añadir fecha del commit
• Gestionar el límite de tasa

Autores

• Reptou - Twitter : @R_Marot
• Hisxo - Twitter : @adrien_jeanneau

Colaboradores

Gracias por tu contribución y por tu ayuda para mejorar gitGraber:

• @Darkpills
• @gwendallecoguic
• @overjt
• @Abss0x7tbh
• @PatrikHudak

Aviso legal

Este proyecto está hecho únicamente con fines educativos y de pruebas éticas. El uso de esta herramienta para atacar objetivos sin el consentimiento mutuo previo es ilegal. Los desarrolladores no asumen ninguna responsabilidad y no se hacen responsables de cualquier uso indebido o daño causado por esta herramienta.