À propos de gitGraber

gitGraber est un outil développé en Python3 pour surveiller GitHub, rechercher et trouver des données sensibles en temps réel pour différents services en ligne tels que : Google, Amazon (AWS), Paypal, Github, Mailgun, Facebook, Twitter, Heroku, Stripe, Twilio...

Comment ça fonctionne ?

Il est important de comprendre que gitGraber n'est pas conçu pour vérifier l'historique des dépôts, de nombreux outils peuvent déjà le faire très bien. gitGraber a été développé à l'origine pour surveiller et analyser les derniers fichiers indexés sur GitHub. Si gitGraber trouve quelque chose d'intéressant, vous recevrez une notification sur votre canal Slack. Vous pouvez également l'utiliser pour obtenir des résultats directement en ligne de commande.

D'après notre expérience, nous sommes convaincus que les fuites ne proviennent pas uniquement des organisations elles-mêmes, mais aussi des fournisseurs de services et des employés, qui n'ont pas nécessairement un « profil » indiquant qu'ils travaillent pour une organisation particulière.

Les expressions régulières sont censées être aussi précises que possible. Parfois, vous aurez peut-être des faux positifs, n'hésitez pas à contribuer pour améliorer la reconnaissance et ajouter de nouvelles expressions régulières pour la détection de motifs.

Nous préférons réduire les faux positifs plutôt que d'envoyer une notification pour chaque clé API « standard » qui pourrait être trouvée par gitGraber mais non pertinente pour votre surveillance.

F.A.Q

Pourquoi je ne vois que « Github query » et « Status code : 200 » dans la sortie ?

gitGraber affiche certaines choses directement dans la CLI : GitHub request, détection d'abus de code d'état (200 ou 403)... et si vous ne voyez pas quelque chose comme [+] POSSIBLE FOO TOKEN FOUND c'est simplement parce que gitGraber n'a pas trouvé de jetons secrets pour votre mot-clé défini.

À propos du message d'erreur « Abuse detection reached for token »

Ce message apparaît lorsque GitHub détecte un grand nombre de requêtes provenant de votre propre jeton GitHub. Ne vous inquiétez pas, gitGraber peut gérer cela et il essaiera d'utiliser un autre jeton défini dans le fichier config.py. Remarque : Il s'agit d'une limite temporaire et vous n'avez pas besoin de créer un autre jeton.

Vais-je recevoir les mêmes jetons pour le même dépôt à chaque exécution de gitGraber ?

Non, pour éviter cela, gitGraber stocke toutes les URL de dépôts dans un fichier nommé rawGitUrls.txt. Si un dépôt a déjà été scanné par gitGraber et qu'une clé API a été trouvée, vous ne recevrez pas de notification.

Comment définir un motif sur liste noire pour un jeton spécifique ?

Vous devez éditer le fichier tokens.py et ajouter le motif comme argument de liste lors de l'initialisation du jeton. Par exemple, pour ajouter le motif XXXX au jeton MAILCHIMP, la ligne tokensList.append(Token('MAILCHIMP', '\W(?:[a-f0-9]{32}(-us[0-9]{1,2}))\W')) devient tokensList.append(Token('MAILCHIMP', '\W(?:[a-f0-9]{32}(-us[0-9]{1,2}))\W', ['XXXX'])).

Utilisation

usage: gitGraber.py [-h] [-k KEYWORDSFILE] [-q QUERY] [-s] [-w WORDLIST]

optional arguments:
  -h, --help                              Show this help message and exit
  -k KEYWORDSFILE, --keyword KEYWORDSFILE Specify a keywords file (-k keywordsfile.txt)
  -q QUERY, --query QUERY                 Specify your github query (-q "apikey")
  -m, --monitor                           Enable monitoring of your search query by creating cron job [Every 30 mins]
  -d, --discord                           Enable discord notifications
  -s, --slack                             Enable slack notifications
  -tg, --telegram                         Enable telegram notifications
  -w WORDLIST, --wordlist WORDLIST        Create a wordlist that fills dynamically with discovered filenames on GitHub
  -l LIMIT_DAYS, --limit LIMIT_DAYS       Limit the results to commits less than N days old

Par exemple, pour rechercher un mot spécifique dans github en combinaison avec chaque mot du fichier keywordsfile.txt et l'envoyer sur Slack :

python3 gitGraber.py -k keywordsfile.txt -q YOURWORD -s

Il est possible de rechercher un nom de domaine spécifique par exemple, mais cela doit être entouré de guillemets doubles :

python3 gitGraber.py -k keywordsfile.txt -q \"yahoo.com\" -s

Si vous souhaitez créer une liste de mots personnalisée basée sur les fichiers trouvés sur Github pour l'utiliser ensuite avec votre outil de fuzzing préféré, ajoutez l'argument -w :

python3 gitGraber.py -k keywordsfile.txt -q \"yahoo.com\" -s -w mysuperwordlist.txt

Si vous souhaitez surveiller votre requête de recherche toutes les 30 minutes, vous pouvez utiliser le drapeau -m qui indique à gitGraber de créer une tâche cron basée sur votre requête :

python3 gitGraber.py -k keywordsfile.txt -q \"yahoo.com\" -s -m

La commande ci-dessus recherchera des secrets toutes les 30 minutes sur votre requête de recherche et vous enverra une notification Slack dès qu'il y aura des résultats.

Dépendances

gitGraber a besoin de certaines dépendances, pour les installer sur votre environnement :

pip3 install -r requirements.txt

Configuration

Avant de démarrer gitGraber, vous devez modifier le fichier de configuration config.py :

• Ajoutez vos propres jetons GitHub (Personal access tokens) : GITHUB_TOKENS = ['yourToken1Here','yourToken2Here']
• Ajoutez votre propre Webhook Discord : DISCORD_WEBHOOKURL = 'https://discordapp.com/api/webhooks/7XXXX/XXXXXX'
• Ajoutez votre propre Webhook Slack : SLACK_WEBHOOKURL = 'https://hooks.slack.com/services/TXXXX/BXXXX/XXXXXXX'
• Ajoutez votre propre configuration Telegram : TELEGRAM_CONFIG = { "token": "XXXXX:xXXXXXXXXXXXXX", "chat_id": -99999999 }

Pour démarrer gitGraber : python3 gitGraber.py -k wordlists/keywords.txt -q "uber" -s

Quelles clés API et services sont pris en charge ? (Dernière mise à jour : 12 septembre 2019)

Actuellement, gitGraber prend en charge 31 jetons différents. Tous ces modèles de détection (expressions régulières) sont stockés dans le fichier tokens.py :

• AWS
• FACEBOOK
• GITHUB_CLIENT_SECRET
• GOOGLE_SECRET
• GOOGLE_URL
• GOOGLE_FIREBASE_OR_MAPS
• GOOGLE_OAUTH_ACCESS_TOKEN
• HEROKU
• JSON_WEB_TOKEN
• MAILCHIMP
• MAILGUN
• PAYPAL
• PRIVATE_SSH_KEY
• PRIVATE_RSA_KEY
• PRIVATE_DSA_KEY
• PRIVATE_EC_KEY
• PRIVATE_PGP_KEY
• PRIVATE_OPENSSH_KEY
• SENDGRID_API_KEY
• SENSITIVE_URL
• SLACK_V2
• SLACK_V1
• SLACK_WEBHOOK_URL
• SQUARE_APP_SECRET
• SQUARE_PERSONAL_ACCESS_TOKEN
• STRIPE_LIVE_SECRET_KEY
• STRIPE_LIVE_RESTRICTED_KEY
• TWITTER
• TWILIO_AUTH
• TWILIO_SID
• TWILIO_API_KEY

Listes de mots et ressources

Certaines listes de mots et expressions régulières ont été créées par nous et d'autres sont inspirées d'autres dépôts/chercheurs :

• Lien : https://gist.github.com/nullenc0de/fa23444ed574e7e978507178b50e1057
• Lien : https://github.com/streaak/keyhacks
• Lien : https://mathiasbynens.be/demo/url-regex

À faire

• Ajouter une détection de faux positifs
• Ajouter des arguments pour n'afficher que les résultats (pour masquer le code d'état et autres)
• N'envoyer qu'une seule notification pour les jetons doubles (pour des services comme Twilio)
• Filtrer pour n'envoyer une notification que si la date du commit est supérieure à la date définie dans les arguments
• Améliorer la notification « date du commit » pour afficher quelque chose comme « [+] Date du commit (il y a 5 jours) »
• Ajouter des arguments pour afficher les résultats dans un fichier
• Ajouter du multithreading
• Améliorer le nettoyage des jetons dans la sortie
• Ajouter un module de « vérification combinée » (pour des services comme Twilio qui nécessitent deux jetons)
• Ajouter l'affichage des noms d'utilisateur et d'organisation dans les notifications
• Ajouter la date du commit
• Gérer la limite de débit

Auteurs

• Reptou - Twitter : @R_Marot
• Hisxo - Twitter : @adrien_jeanneau

Contributeurs

Merci pour votre contribution et pour votre aide à améliorer gitGraber :

• @Darkpills
• @gwendallecoguic
• @overjt
• @Abss0x7tbh
• @PatrikHudak

Avertissement

Ce projet est conçu uniquement à des fins éducatives et de tests éthiques. L'utilisation de cet outil pour attaquer des cibles sans consentement mutuel préalable est illégale. Les développeurs déclinent toute responsabilité et ne sont pas responsables de toute mauvaise utilisation ou dommage causé par cet outil.