git-all-secrets

À propos

git-all-secrets est un outil qui peut :

• Cloner plusieurs dépôts GitHub publics/privés d'une organisation et les scanner,
• Cloner plusieurs dépôts GitHub publics/privés d'un utilisateur appartenant à une organisation et les scanner,
• Cloner un seul dépôt public/privé d'une organisation et le scanner,
• Cloner un seul dépôt public/privé d'un utilisateur et le scanner,
• Cloner un seul gist public/secret d'un utilisateur et le scanner,
• Cloner les dépôts d'une équipe dans une organisation et les scanner,
• Tout ce qui précède ensemble !! Oh oui !! Fournissez simplement un nom d'organisation et obtenez tous leurs secrets. Si vous voulez aussi obtenir les secrets d'une équipe au sein d'une organisation, mentionnez simplement le nom de l'équipe avec l'org.
• Clonez et scannez également les dépôts et gists de Github Enterprise.

Le scan est effectué par plusieurs outils open source tels que :

• truffleHog - scanne les commits pour les chaînes à haute entropie et les expressions régulières fournies par l'utilisateur,
• repo-supervisor - scanne les chaînes à haute entropie dans les fichiers .js et .json

NOTE - D'autres outils de ce type peuvent être ajoutés à l'avenir, si désiré ! NOTE - Le scan peut être effectué par tous les outils ou l'un d'eux en spécifiant le drapeau toolName.

Si tous les outils sont utilisés pour le scan, la sortie finale de l'outil combine les sorties de tous les fichiers de tous les outils en un fichier de sortie consolidé.

Pour commencer

Le moyen le plus simple d'exécuter git-all-secrets est via Docker et je recommande vivement d'installer Docker si vous ne l'avez pas déjà. Une fois Docker installé,

• Tapez docker run --rm -it abhartiya/tools_gitallsecrets --help pour comprendre les différents drapeaux qu'il peut accepter en entrée.
• Une fois que vous savez ce que vous voulez scanner, tapez quelque chose comme docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<>. Vous pouvez aussi spécifier un outil particulier pour le scan en tapant quelque chose comme docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=<>. Les options sont thog et repo-supervisor.
• Si vous voulez exécuter truffleHog avec l'expression régulière par défaut ET les paramètres de haute entropie, fournissez le drapeau thogEntropy comme ceci - docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=thog -thogEntropy.
• Une fois que le conteneur a fini de s'exécuter, récupérez l'ID du conteneur en tapant docker ps -a.
• Une fois que vous avez l'ID du conteneur, obtenez le fichier de résultats du conteneur vers l'hôte en tapant docker cp <container-id>:/root/results.txt .

Drapeaux/Options

• -token = Jeton d'accès personnel Github. Nous en avons besoin car les requêtes non authentifiées à l'API Github peuvent atteindre la limite de débit assez rapidement !

• -org = Nom de l'organisation à scanner. Cela scannera tous les dépôts publics de l'organisation + tous les dépôts et gists de tous les utilisateurs de l'organisation. Si vous utilisez un jeton d'un utilisateur qui fait partie de cette organisation, il clonera et scannera également tous les gists secrets appartenant à cet utilisateur ainsi que tous les dépôts privés de cette organisation auxquels l'utilisateur a accès. Cependant, il ne clonera et ne scannera PAS les dépôts privés de cet utilisateur appartenant à cette organisation. Pour scanner les dépôts privés des utilisateurs, veuillez utiliser le drapeau scanPrivateReposOnly avec le drapeau user ainsi que la clé SSH montée sur un volume.

• -user = Nom de l'utilisateur à scanner. Cela scannera tous les dépôts et gists de cet utilisateur. Si le jeton fourni est le jeton de l'utilisateur, les gists secrets seront également clonés et scannés. Mais seuls les dépôts publics seront clonés et scannés. Pour scanner les dépôts privés de cet utilisateur, veuillez utiliser le drapeau scanPrivateReposOnly avec le drapeau user ainsi que la clé SSH montée sur un volume.

• -repoURL = URL HTTPS du dépôt à scanner. Cela scannera uniquement ce dépôt. Pour les dépôts publics, mentionner l'URL https du dépôt suffit. Cependant, si vous souhaitez scanner un dépôt privé, vous devez fournir l'URL ssh avec la clé SSH montée sur un volume et le drapeau scanPrivateReposOnly.

• -gistURL = URL HTTPS du gist à scanner. Cela scannera uniquement ce gist. Il n'y a pas de concept de gist public ou secret tant que vous avez l'URL. Même si vous avez un gist secret, si quelqu'un connaît l'URL HTTPS de votre gist secret, il peut y accéder aussi.

Remarque

• Le drapeau token est obligatoire. Il ne peut pas être vide.

• Les drapeaux org, user, repoURL et gistURL ne peuvent pas tous être vides en même temps. Vous devez fournir une seule de ces valeurs. Si vous fournissez toutes ou plusieurs valeurs ensemble, l'ordre de précédence sera org > user > repoURL > gistURL. Par exemple, si vous fournissez les deux drapeaux -org=secretorg123 et -user=secretuser1 ensemble, l'outil se plaindra qu'il n'a besoin de rien d'autre avec la valeur org. Pour l'exécuter uniquement sur un utilisateur particulier, il suffit de fournir le drapeau user et non le drapeau .

Scanner les dépôts privés

Le moyen le plus sûr de scanner les dépôts privés est de cloner en utilisant les URL SSH. Pour ce faire, il faut placer une clé SSH appropriée qui a été ajoutée à un utilisateur Github. Github a une documentation utile pour configurer votre compte. Assurez-vous que cette clé n'a pas de phrase de passe définie. Une fois que vous avez la clé SSH, montez-la simplement dans le conteneur Docker via un volume. C'est aussi simple que de taper les commandes ci-dessous :

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -user=<> -scanPrivateReposOnly

OU

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -repoURL=<> -scanPrivateReposOnly

Ici, je mappe ma clé SSH personnelle id_rsa_personal stockée localement vers /root/.ssh/id_rsa à l'intérieur du conteneur afin que git-all-secrets essaie de cloner le dépôt via ssh et utilisera la clé SSH stockée à /root/.ssh/id_rsa à l'intérieur du conteneur. De cette façon, vous ne stockez rien de sensible à l'intérieur du conteneur. Vous utilisez simplement un fichier de votre machine locale. Une fois le conteneur détruit, il n'a plus accès à cette clé.

Scanner une équipe d'organisation

L'API Github limite les circonstances dans lesquelles un dépôt privé est signalé. Si l'on essaie de scanner une organisation avec un utilisateur qui n'est pas administrateur, vous devrez peut-être fournir l'équipe qui donne l'accès au dépôt à l'utilisateur. Pour ce faire, utilisez le drapeau teamName avec le drapeau org. Voici un exemple :

docker run --it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -org=<> -teamName <>

Scanner Github Enterprise

git-all-secrets prend désormais en charge le scan de Github Enterprise également. Si vous avez votre propre Github Enterprise hébergé derrière un VPN ou autre, assurez-vous d'être connecté au VPN ou au réseau correct qui a accès aux dépôts Github Enterprise. L'enterpriseURL est ce dont vous avez besoin pour scanner vos dépôts Github Enterprise. Voici quelques exemples :

Exemple 1 :

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git

Ici, je monte ma clé SSH d'entreprise Github sur le conteneur, suivie de mon jeton d'accès personnel, de l'URL d'entreprise à laquelle les requêtes seront envoyées et du dépôt que je veux scanner.

Exemple 2 :

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git -toolName thog -thogEntropy

Ci-dessus, j'exécute maintenant uniquement truffleHog contre le dépôt avec les paramètres d'entropie.

Exemple 3 :

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -user <username> -scanPrivateReposOnly

Ci-dessus, je scanne uniquement les dépôts privés de l'utilisateur dont le jeton est fourni avec tous les outils (repo-supervisor et thog), mais sans le paramètre d'entropie de truffleHog.

TODO

• Tester la fonctionnalité de scan d'équipe
• Corriger le bug de Goroutine - Espérons que c'est FAIT !
• Prise en charge du scan Github Enterprise FAIT !
• Prise en charge du clonage et du scan des dépôts privés d'une organisation - FAIT !
• Remplacer gitsecrets par la nouvelle fonctionnalité Regex dans truffleHog - FAIT !
• Ajout de la prise en charge du scan des dépôts utilisateur privés via les clés SSH - FAIT !
• Ajout d'un drapeau pour éviter de scanner les forks - FAIT !

Détails

Fonctionnalités

• Vous pouvez ajouter vos propres expressions régulières dans le fichier rules.json et l'inclure lors de l'exécution de docker run en utilisant l'argument -v $(pwd)/rules.json:/root/truffleHog/rules.json.
• L'outil recherche certaines expressions régulières par défaut. Si nécessaire, il peut également être configuré pour les chaînes à haute entropie. Tout cela se fait via l'outil truffleHog.
• Il peut rechercher des chaînes à haute entropie dans les fichiers .js et .json via l'outil repo-supervisor.
• Il scanne les gists des utilisateurs, ce que la plupart des outils ne font pas.
• S'il y a un nouvel outil intéressant, il peut être intégré dans git-all-secrets assez facilement.
• Il est conçu pour l'intégration avec d'autres outils et frameworks. Il prend quelques paramètres d'entrée et produit un fichier de sortie des résultats. Assez simple !
• Il prend également en charge le scan des organisations/utilisateurs/dépôts/gists Github Enterprise.
• La plupart des outils disponibles sont conçus pour scanner des dépôts individuels. Si vous voulez les exécuter en boucle sur plusieurs dépôts, vous devrez écrire votre propre boucle for dans un script shell ou quelque chose comme ça. git-all-secrets peut vous aider à scanner plusieurs dépôts en une seule fois.
• Vous pouvez désormais fusionner les sorties des deux outils dans un fichier json qui peut ensuite être utilisé dans d'autres outils/frameworks d'automatisation.

Motivation

J'ai examiné un grand nombre d'outils open source qui pourraient potentiellement être utilisés pour rechercher des secrets dans les dépôts Github. Certains des meilleurs outils que j'ai trouvés sont : gitrob, truffleHog et git-secrets.

Gitrob est conçu comme un outil autonome qui est assez difficile à intégrer avec d'autres outils car il a sa propre base de données et interface utilisateur pour voir tous les secrets découverts. Il produit également un grand nombre de faux positifs, plus que truffleHog. Et il ne met pas vraiment en évidence les secrets découverts. Il regarde simplement les fichiers et leurs extensions, pas le contenu réel. Donc, bien que Gitrob soit un excellent outil pour commencer, je recommanderais de l'exécuter de temps en temps pour comprendre à quoi ressemble la surface d'attaque et voir si elle a changé.

Ensuite, il y a truffleHog qui recherche les secrets dans le contenu réel du fichier en examinant l'entropie de Shannon et imprime la sortie à l'écran. Il prend une URL de dépôt ou un répertoire de dépôt comme argument. C'est un assez bon outil bien qu'il ait aussi sa part de faux positifs. Certains des autres inconvénients sont :

• Nous ne pouvons pas l'utiliser récursivement pour scanner des répertoires contenant plusieurs dépôts.
• Il n'y a aucun moyen d'utiliser truffleHog pour identifier des secrets qui suivent un certain modèle mais n'ont pas une entropie assez élevée, c'est-à-dire que nous ne pouvons pas le faire rechercher des secrets que nous connaissons mais qui n'ont pas nécessairement une entropie élevée pour être considérés comme un secret.
• Il imprime la sortie à l'écran, donc pas vraiment utile pour l'automatisation.

Enfin, il y a git-secrets qui peut signaler des choses comme les secrets AWS. Le meilleur aspect est que vous pouvez également ajouter vos propres expressions régulières pour les secrets que vous savez qu'il devrait rechercher. Un inconvénient majeur est qu'il ne fait pas du bon travail pour trouver des chaînes à haute entropie comme le fait truffleHog. Vous ne pouvez également scanner qu'un répertoire particulier qui est un dépôt, donc pas de scan récursif à partir d'un répertoire de dépôts non plus.

Donc, comme vous pouvez le voir, il existe des outils décents, mais ils devaient être combinés d'une manière ou d'une autre. Il y avait aussi un besoin de scanner récursivement plusieurs dépôts et pas seulement un. Et qu'en est-il des gists ? Il y a des organisations et des utilisateurs. Ensuite, il y a des dépôts pour les organisations et les utilisateurs. Il y a aussi des gists par les utilisateurs. Tout cela devrait être scanné. Et, scanné de manière à pouvoir être automatisé et facilement consommé par d'autres outils/frameworks.

Journal des modifications

• 2/9/19 - Ajout du drapeau blacklist pour ignorer certains noms de dépôts lors du scan. Merci à @sjqnn pour la PR. Construit et poussé une nouvelle image Docker. GLHF !

• 31/07/18 - Simplification de l'installation de trufflehog en utilisant pip. @mhmdiaa a corrigé un bug concernant la fonction de sortie de trufflehog qui ne fusionnait et ne triait pas correctement. Mise à jour du fichier regex pour inclure des choses comme password. Construit et poussé une nouvelle image Docker. GLHF !

• 15/07/18 - Mise à jour du fork de repo-supervisor car l'upstream avait quelques changements. Reconstruit une nouvelle image Docker utilisant la dernière version de Trufflehog. Fourni le fichier rules.json qui contient toutes les regex que Trufflehog utilise pour trouver les secrets. Ajout de la possibilité de fusionner les sorties (en json) des deux outils en utilisant le drapeau -mergeOutput. Réduction drastique de la taille de l'image Docker en utilisant des constructions multi-étapes et dep pour gérer les dépendances. Un grand merci à @mhmdiaa pour tout cela !

• 12/12/17 - Pour certains gros dépôts, truffleHog échoue et se termine. Mais nous ne voulons pas nous arrêter là. Nous voulons avertir l'utilisateur que le scan a échoué pour ce dépôt et continuer à scanner les autres dépôts. Ceci est maintenant implémenté dans la dernière image docker.

• 11/12/17 - Suppression de gitsecrets car truffleHog supporte maintenant les regex. En ajoutant simplement vos regex dans le fichier rules.json et en reconstruisant l'image Docker, nous obtenons essentiellement la fonctionnalité que gitsecrets offrait auparavant, donc gitsecrets n'est plus nécessaire. J'ai également ajouté le support pour scanner les dépôts et gists Github Enterprise. @high-stakes a aidé à soumettre une PR qui (espérons-le) corrige le bug de Goroutine en limitant le nombre de threads. Enfin, le support pour le scan des dépôts privés d'une organisation a également été ajouté.

• 08/12/17 - Suppression de mon propre fork de truffleHog. Utilisation de la version upstream maintenant avec la fonctionnalité regex de truffleHog + mode entropie. Bientôt, je pense que nous pourrons remplacer à la fois gitsecrets et repo supervisor par uniquement truffleHog une fois certains problèmes résolus.

Faire un don

Si vous voulez montrer votre soutien, mon adresse de portefeuille BTC est 1PtMhXWCcMZCitcDfaEBe7jnV9sjKoNvq7.