git-all-secrets

Über

git-all-secrets ist ein Werkzeug, das Folgendes kann:

• Mehrere öffentliche/private GitHub-Repositories einer Organisation klonen und scannen,
• Mehrere öffentliche/private GitHub-Repositories eines Benutzers, der zu einer Organisation gehört, klonen und scannen,
• Ein einzelnes öffentliches/privates Repository einer Organisation klonen und scannen,
• Ein einzelnes öffentliches/privates Repository eines Benutzers klonen und scannen,
• Ein einzelnes öffentliches/privates Gist eines Benutzers klonen und scannen,
• Die Repositories eines Teams in einer Organisation klonen und scannen,
• Alles oben Genannte zusammen!! Oh ja! Einfach den Namen einer Organisation angeben und alle ihre Geheimnisse erhalten. Wenn du auch Geheimnisse eines Teams innerhalb einer Organisation abrufen möchtest, gib einfach den Teamnamen zusammen mit der Organisation an.
• GitHub Enterprise Repositories und Gists klonen und scannen.

Das Scannen erfolgt durch mehrere Open-Source-Tools wie:

• truffleHog - scannt Commits nach Zeichenfolgen mit hoher Entropie und benutzerdefinierten regulären Ausdrücken,
• repo-supervisor - scannt nach Zeichenfolgen mit hoher Entropie in .js- und .json-Dateien.

HINWEIS - Weitere solche Tools können in Zukunft hinzugefügt werden, falls gewünscht! HINWEIS - Das Scannen kann mit allen Tools oder nur einem davon durchgeführt werden, indem das Flag toolName angegeben wird.

Wenn alle Tools zum Scannen verwendet werden, kombiniert die endgültige Ausgabe des Tools die Ausgaben aller Dateien aller Tools in einer konsolidierten Ausgabedatei.

Erste Schritte

Der einfachste Weg, git-all-secrets auszuführen, ist über Docker, und ich empfehle dringend, Docker zu installieren, falls du es noch nicht hast. Sobald du Docker installiert hast:

• Gib docker run --rm -it abhartiya/tools_gitallsecrets --help ein, um die verschiedenen Flags zu verstehen, die als Eingabe akzeptiert werden.
• Sobald du weißt, was du scannen möchtest, gib etwas wie docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> ein. Du kannst auch ein bestimmtes Tool zum Scannen angeben, indem du etwas wie docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=<> eingibst. Optionen sind thog und repo-supervisor.
• Wenn du truffleHog mit dem Standard-Regex UND den Einstellungen für hohe Entropie ausführen möchtest, gib das Flag thogEntropy wie folgt an: docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=thog -thogEntropy.
• Nachdem der Container fertig ausgeführt wurde, rufe die Container-ID ab, indem du docker ps -a eingibst.
• Sobald du die Container-ID hast, hole die Ergebnisdatei aus dem Container auf den Host, indem du docker cp <container-id>:/root/results.txt . eingibst.

Flags/Optionen

• -token = Persönlicher GitHub-Zugriffstoken. Wir brauchen diesen, weil unauthentifizierte Anfragen an die GitHub-API schnell die Ratenbegrenzung erreichen!

• -org = Name der zu scannenden Organisation. Dies scannt alle öffentlichen Repos in der Organisation + alle Repos und Gists aller Benutzer in der Organisation. Wenn du einen Token eines Benutzers verwendest, der Teil dieser Organisation ist, werden auch alle geheimen Gists dieses Benutzers sowie alle privaten Repos in dieser Organisation, auf die der Benutzer Zugriff hat, geklont und gescannt. Es werden jedoch KEINE privaten Repositories dieses Benutzers in dieser Organisation geklont und gescannt. Zum Scannen privater Repositories von Benutzern verwende bitte das Flag scanPrivateReposOnly zusammen mit dem Flag user und dem SSH-Schlüssel, der auf einem Volume bereitgestellt wird.

• -user = Name des zu scannenden Benutzers. Dies scannt alle Repos und Gists dieses Benutzers. Wenn der bereitgestellte Token der Token des Benutzers ist, werden auch geheime Gists geklont und gescannt. Es werden jedoch nur öffentliche Repos geklont und gescannt. Zum Scannen privater Repositories dieses Benutzers verwende bitte das Flag scanPrivateReposOnly zusammen mit dem Flag user und dem SSH-Schlüssel, der auf einem Volume bereitgestellt wird.

• -repoURL = HTTPS-URL des zu scannenden Repos. Dies scannt nur dieses Repository. Bei öffentlichen Repos reicht die Angabe der https-URL des Repos aus. Wenn du jedoch ein privates Repo scannen möchtest, musst du die ssh-URL zusammen mit dem SSH-Schlüssel auf einem Volume und dem Flag scanPrivateReposOnly angeben.

Hinweis

• Das Flag token ist obligatorisch. Es darf nicht leer sein.

• Die Flags org, user, repoURL und gistURL dürfen nicht alle gleichzeitig leer sein. Du musst nur einen dieser Werte angeben. Wenn du alle oder mehrere Werte zusammen angibst, ist die Reihenfolge der Priorität: org > user > repoURL > gistURL. Wenn du z.B. beide Flags -org=secretorg123 und -user=secretuser1 zusammen angibst, wird das Tool melden, dass es nichts zusammen mit dem Wert org benötigt. Um es nur gegen einen bestimmten Benutzer auszuführen, muss nur das Flag user angegeben werden, nicht das Flag .

Scannen privater Repositories

Der sicherste Weg, private Repositories zu scannen, ist das Klonen mit SSH-URLs. Um dies zu erreichen, muss ein entsprechender SSH-Schlüssel platziert werden, der zu einem GitHub-Benutzer hinzugefügt wurde. GitHub hat hilfreiche Dokumentation zur Konfiguration deines Kontos. Stelle sicher, dass dieser Schlüssel keine Passphrase gesetzt hat. Sobald du den SSH-Schlüssel hast, mounte ihn einfach über ein Volume in den Docker-Container. So einfach wie die folgenden Befehle:

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -user=<> -scanPrivateReposOnly

ODER

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -repoURL=<> -scanPrivateReposOnly

Hier ordne ich meinen persönlichen SSH-Schlüssel id_rsa_personal, der lokal gespeichert ist, auf /root/.ssh/id_rsa innerhalb des Containers zu, damit git-all-secrets versucht, das Repo über ssh zu klonen und den SSH-Schlüssel verwendet, der unter /root/.ssh/id_rsa im Container gespeichert ist. Auf diese Weise speicherst du nichts Sensibles wirklich im Container. Du verwendest nur eine Datei von deinem lokalen Rechner. Sobald der Container zerstört wird, hat er keinen Zugriff mehr auf diesen Schlüssel.

Scannen eines Organisations-Teams

Die GitHub-API schränkt die Umstände ein, unter denen ein privates Repository gemeldet wird. Wenn man versucht, eine Organisation mit einem Benutzer zu scannen, der kein Admin ist, musst du möglicherweise das Team angeben, das dem Benutzer Repository-Zugriff gewährt. Verwende dazu das Flag teamName zusammen mit dem Flag org. Ein Beispiel unten:

docker run --it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -org=<> -teamName <>

Scannen von GitHub Enterprise

git-all-secrets unterstützt jetzt auch das Scannen von GitHub Enterprise. Wenn du dein eigenes GitHub Enterprise hinter einem VPN oder ähnlichem hostest, stelle sicher, dass du mit dem VPN verbunden bist oder im richtigen Netzwerk, das Zugriff auf die GitHub-Enterprise-Repos hat. Die enterpriseURL wird benötigt, um deine GitHub-Enterprise-Repos zu scannen. Nachfolgend einige Beispiele:

Beispiel 1:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git

Hier mounte ich nun meinen GitHub-Enterprise-SSH-Schlüssel auf den Container, gefolgt von meinem persönlichen Zugriffstoken, der Enterprise-URL, an die die Anfragen gesendet werden, und dem Repo, das ich scannen möchte.

Beispiel 2:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git -toolName thog -thogEntropy

Oben führe ich nun nur truffleHog gegen das Repository mit den Entropie-Einstellungen aus.

Beispiel 3:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -user <username> -scanPrivateReposOnly

Oben scanne ich nur die privaten Repositories des Benutzers, dessen Token bereitgestellt wird, mit allen Tools (repo-supervisor und thog), jedoch ohne die Entropie-Einstellung von truffleHog.

TODO

• Testen der Team-Scan-Funktionalität
• Den Goroutine-Fehler beheben - HOFFENTLICH ERLEDIGT!
• Unterstützung für das Scannen von GitHub Enterprise hinzufügen - ERLEDIGT!
• Unterstützung für das Klonen und Scannen privater Repositories einer Organisation hinzufügen - ERLEDIGT!
• Ersetzen von gitsecrets durch die neue Regex-Funktionalität in truffleHog - ERLEDIGT!
• Unterstützung für das Scannen privater Benutzer-Repositories über SSH-Schlüssel hinzufügen - ERLEDIGT!
• Flag hinzufügen, um das Scannen von Forks zu vermeiden - ERLEDIGT!

Details

Funktionen

• Du kannst deine eigenen regulären Ausdrücke in der Datei rules.json hinzufügen und sie beim Ausführen von docker run mit dem Argument -v $(pwd)/rules.json:/root/truffleHog/rules.json einbinden.
• Das Tool sucht nach einigen Standard-RegEx. Bei Bedarf kann es auch auf Zeichenfolgen mit hoher Entropie eingestellt werden. All dies geschieht über das Tool truffleHog.
• Es kann nach Zeichenfolgen mit hoher Entropie in .js- und .json-Dateien über das Tool repo-supervisor suchen.
• Es scannt Benutzer-Gists, was die meisten Tools nicht tun.
• Falls es ein neues gutes Tool gibt, kann es ziemlich mühelos in git-all-secrets integriert werden.
• Es ist für die Integration mit anderen Tools und Frameworks konzipiert. Es nimmt einige Eingabeparameter entgegen und erzeugt eine Ausgabedatei mit den Ergebnissen. Ziemlich unkompliziert!
• Es unterstützt auch das Scannen von GitHub-Enterprise-Orgs/Benutzern/Repos/Gists.
• Die meisten verfügbaren Tools sind darauf ausgelegt, einzelne Repositories zu scannen. Wenn du sie über mehrere Repositories schleifen lassen möchtest, müsstest du deine eigene for-Schleife in einem Shell-Skript oder ähnliches schreiben. git-all-secrets kann dir helfen, mehrere Repositories auf einmal zu scannen.
• Du kannst jetzt die Ausgaben beider Tools in eine JSON-Datei zusammenführen, die dann in anderen Automatisierungstools/-frameworks verwendet werden kann.

Motivation

Ich habe mir eine große Anzahl von Open-Source-Tools angesehen, die potenziell verwendet werden könnten, um nach Geheimnissen in GitHub-Repositories zu suchen. Einige der besten Tools, die ich für gut hielt, sind: gitrob, truffleHog und git-secrets.

Gitrob ist als eigenständiges Tool gedacht, das ziemlich schwierig in andere Tools zu integrieren ist, da es eine eigene Datenbank und Benutzeroberfläche hat, um alle entdeckten Geheimnisse anzuzeigen. Es produziert auch eine Menge falscher Positivmeldungen, mehr als truffleHog. Und es hebt die entdeckten Geheimnisse nicht wirklich hervor. Es schaut nur auf die Dateien und ihre Erweiterungen, nicht auf den tatsächlichen Inhalt. Obwohl Gitrob ein großartiges Tool für den Einstieg ist, würde ich empfehlen, es gelegentlich auszuführen, um zu verstehen, wie die Angriffsfläche aussieht und ob sie sich geändert hat.

Dann gibt es truffleHog, das nach Geheimnissen im tatsächlichen Inhalt der Datei sucht, indem es Shannons Entropie betrachtet und die Ausgabe auf dem Bildschirm ausgibt. Es nimmt eine Repository-URL oder ein Repository-Verzeichnis als Argument. Dies ist ein ziemlich gutes Tool, obwohl es auch seine Fehlalarme hat. Einige der anderen Nachteile sind:

• Wir können es nicht rekursiv verwenden, um Verzeichnisse zu scannen, die mehrere Repositories enthalten.
• Es gibt keine Möglichkeit, mit truffleHog Geheimnisse zu identifizieren, die einem bestimmten Muster folgen, aber keine ausreichend hohe Entropie haben – d.h. wir können es nicht nach Geheimnissen suchen lassen, die wir kennen, aber nicht unbedingt eine hohe Entropie aufweisen, um als Geheimnis zu gelten.
• Es druckt die Ausgabe auf dem Bildschirm, daher für die Automatisierung nicht wirklich nützlich.

Schließlich gibt es git-secrets, das Dinge wie AWS-Geheimnisse kennzeichnen kann. Das Beste daran ist, dass du auch deine eigenen regulären Ausdrücke für Geheimnisse hinzufügen kannst, nach denen es suchen soll. Ein großer Nachteil ist, dass es bei der Suche nach hohen Entropie-Strings nicht so gut ist wie truffleHog. Du kannst auch nur ein bestimmtes Verzeichnis scannen, das ein Repository ist, also kein rekursives Scannen aus einem Verzeichnis von Repositories.

Wie du siehst, gibt es anständige Tools da draußen, aber sie mussten irgendwie kombiniert werden. Es gab auch die Notwendigkeit, mehrere Repositories rekursiv zu scannen und nicht nur eines. Und was ist mit Gists? Es gibt Organisationen und Benutzer. Dann gibt es Repositories für Organisationen und Benutzer. Es gibt auch Gists von Benutzern. Alle sollten gescannt werden. Und zwar so, dass es automatisiert und leicht von anderen Tools/Frameworks konsumiert werden kann.

Changelog

• 2/9/19 - Flag blacklist hinzugefügt, um einige Repo-Namen beim Scannen zu überspringen. Danke an @sjqnn für den PR. Neues Docker-Image erstellt und gepusht. GLHF!

• 31.07.18 - Installation von truffleHog durch Verwendung von pip vereinfacht. @mhmdiaa hat einen Fehler in der Ausgabefunktion von truffleHog behoben, bei dem das Zusammenführen und Sortieren nicht richtig funktionierte. Die Regex-Datei aktualisiert, um Dinge wie password einzuschließen. Neues Docker-Image erstellt und gepusht. GLHF!

• 15.07.18 - Fork von repo-supervisor aktualisiert, da Upstream einige Änderungen hatte. Neues Docker-Image mit dem neuesten Trufflehog erstellt. Datei rules.json bereitgestellt, die alle Regexe enthält, die Trufflehog zum Auffinden von Geheimnissen verwendet. Möglichkeit hinzugefügt, Ausgaben (im JSON-Format) für beide Tools mit dem Flag -mergeOutput zusammenzuführen. Docker-Image-Größe drastisch reduziert durch Verwendung von Multi-Stage-Builds und dep zur Verwaltung von Abhängigkeiten. Großer Dank an @mhmdiaa für all das!

• 12.12.17 - Bei einigen großen Repos schlägt truffleHog fehl und beendet sich. Aber wir wollen dort nicht aufhören. Wir wollen den Benutzer benachrichtigen, dass das Scannen für dieses Repo fehlgeschlagen ist, und mit dem Scannen der anderen Repos fortfahren. Dies ist jetzt im neuesten Docker-Image implementiert.

• 11.12.17 - gitsecrets entfernt, da truffleHog jetzt Regex-Funktionalität unterstützt. Einfach deine Regexe in die Datei rules.json einfügen und das Docker-Image neu erstellen, gibt uns im Wesentlichen die Funktionalität, die gitsecrets zuvor bot, daher gibt es keine Notwendigkeit für gitsecrets mehr. Ich habe auch Unterstützung für das Scannen von GitHub-Enterprise-Repos und -Gists hinzugefügt. @high-stakes hat mit einem PR geholfen, der (hoffentlich) den Goroutine-Fehler behebt, indem die Anzahl der Threads begrenzt wird. Schließlich wurde auch die Unterstützung für das Scannen privater Repositories einer Organisation hinzugefügt.

Spenden

Wenn Sie etwas Liebe zeigen möchten, hier ist meine BTC-Wallet-Adresse: 1PtMhXWCcMZCitcDfaEBe7jnV9sjKoNvq7.