git-all-secrets

Informazioni

git-all-secrets è uno strumento in grado di:

• Clonare più repository GitHub pubblici/privati di un'organizzazione e scansionarli,
• Clonare più repository GitHub pubblici/privati di un utente che appartiene a un'organizzazione e scansionarli,
• Clonare un singolo repository pubblico/privato di un'organizzazione e scannerizzarlo,
• Clonare un singolo repository pubblico/privato di un utente e scannerizzarlo,
• Clonare un singolo gist pubblico/segreto di un utente e scannerizzarlo,
• Clonare i repository di un team all'interno di un'organizzazione e scansionarli,
• Tutto quanto sopra insieme!! Oh sì!! Basta fornire il nome di un'organizzazione e ottenere tutti i loro segreti. Se vuoi anche ottenere i segreti di un team all'interno di un'organizzazione, basta menzionare il nome del team insieme all'organizzazione.
• Clonare e scansionare anche repository e gist di GitHub Enterprise.

La scansione viene eseguita da diversi strumenti open source come:

• truffleHog - scansiona i commit per stringhe ad alta entropia ed espressioni regolari fornite dall'utente,
• repo-supervisor - scansiona le stringhe ad alta entropia nei file .js e .json

NOTA - È possibile aggiungere altri strumenti simili in futuro, se desiderato! NOTA - La scansione può essere eseguita da tutti gli strumenti o da uno qualsiasi di essi specificando il flag toolName.

Se vengono utilizzati tutti gli strumenti per la scansione, l'output finale dello strumento combina l'output di tutti i file di tutti gli strumenti in un unico file di output consolidato.

Per iniziare

Il modo più semplice per eseguire git-all-secrets è tramite Docker e consiglio vivamente di installare Docker se non lo hai già. Una volta installato Docker,

• Digita docker run --rm -it abhartiya/tools_gitallsecrets --help per comprendere i diversi flag che può accettare come input.
• Una volta che sai cosa vuoi scansionare, digita qualcosa come docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<>. Puoi anche specificare uno strumento particolare da utilizzare per la scansione digitando qualcosa come docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=<>. Le opzioni sono thog e repo-supervisor.
• Se vuoi eseguire truffleHog con l'espressione regolare predefinita E le impostazioni di alta entropia, fornisci il flag thogEntropy in questo modo - docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=thog -thogEntropy.
• Dopo che il container ha terminato l'esecuzione, recupera l'ID del container digitando docker ps -a.
• Una volta che hai l'ID del container, ottieni il file dei risultati dal container all'host digitando docker cp <container-id>:/root/results.txt .

Flag/Opzioni

• -token = Token di accesso personale di GitHub. Ne abbiamo bisogno perché le richieste non autenticate all'API di GitHub possono incontrare la limitazione della velocità molto presto!

• -org = Nome dell'organizzazione da scansionare. Scansionerà tutti i repository pubblici nell'organizzazione + tutti i repository e i gist di tutti gli utenti nell'organizzazione. Se stai utilizzando un token di un utente che fa parte di questa organizzazione, clonerà e scannerà anche tutti i gist segreti appartenenti a quell'utente, così come tutti i repository privati in quell'organizzazione a cui l'utente ha accesso. Tuttavia, NON clonerà e scannerà alcun repository privato di questo utente appartenente a questa organizzazione. Per scansionare repository privati di utenti, utilizza il flag scanPrivateReposOnly con il flag user insieme alla chiave SSH montata su un volume.

• -user = Nome dell'utente da scansionare. Scansionerà tutti i repository e i gist di questo utente. Se il token fornito è il token dell'utente, verranno clonati e scansionati anche i gist segreti. Ma verranno clonati e scansionati solo i repository pubblici. Per scansionare i repository privati di questo utente, utilizza il flag scanPrivateReposOnly con il flag user insieme alla chiave SSH montata su un volume.

• -repoURL = URL HTTPS del repository da scansionare. Scansionerà solo questo repository. Per i repository pubblici, menzionare l'URL https del repository è sufficiente. Tuttavia, se desideri scansionare un repository privato, devi fornire l'URL ssh insieme alla chiave SSH montata su un volume e al flag scanPrivateReposOnly.

• -gistURL = URL HTTPS del gist da scansionare. Scansionerà solo questo gist. Non esiste il concetto di gist pubblico o segreto finché hai l'URL. Anche se hai un gist segreto, se qualcuno conosce l'URL HTTPS del tuo gist segreto, può accedervi anche lui.

Nota

• Il flag token è obbligatorio. Non può essere vuoto.

• I flag org, user, repoURL e gistURL non possono essere tutti vuoti contemporaneamente. Devi fornire solo uno di questi valori. Se fornisci tutti o più valori insieme, l'ordine di precedenza sarà org > user > repoURL > gistURL. Ad esempio, se fornisci entrambi i flag -org=secretorg123 e -user=secretuser1 insieme, lo strumento si lamenterà del fatto che non ha bisogno di altro insieme al valore org. Per eseguirlo solo su un particolare utente, basta fornire il flag user e non il flag org.

Scansione di repository privati

Il modo più sicuro per scansionare repository privati è clonare utilizzando gli URL SSH. Per fare ciò, è necessario inserire una chiave SSH appropriata che sia stata aggiunta a un utente GitHub. GitHub ha una documentazione utile per configurare il tuo account. Assicurati che questa chiave non abbia alcuna passphrase impostata. Una volta che hai la chiave SSH, montala semplicemente sul container Docker tramite un volume. È semplice come digitare i comandi seguenti:

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -user=<> -scanPrivateReposOnly

OPPURE

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -repoURL=<> -scanPrivateReposOnly

Qui, sto mappando la mia chiave SSH personale id_rsa_personal archiviata localmente su /root/.ssh/id_rsa all'interno del container, in modo che git-all-secrets provi a clonare il repository tramite ssh e utilizzerà la chiave SSH archiviata in /root/.ssh/id_rsa all'interno del container. In questo modo, non stai realmente memorizzando nulla di sensibile all'interno del container. Stai solo utilizzando un file dal tuo computer locale. Una volta che il container viene distrutto, non ha più accesso a questa chiave.

Scansione di un team di un'organizzazione

L'API di GitHub limita le circostanze in cui viene segnalato un repository privato. Se si sta cercando di scansionare un'organizzazione con un utente che non è un amministratore, potrebbe essere necessario fornire il team che fornisce l'accesso al repository per l'utente. Per fare ciò, utilizza il flag teamName insieme al flag org. L'esempio è riportato di seguito:

docker run --it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -org=<> -teamName <>

Scansione di GitHub Enterprise

git-all-secrets ora supporta anche la scansione di GitHub Enterprise. Se hai il tuo GitHub Enterprise ospitato dietro una VPN o qualcosa del genere, assicurati di essere connesso alla VPN o alla rete corretta che ha accesso ai repository di GitHub Enterprise. L'enterpriseURL è ciò di cui hai bisogno per scansionare i tuoi repository di GitHub Enterprise. Di seguito sono riportati alcuni esempi:

Esempio 1:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git

Qui, sto montando la mia chiave SSH di GitHub Enterprise sul container, seguita dal mio token di accesso personale, dall'URL enterprise a cui verranno inviate le richieste e dal repository che voglio scansionare.

Esempio 2:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git -toolName thog -thogEntropy

Sopra, sto solo eseguendo truffleHog sul repository con le impostazioni di entropia.

Esempio 3:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -user <username> -scanPrivateReposOnly

Sopra, sto scansionando solo i repository privati dell'utente di cui è fornito il token con tutti gli strumenti (repo-supervisor e thog), ma senza l'impostazione di entropia di truffleHog.

TODO

• Testare la funzionalità di scansione del team
• Correggere il bug di Goroutine - Spero FATTO!
• Supportare la scansione di GitHub Enterprise FATTO!
• Supportare la clonazione e la scansione di repository privati di un'organizzazione - FATTO!
• Sostituire gitsecrets con la nuova funzionalità Regex in truffleHog - FATTO!
• Aggiungere il supporto per la scansione di repository utente privati tramite chiavi SSH - FATTO!
• Aggiungere un flag per evitare la scansione dei fork - FATTO!

Dettagli

Caratteristiche

• Puoi aggiungere le tue espressioni regolari nel file rules.json e includerle quando esegui docker run usando l'argomento -v $(pwd)/rules.json:/root/truffleHog/rules.json.
• Lo strumento cerca alcune espressioni regolari predefinite. Se necessario, può anche essere configurato per stringhe ad alta entropia. Tutto ciò avviene tramite lo strumento truffleHog.
• Può cercare stringhe ad alta entropia nei file .js e .json tramite lo strumento repo-supervisor.
• Scansiona i gist degli utenti, cosa che la maggior parte degli strumenti non fa.
• Se c'è un nuovo strumento valido, può essere integrato in git-all-secrets senza troppi sforzi.
• È costruito per l'integrazione con altri strumenti e framework. Accetta alcuni parametri di input e produce un file di output dei risultati. Abbastanza semplice!
• Supporta anche la scansione di organizzazioni/utenti/repository/gist di GitHub Enterprise.
• La maggior parte degli strumenti disponibili sono realizzati per scansionare singoli repository. Se vuoi eseguirli su più repository, dovresti scrivere il tuo ciclo for in uno script shell o qualcosa del genere. git-all-secrets può aiutarti a scansionare più repository in una volta sola.
• Ora puoi unire gli output di entrambi gli strumenti in un file json che può quindi essere utilizzato in altri strumenti/framework di automazione

Motivazione

Ho esaminato un gran numero di strumenti open source che potenzialmente potrebbero essere utilizzati per cercare segreti nei repository GitHub. Alcuni dei migliori strumenti che ho ritenuto validi sono: gitrob, truffleHog e git-secrets.

Gitrob è pensato per essere uno strumento autonomo che è piuttosto difficile da integrare con altri strumenti perché ha il proprio database e UI per vedere tutti i segreti scoperti. Produce anche molti falsi positivi, più di truffleHog. E non evidenzia realmente i segreti scoperti. Guarda solo i file e le loro estensioni, non il contenuto effettivo. Quindi, sebbene Gitrob sia un ottimo strumento per iniziare, consiglio di eseguirlo ogni tanto per capire come appare la superficie di attacco e vedere se è cambiata.

Poi c'è truffleHog che cerca segreti nei contenuti effettivi del file esaminando l'entropia di Shannon e stampa l'output sullo schermo. Accetta un URL di un repository o una directory di un repository come argomento. Questo è uno strumento piuttosto buono anche se ha la sua parte di falsi positivi. Alcuni altri svantaggi sono:

• Non possiamo usarlo ricorsivamente per scansionare directory che contengono più repository.
• Non c'è modo di usare truffleHog per identificare segreti che seguono un certo pattern ma non hanno un'entropia sufficientemente alta, cioè non possiamo fargli cercare segreti che conosciamo ma che non hanno necessariamente un'alta entropia per essere considerati un segreto.
• Stampa l'output sullo schermo, quindi non è molto utile per l'automazione in quanto tale.

Infine, c'è git-secrets che può segnalare cose come i segreti AWS. La parte migliore è che puoi aggiungere anche le tue espressioni regolari per i segreti che sai che dovrebbe cercare. Uno svantaggio importante è che non fa un buon lavoro nel trovare stringhe ad alta entropia come fa truffleHog. Puoi anche scansionare solo una particolare directory che è un repository, quindi nessuna scansione ricorsiva da una directory di repository.

Quindi, come puoi vedere, ci sono strumenti decenti là fuori, ma dovevano essere combinati in qualche modo. C'era anche la necessità di scansionare ricorsivamente più repository e non solo uno. E, per quanto riguarda i gist? Ci sono organizzazioni e utenti. Poi, ci sono repository per organizzazioni e utenti. Ci sono anche gist degli utenti. Tutti questi dovrebbero essere scansionati. E scansionati in modo che possano essere automatizzati e facilmente consumati da altri strumenti/framework.

Changelog

• 2/9/19 - Aggiunto il flag blacklist per saltare alcuni nomi di repository durante la scansione. Grazie a @sjqnn per la PR. Creata e pubblicata una nuova immagine Docker. GLHF!

• 7/31/18 - Semplificata l'installazione di trufflehog utilizzando pip. @mhmdiaa ha corretto un bug riguardante la funzione di output di trufflehog che non univa e ordinava correttamente. Aggiornato il file regex per includere cose come password. Creata e pubblicata una nuova immagine Docker. GLHF!

• 7/15/18 - Aggiornato il fork di repo-supervisor perché l'upstream aveva alcune modifiche. Ricostruita una nuova immagine Docker utilizzando l'ultima versione di Trufflehog. Fornito il file rules.json che contiene tutte le regex che Trufflehog utilizza per trovare segreti. Aggiunta la possibilità di unire anche gli output (in json) di entrambi gli strumenti utilizzando il flag -mergeOutput. Ridotto drasticamente la dimensione dell'immagine Docker utilizzando build multi-stadio e dep per la gestione delle dipendenze. Un grande ringraziamento a @mhmdiaa per tutto questo!

• 12/12/17 - Per alcuni repository grandi, truffleHog fallisce e termina. Ma non vogliamo fermarci lì. Vogliamo notificare all'utente che la scansione è fallita per quel repository e continuare a scansionare gli altri repository. Questo è ora implementato nell'ultima immagine Docker.

• 12/11/17 - Rimosso gitsecrets perché truffleHog ora supporta la funzionalità regex. Semplicemente, aggiungendo le tue regex nel file rules.json e ricostruendo l'immagine Docker, otterremo fondamentalmente la funzionalità che gitsecrets forniva in precedenza, quindi non c'è più bisogno di gitsecrets. Ho anche aggiunto il supporto per la scansione di repository e gist di GitHub Enterprise. @high-stakes ha aiutato a ottenere una PR che (si spera) risolve il bug di Goroutine limitando il numero di thread. Infine, è stato aggiunto anche il supporto per la scansione di repository privati per un'organizzazione.

• 12/08/17 - Rimosso il mio fork di truffleHog. Ora utilizzo la versione upstream insieme alla funzionalità regex di truffleHog + modalità entropia. Presto, credo che potremo sostituire sia gitsecrets che repo supervisor con il solo truffleHog una volta risolti alcuni problemi.

Dona

Se vuoi mostrare un po' di affetto, il mio indirizzo BTC è 1PtMhXWCcMZCitcDfaEBe7jnV9sjKoNvq7.