git-all-secrets

Sobre

git-all-secrets é uma ferramenta que pode:

• Clonar múltiplos repositórios públicos/privados do GitHub de uma organização e escaneá-los,
• Clonar múltiplos repositórios públicos/privados do GitHub de um usuário que pertence a uma organização e escaneá-los,
• Clonar um único repositório público/privado de uma organização e escaneá-lo,
• Clonar um único repositório público/privado de um usuário e escaneá-lo,
• Clonar um único gist público/secreto de um usuário e escaneá-lo,
• Clonar os repositórios de uma equipe dentro de uma organização e escaneá-los,
• Tudo isso junto!! Oh yeah!! Basta fornecer o nome de uma organização e obter todos os seus segredos. Se você também quiser obter segredos de uma equipe dentro de uma organização, basta mencionar o nome da equipe junto com a org.
• Clonar e escanear repositórios e gists do Github Enterprise também.

A varredura é feita por várias ferramentas de código aberto, tais como:

• truffleHog - escaneia commits por strings de alta entropia e expressões regulares fornecidas pelo usuário,
• repo-supervisor - escaneia por strings de alta entropia em arquivos .js e .json

NOTA - Mais ferramentas podem ser adicionadas no futuro, se desejado! NOTA - A varredura pode ser feita por todas as ferramentas ou por qualquer uma delas, especificando a flag toolName.

Se todas as ferramentas forem usadas para escanear, a saída final da ferramenta combina a saída de todos os arquivos de todas as ferramentas em um único arquivo de saída consolidado.

Primeiros passos

A maneira mais fácil de executar git-all-secrets é via Docker e eu recomendo fortemente instalar o Docker se você ainda não o tiver. Depois de ter o Docker instalado,

• Digite docker run --rm -it abhartiya/tools_gitallsecrets --help para entender as diferentes flags que ele pode receber como entrada.
• Depois de saber o que deseja escanear, digite algo como docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<>. Você também pode especificar uma ferramenta específica para usar na varredura digitando algo como docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=<>. As opções são thog e repo-supervisor.
• Se você quiser executar o truffleHog com a regex padrão E as configurações de alta entropia, forneça a flag thogEntropy assim - docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=thog -thogEntropy.
• Após o contêiner terminar a execução, recupere o ID do contêiner digitando docker ps -a.
• Depois de ter o ID do contêiner, obtenha o arquivo de resultados do contêiner para o host digitando docker cp <container-id>:/root/results.txt .

Flags/Opções

• -token = Token de acesso pessoal do Github. Precisamos disso porque requisições não autenticadas à API do Github podem atingir o limite de taxa rapidamente!

• -org = Nome da Organização a ser escaneada. Isso escaneará todos os repositórios públicos na org + todos os repositórios e gists de todos os usuários da org. Se você estiver usando um token de um usuário que faz parte desta org, ele também clonará e escaneará todos os gists secretos pertencentes a esse usuário, bem como todos os repositórios privados nessa org aos quais o usuário tem acesso. No entanto, NÃO clonará nem escaneará nenhum repositório privado deste usuário pertencente a esta org. Para escanear repositórios privados de usuários, use a flag scanPrivateReposOnly com a flag user juntamente com a chave SSH montada em um volume.

• -user = Nome do Usuário a ser escaneado. Isso escaneará todos os repositórios e gists deste usuário. Se o token fornecido for o token do usuário, os gists secretos também serão clonados e escaneados. Mas apenas repositórios públicos serão clonados e escaneados. Para escanear repositórios privados deste usuário, use a flag scanPrivateReposOnly com a flag user juntamente com a chave SSH montada em um volume.

• -repoURL = URL HTTPS do Repositório a ser escaneado. Isso escaneará apenas este repositório. Para repositórios públicos, mencionar a URL https do repositório será suficiente. No entanto, se você deseja escanear um repositório privado, então você precisa fornecer a URL ssh juntamente com a chave SSH montada em um volume e a flag scanPrivateReposOnly.

• -gistURL = URL HTTPS do Gist a ser escaneado. Isso escaneará apenas este gist. Não existe conceito de gist público ou secreto desde que você tenha a URL. Mesmo se você tiver um gist secreto, se alguém souber a URL HTTPS do seu gist secreto, também poderá acessá-lo.

Nota

• A flag token é obrigatória. Não pode estar vazia.

• As flags org, user, repoURL e gistURL não podem estar todas vazias ao mesmo tempo. Você precisa fornecer apenas um desses valores. Se você fornecer todos eles ou múltiplos valores juntos, a ordem de precedência será org > user > repoURL > gistURL. Por exemplo, se você fornecer ambas as flags -org=secretorg123 e -user=secretuser1 juntas, a ferramenta reclamará que não precisa de nada junto com o valor org. Para executá-la apenas contra um usuário específico, basta fornecer a flag user e não a flag org.

Escaneando Repositórios Privados

A maneira mais segura de escanear repositórios privados é clonar usando URLs SSH. Para conseguir isso, é necessário colocar uma chave SSH apropriada que foi adicionada a um usuário do Github. O Github possui documentação útil para configurar sua conta. Certifique-se de que esta chave não tenha nenhuma frase secreta definida. Depois de ter a chave SSH, basta montá-la no contêiner Docker através de um volume. É tão simples quanto digitar os comandos abaixo:

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -user=<> -scanPrivateReposOnly

OR

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -repoURL=<> -scanPrivateReposOnly

Aqui, estou mapeando minha chave SSH pessoal id_rsa_personal armazenada localmente para /root/.ssh/id_rsa dentro do contêiner para que o git-all-secrets tente clonar o repositório via ssh e use a chave SSH armazenada em /root/.ssh/id_rsa dentro do contêiner. Dessa forma, você não está realmente armazenando nada sensível dentro do contêiner. Você está apenas usando um arquivo da sua máquina local. Depois que o contêiner é destruído, ele não tem mais acesso a esta chave.

Escaneando uma Equipe da Organização

A API do Github limita as circunstâncias em que um repositório privado é relatado. Se alguém está tentando escanear uma Organização com um usuário que não é administrador, pode ser necessário fornecer a equipe que fornece acesso ao repositório para o usuário. Para fazer isso, use a flag teamName junto com a flag org. Exemplo abaixo:

docker run --it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -org=<> -teamName <>

Escaneando Github Enterprise

O git-all-secrets agora também suporta escaneamento do Github Enterprise. Se você tem seu próprio Github Enterprise hospedado atrás de uma VPN ou algo assim, certifique-se de estar conectado à VPN ou na rede correta que tem acesso aos repositórios do Github Enterprise. A enterpriseURL é o que você precisa para escanear seus repositórios do Github Enterprise. Abaixo estão alguns exemplos:

Exemplo 1:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git

Aqui, estou montando minha chave SSH do github enterprise no contêiner, seguida pelo meu token de acesso pessoal, a URL corporativa para a qual as requisições serão enviadas e o repositório que desejo escanear.

Exemplo 2:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git -toolName thog -thogEntropy

Acima, estou executando apenas o truffleHog contra o repositório com as configurações de Entropia.

Exemplo 3:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -user <username> -scanPrivateReposOnly

Acima, estou escaneando apenas os repositórios privados do usuário cujo token é fornecido, com todas as ferramentas (repo-supevisor e thog), mas sem a configuração de entropia do truffleHog.

TODO

• Testar funcionalidade de escaneamento de equipe
• Corrigir o bug do Goroutine - Esperançosamente CONCLUÍDO!
• Suportar escaneamento do Github Enterprise CONCLUÍDO!
• Suportar clonagem e escaneamento de repositórios privados de uma org - CONCLUÍDO!
• Substituir gitsecrets pela nova funcionalidade Regex no truffleHog - CONCLUÍDO!
• Adicionar suporte para escaneamento de repositórios privados de usuários via chaves SSH - CONCLUÍDO!
• Adicionar flag para evitar escaneamento de forks - CONCLUÍDO!

Detalhes

Funcionalidades

• Você pode adicionar suas próprias expressões regulares no arquivo rules.json e incluí-lo ao executar docker run usando o argumento -v $(pwd)/rules.json:/root/truffleHog/rules.json.
• A ferramenta procura por algumas expressões regulares padrão. Se necessário, também pode ser configurada para strings de alta entropia. Tudo isso acontece através da ferramenta truffleHog.
• Ela pode procurar por strings de alta entropia em arquivos .js e .json através da ferramenta repo-supervisor.
• Ela escaneia gists de usuários, o que a maioria das ferramentas não faz.
• Se houver uma nova ferramenta boa, ela pode ser integrada ao git-all-secrets com bastante facilidade.
• Ela é construída para integração com outras ferramentas e frameworks. Ela recebe alguns parâmetros de entrada e produz um arquivo de saída com os resultados. Bem direto!
• Ela também suporta escaneamento de orgs/usuários/repos/gists do Github Enterprise.
• A maioria das ferramentas disponíveis são feitas para escanear repositórios individuais. Se você quiser percorrer vários repositórios, teria que escrever seu próprio loop for em um script shell ou algo assim. O git-all-secrets pode ajudar você a escanear vários repositórios de uma só vez.
• Agora você pode mesclar as saídas de ambas as ferramentas em um arquivo json, que pode ser usado em outras ferramentas/frameworks de automação.

Motivação

Analisei um grande número de ferramentas de código aberto que poderiam ser potencialmente usadas para procurar segredos em repositórios do github. Algumas das principais ferramentas que considerei boas são: gitrob, truffleHog e git-secrets.

O Gitrob é uma ferramenta autônoma que é bastante difícil de integrar com outras ferramentas porque tem seu próprio banco de dados e interface para ver todos os segredos descobertos. Também produz muitos falsos positivos, mais do que o truffleHog. E não destaca realmente os segredos descobertos. Ele apenas olha para os arquivos e suas extensões, não para o conteúdo real. Portanto, embora o Gitrob seja uma ótima ferramenta para começar, recomendo executá-lo de vez em quando para entender como está a superfície de ataque e ver se mudou.

Depois, há o truffleHog que procura por segredos nos conteúdos reais do arquivo examinando a entropia de Shannon e imprime a saída na tela. Ele recebe uma URL de repositório ou um diretório de repositório como argumento. Esta é uma ferramenta muito boa, embora tenha sua parcela de falsos positivos. Algumas outras desvantagens são:

• Não podemos usá-lo recursivamente para escanear diretórios que contêm vários repositórios.
• Não há como usar o truffleHog para identificar segredos que seguem um certo padrão mas não têm entropia alta o suficiente, ou seja, não podemos fazê-lo procurar por segredos que conhecemos mas que não necessariamente têm alta entropia para serem considerados como segredo.
• Ele imprime a saída na tela, então não é realmente útil para automação como tal.

Finalmente, existe o git-secrets que pode sinalizar coisas como segredos da AWS. A melhor parte é que você também pode adicionar suas próprias expressões regulares para segredos que você sabe que ele deve procurar. Uma grande desvantagem é que ele não faz um bom trabalho em encontrar strings de alta entropia como o truffleHog faz. Você também só pode escanear um diretório específico que seja um repositório, então também não há varredura recursiva a partir de um diretório de repositórios.

Então, como você pode ver, existem ferramentas decentes por aí, mas elas precisavam ser combinadas de alguma forma. Também havia a necessidade de escanear recursivamente vários repositórios e não apenas um. E quanto aos gists? Existem organizações e usuários. Depois, existem repositórios para organizações e usuários. Também existem gists de usuários. Todos estes devem ser escaneados. E escaneados de forma que pudessem ser automatizados e facilmente consumidos por outras ferramentas/frameworks.

Registro de alterações

• 2/9/19 - Adicionada a flag blacklist para pular alguns nomes de repositórios durante a varredura. Obrigado @sjqnn pelo PR. Construída e enviada uma nova imagem Docker. GLHF!

• 7/31/18 - Simplificada a instalação do trufflehog usando pip. O @mhmdiaa corrigiu um bug na função de saída do trufflehog onde não estava mesclando e ordenando corretamente. Atualizado o arquivo regex para incluir coisas como password. Construída e enviada uma nova imagem Docker. GLHF!

• 7/15/18 - Atualizado o fork do repo-supervisor porque o upstream teve algumas alterações. Reconstruída uma nova imagem Docker usando o Trufflehog mais recente. Fornecido o arquivo rules.json que contém todas as regexes que o Trufflehog usa para encontrar segredos. Adicionada a capacidade de também mesclar saídas (em json) para ambas as ferramentas usando a flag -mergeOutput. Reduzido drasticamente o tamanho da imagem Docker usando builds multi-estágio e dep para gerenciar dependências. Um grande agradecimento ao @mhmdiaa por tudo isso!

• 12/12/17 - Para alguns repositórios grandes, o truffleHog falha e sai. Mas não queremos parar por aí. Queremos notificar o usuário que a varredura falhou para aquele repositório e continuar escaneando os outros repositórios. Isso agora está implementado na imagem Docker mais recente.

• 12/11/17 - Removido o gitsecrets porque o truffleHog agora suporta funcionalidade de regex. Simplesmente adicionar suas regex no arquivo rules.json e reconstruir a imagem Docker basicamente nos dará a funcionalidade que o gitsecrets fornecia anteriormente, então não há mais necessidade do gitsecrets. Também adicionei suporte para escanear repositórios e gists do Github Enterprise. O @high-stakes ajudou a obter um PR que (esperançosamente) corrige o bug do Goroutine limitando a quantidade de threads. Finalmente, também foi adicionado suporte para escanear repositórios privados de uma organização.

• 12/08/17 - Removido meu próprio fork do truffleHog. Usando a versão upstream agora junto com a funcionalidade de regex do truffleHog + modo de entropia. Em breve, acredito que podemos substituir tanto o gitsecrets quanto o repo supervisor apenas pelo truffleHog assim que alguns problemas forem corrigidos.

Doar

Se você quiser mostrar um pouco de amor, meu endereço de carteira BTC é 1PtMhXWCcMZCitcDfaEBe7jnV9sjKoNvq7.