git-all-secrets

소개

git-all-secrets는 다음과 같은 작업을 수행할 수 있는 도구입니다:

• 조직의 여러 공개/비공개 GitHub 저장소를 복제하고 스캔합니다.
• 조직에 속한 사용자의 여러 공개/비공개 GitHub 저장소를 복제하고 스캔합니다.
• 조직의 단일 공개/비공개 저장소를 복제하고 스캔합니다.
• 사용자의 단일 공개/비공개 저장소를 복제하고 스캔합니다.
• 사용자의 단일 공개/비밀 Gist를 복제하고 스캔합니다.
• 조직 내 팀의 저장소를 복제하고 스캔합니다.
• 위의 모든 작업을 한 번에 수행합니다!! 오 예! 조직 이름만 제공하면 모든 비밀을 찾을 수 있습니다. 또한 조직 내 팀의 비밀을 원한다면 조직 이름과 함께 팀 이름을 명시하기만 하면 됩니다.
• GitHub Enterprise 저장소 및 Gist도 복제하고 스캔합니다.

스캔은 다음과 같은 여러 오픈 소스 도구를 통해 수행됩니다:

• truffleHog - 커밋에서 높은 엔트로피 문자열과 사용자 제공 정규식을 스캔합니다.
• repo-supervisor - .js 및 .json 파일에서 높은 엔트로피 문자열을 스캔합니다.

참고 - 원한다면 향후 더 많은 도구를 추가할 수 있습니다! 참고 - toolName 플래그를 지정하여 모든 도구 또는 그중 하나만 사용하여 스캔할 수 있습니다.

모든 도구를 사용하여 스캔하는 경우, 최종 출력은 모든 도구의 모든 파일 출력을 하나의 통합 출력 파일로 결합합니다.

시작하기

git-all-secrets를 실행하는 가장 쉬운 방법은 Docker를 사용하는 것이며, Docker가 아직 설치되어 있지 않다면 설치하는 것을 적극 권장합니다. Docker가 설치되면,

• docker run --rm -it abhartiya/tools_gitallsecrets --help를 입력하여 입력할 수 있는 다양한 플래그를 이해합니다.
• 스캔할 항목을 알게 되면 docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<>와 같은 명령을 입력합니다. 스캔에 사용할 특정 도구를 지정하려면 docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=<>와 같이 입력합니다. 옵션은 thog와 repo-supervisor입니다.
• 기본 정규식과 높은 엔트로피 설정을 모두 사용하여 truffleHog를 실행하려면 thogEntropy 플래그를 다음과 같이 제공합니다 - docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=thog -thogEntropy.
• 컨테이너 실행이 완료된 후 docker ps -a를 입력하여 컨테이너 ID를 확인합니다.
• 컨테이너 ID를 확인한 후 docker cp <container-id>:/root/results.txt .를 입력하여 결과 파일을 컨테이너에서 호스트로 가져옵니다.

플래그/옵션

• -token = GitHub 개인 액세스 토큰. 인증되지 않은 요청은 GitHub API 속도 제한에 빠르게 도달할 수 있으므로 필요합니다.

• -org = 스캔할 조직 이름. 조직의 모든 공개 저장소 + 조직의 모든 사용자의 모든 저장소 및 Gist를 스캔합니다. 이 조직의 구성원인 사용자의 토큰을 사용하는 경우, 해당 사용자가 속한 비밀 Gist와 사용자가 액세스할 수 있는 조직의 모든 비공개 저장소도 복제 및 스캔됩니다. 그러나 이 조직에 속한 사용자의 비공개 저장소는 복제 및 스캔되지 않습니다. 사용자의 비공개 저장소를 스캔하려면 user 플래그와 함께 scanPrivateReposOnly 플래그를 사용하고 SSH 키를 볼륨에 마운트하십시오.

• -user = 스캔할 사용자 이름. 이 사용자의 모든 저장소 및 Gist를 스캔합니다. 제공된 토큰이 해당 사용자의 토큰인 경우 비밀 Gist도 복제 및 스캔됩니다. 그러나 공개 저장소만 복제 및 스캔됩니다. 이 사용자의 비공개 저장소를 스캔하려면 user 플래그와 함께 scanPrivateReposOnly 플래그를 사용하고 SSH 키를 볼륨에 마운트하십시오.

• -repoURL = 스캔할 저장소의 HTTPS URL. 이 저장소만 스캔합니다. 공개 저장소의 경우 저장소의 https URL을 명시하는 것으로 충분합니다. 그러나 비공개 저장소를 스캔하려면 SSH 키를 볼륨에 마운트하고 scanPrivateReposOnly 플래그와 함께 ssh URL을 제공해야 합니다.

• -gistURL = 스캔할 Gist의 HTTPS URL. 이 Gist만 스캔합니다. URL만 있으면 공개 또는 비밀 Gist의 개념이 없습니다. 비밀 Gist라도 누군가 HTTPS URL을 알면 액세스할 수 있습니다.

• -output = 모든 결과가 저장될 파일 이름입니다. 기본값은 results.txt입니다.

• -cloneForks = 조직 및 사용자 저장소의 포크를 복제할지 여부를 지정하는 선택적 불리언 플래그입니다. 기본값은 0으로, 포크를 복제하지 않습니다. 포크를 복제하려면 이 값을 1로 설정해야 합니다. 또는 다른 플래그와 함께 를 명시하기만 하면 됩니다.

참고

• token 플래그는 필수입니다. 비워둘 수 없습니다.

• org, user, repoURL 및 gistURL은 동시에 모두 비워둘 수 없습니다. 이 값 중 하나만 제공해야 합니다. 모두 제공하거나 여러 값을 함께 제공하는 경우 우선 순위는 org > user > repoURL > gistURL입니다. 예를 들어 -org=secretorg123 및 -user=secretuser1 플래그를 모두 제공하면 도구가 org 값과 함께 아무것도 필요하지 않다고 알립니다. 특정 사용자에 대해서만 실행하려면 org 플래그 없이 user 플래그만 제공하면 됩니다.

• scanPrivateReposOnly 플래그를 지정할 때:

비공개 저장소 스캔

비공개 저장소를 스캔하는 가장 안전한 방법은 SSH URL을 사용하여 복제하는 것입니다. 이를 위해 GitHub 사용자에 추가된 적절한 SSH 키를 배치해야 합니다. GitHub에는 계정 구성에 대한 유용한 문서가 있습니다. 이 키에 암호가 설정되어 있지 않은지 확인하십시오. SSH 키가 준비되면 볼륨을 통해 Docker 컨테이너에 마운트하기만 하면 됩니다. 아래 명령을 입력하는 것처럼 간단합니다:

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -user=<> -scanPrivateReposOnly

또는

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -repoURL=<> -scanPrivateReposOnly

여기서는 로컬에 저장된 개인 SSH 키 id_rsa_personal을 컨테이너 내부의 /root/.ssh/id_rsa에 매핑하여 git-all-secrets가 ssh를 통해 저장소를 복제하고 컨테이너 내부의 /root/.ssh/id_rsa에 저장된 SSH 키를 사용하도록 합니다. 이렇게 하면 컨테이너 내부에 민감한 정보를 저장하지 않습니다. 로컬 시스템의 파일만 사용하는 것입니다. 컨테이너가 제거되면 더 이상 이 키에 액세스할 수 없습니다.

조직 팀 스캔

GitHub API는 비공개 저장소가 보고되는 상황을 제한합니다. 관리자가 아닌 사용자로 조직을 스캔하려는 경우 사용자에게 저장소 액세스 권한을 제공하는 팀을 지정해야 할 수 있습니다. 이를 위해 org 플래그와 함께 teamName 플래그를 사용하십시오. 예제는 아래와 같습니다:

docker run --it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -org=<> -teamName <>

GitHub Enterprise 스캔

git-all-secrets는 이제 GitHub Enterprise 스캔도 지원합니다. VPN 뒤에 호스팅된 자체 GitHub Enterprise가 있는 경우 VPN에 연결되어 있거나 GitHub Enterprise 저장소에 액세스할 수 있는 올바른 네트워크에 있는지 확인하십시오. enterpriseURL은 GitHub Enterprise 저장소를 스캔하는 데 필요한 것입니다. 아래는 몇 가지 예제입니다:

예제 1:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git

여기서는 GitHub Enterprise SSH 키를 컨테이너에 마운트한 후 개인 액세스 토큰, 요청이 전송될 엔터프라이즈 URL 및 스캔하려는 저장소를 입력합니다.

예제 2:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git -toolName thog -thogEntropy

위에서는 엔트로피 설정을 사용하여 truffleHog만 저장소에 대해 실행합니다.

예제 3:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -user <username> -scanPrivateReposOnly

위에서는 토큰이 제공된 사용자의 비공개 저장소만 모든 도구(repo-supervisor 및 thog)를 사용하여 스캔하지만 truffleHog의 엔트로피 설정은 없이 스캔합니다.

TODO

• 팀 스캔 기능 테스트
• 고루틴 버그 수정 - 아마 완료!
• GitHub Enterprise 스캔 지원 완료!
• 조직의 비공개 저장소 복제 및 스캔 지원 - 완료!
• truffleHog의 새 정규식 기능으로 gitsecrets 대체 - 완료!
• SSH 키를 통한 비공개 사용자 저장소 스캔 지원 추가 - 완료!
• 포크 스캔을 피하기 위한 플래그 추가 - 완료!

세부 사항

기능

• rules.json 파일에 자신만의 정규식을 추가하고 docker run 실행 시 -v $(pwd)/rules.json:/root/truffleHog/rules.json 인수를 사용하여 포함시킬 수 있습니다.
• 이 도구는 기본 정규식을 찾습니다. 필요한 경우 높은 엔트로피 문자열을 찾도록 설정할 수도 있습니다. 이 모든 것은 truffleHog 도구를 통해 이루어집니다.
• repo-supervisor 도구를 통해 .js 및 .json 파일에서 높은 엔트로피 문자열을 찾을 수 있습니다.
• 대부분의 도구가 하지 않는 사용자 Gist를 스캔합니다.
• 새로운 좋은 도구가 있다면 git-all-secrets에 어렵지 않게 통합할 수 있습니다.
• 다른 도구 및 프레임워크와의 통합을 위해 설계되었습니다. 몇 가지 입력 매개변수를 받고 결과 출력 파일을 생성합니다. 매우 간단합니다!
• GitHub Enterprise 조직/사용자/저장소/Gist 스캔도 지원합니다.
• 대부분의 기존 도구는 개별 저장소를 스캔하도록 만들어졌습니다. 여러 저장소에 대해 반복하려면 셸 스크립트 등에서 자체 for 루프를 작성해야 합니다. git-all-secrets는 여러 저장소를 한 번에 스캔할 수 있도록 도와줍니다.
• 이제 두 도구의 출력을 JSON 파일로 병합하여 다른 자동화 도구/프레임워크에서 사용할 수 있습니다.

동기

저는 GitHub 저장소에서 비밀을 찾는 데 잠재적으로 사용될 수 있는 많은 오픈 소스 도구를 살펴보았습니다. 좋다고 생각한 주요 도구 중 일부는 gitrob, truffleHog 및 git-secrets입니다.

Gitrob는 자체 데이터베이스와 UI를 가지고 있어 다른 도구와 통합하기 매우 어려운 독립형 도구입니다. 또한 truffleHog보다 더 많은 가양성을 생성합니다. 그리고 발견된 비밀을 실제로 강조 표시하지 않습니다. 파일과 확장자만 보고 실제 내용은 보지 않습니다. 따라서 Gitrob는 시작하기 좋은 도구이지만, 공격 표면이 어떻게 보이는지 이해하고 변경되었는지 확인하기 위해 가끔 실행하는 것이 좋습니다.

그 다음 Shannon 엔트로피를 보고 파일의 실제 내용에서 비밀을 찾아 화면에 출력하는 truffleHog가 있습니다. 저장소 URL 또는 저장소 디렉토리를 인수로 받습니다. 이것은 상당히 좋은 도구이지만 가양성이 있습니다. 몇 가지 다른 단점은 다음과 같습니다:

• 여러 저장소가 포함된 디렉토리를 재귀적으로 스캔하는 데 사용할 수 없습니다.
• truffleHog를 사용하여 특정 패턴을 따르지만 엔트로피가 충분히 높지 않은 비밀을 식별할 수 있는 방법이 없습니다. 즉, 알고 있지만 비밀로 간주될 만큼 높은 엔트로피가 없는 비밀을 찾도록 설정할 수 없습니다.
• 출력을 화면에 출력하므로 자동화에 실제로 유용하지 않습니다.

마지막으로 AWS 비밀과 같은 것을 플래그할 수 있는 git-secrets가 있습니다. 가장 좋은 점은 찾고자 하는 알려진 비밀에 대해 자신만의 정규식을 추가할 수 있다는 것입니다. 주요 단점은 truffleHog처럼 높은 엔트로피 문자열을 찾는 데는 좋지 않다는 것입니다. 또한 저장소인 특정 디렉토리만 스캔할 수 있으므로 저장소 디렉토리에서 재귀 스캔이 불가능합니다.

보시다시피 괜찮은 도구들이 있지만 어떻게든 결합해야 했습니다. 또한 하나의 저장소뿐만 아니라 여러 저장소를 재귀적으로 스캔할 필요가 있었습니다. 그리고 Gist는 어떨까요? 조직과 사용자가 있습니다. 그런 다음 조직과 사용자의 저장소가 있습니다. 사용자의 Gist도 있습니다. 이 모든 것을 스캔해야 합니다. 그리고 자동화 가능하고 다른 도구/프레임워크에서 쉽게 사용할 수 있도록 스캔해야 합니다.

변경 로그

• 2/9/19 - 스캔 중 일부 저장소 이름을 건너뛰기 위한 blacklist 플래그를 추가했습니다. @sjqnn님의 PR에 감사드립니다. 새 Docker 이미지를 빌드하고 푸시했습니다. GLHF!

• 7/31/18 - pip을 사용하여 trufflehog 설치를 더 간단하게 만들었습니다. @mhmdiaa가 trufflehog의 출력 함수에서 병합 및 정렬이 제대로 되지 않는 버그를 수정했습니다. password와 같은 항목을 포함하도록 정규식 파일을 업데이트했습니다. 새 Docker 이미지를 빌드하고 푸시했습니다. GLHF!

• 7/15/18 - 업스트림에 변경 사항이 있어 repo-supervisor의 포크를 업데이트했습니다. 최신 Trufflehog를 사용하여 새 Docker 이미지를 다시 빌드했습니다. Trufflehog가 비밀을 찾는 데 사용하는 모든 정규식이 포함된 rules.json 파일을 제공했습니다. -mergeOutput 플래그를 사용하여 두 도구의 출력을 병합(JSON 형식)하는 기능을 추가했습니다. 멀티 스테이지 빌드와 dep를 사용하여 종속성을 관리함으로써 Docker 이미지 크기를 대폭 줄였습니다. 이 모든 것에 대해 @mhmdiaa에게 큰 감사를 보냅니다!

• 12/12/17 - 일부 대형 저장소에서 truffleHog가 실패하고 종료됩니다. 그러나 거기서 멈추고 싶지 않습니다. 사용자에게 해당 저장소에 대한 스캔이 실패했음을 알리고 다른 저장소를 계속 스캔하고 싶습니다. 이제 최신 Docker 이미지에서 이를 구현했습니다.

• 12/11/17 - truffleHog가 이제 정규식 기능을 지원하므로 gitsecrets를 제거했습니다. rules.json 파일에 정규식을 추가하고 Docker 이미지를 다시 빌드하면 이전에 gitsecrets가 제공했던 기능을 기본적으로 얻을 수 있으므로 더 이상 gitsecrets가 필요하지 않습니다. 또한 GitHub Enterprise 저장소 및 Gist 스캔 지원을 추가했습니다. @high-stakes가 스레드 수를 제한하여 고루틴 버그를 수정하는 PR을 도왔습니다(희망). 마지막으로 조직의 비공개 저장소 스캔 지원도 추가되었습니다.

• 12/08/17 - 내 truffleHog 포크를 제거했습니다. 이제 truffleHog의 새로운 정규식 기능 + 엔트로피 모드와 함께 업스트림 버전을 사용합니다. 조만간 일부 문제가 해결되면 truffleHog만으로 gitsecrets와 repo supervisor를 모두 대체할 수 있을 것으로 생각합니다.

• 12/07/17 - 다양한 플래그에 대한 추가 세부 정보와 설명으로 문서를 업데이트했습니다.

• 12/05/17 - SSH 키를 통한 비공개 저장소 스캔 지원을 통합했습니다. 이것은 오랫동안 요청된 기능이며 이제 가능하게 되었습니다. 또한 Docker 이미지 태그 체계를 변경했습니다. 이제부터 최신 이미지에는 latest 태그가 붙습니다. 그리고 이전 모든 버전은 숫자로 태그됩니다. 이 모든 것은 SimpliSafe 팀, 특히 Matthew Cox( 없었다면 불가능했을 것입니다. Matt에게 큰 감사를 보냅니다!

기부

관심을 표현하고 싶다면, 제 BTC 지갑 주소는 1PtMhXWCcMZCitcDfaEBe7jnV9sjKoNvq7입니다.