papermtn/gitlab-watchmanGitLab에서 노출된 비밀 및 개인 데이터 찾기
GitLab Watchman은 GitLab API를 사용하여 노출된 비밀 및 개인 데이터를 탐지하는 애플리케이션입니다. 또한 GitLab 인스턴스의 유용한 정보를 열거합니다.
내부적으로 공유된 프로젝트를 검색하여 다음 항목을 확인합니다:
다음 데이터를 찾습니다:
GitLab Watchman을 실행하여 다음 기간까지의 결과를 검색할 수 있습니다:
즉, 한 번의 전체 검사 후에 GitLab Watchman을 정기적으로 실행하도록 예약하여 선택한 기간의 결과만 반환할 수 있습니다.
GitLab Watchman은 GitLab 인스턴스에서 잠재적으로 유용한 정보를 열거할 수 있습니다:
GitLab Watchman은 사용자 정의 YAML 시그니처를 사용하여 GitLab에서 일치 항목을 탐지합니다. 이 시그니처는 중앙 Watchman Signatures 저장소에서 가져옵니다. Slack Watchman은 런타임에 시그니처 기반을 자동으로 업데이트하여 최신 시그니처로 비밀을 탐지합니다.
GitLab Watchman 실행 시 비활성화하려는 시그니처를 watchman.conf 파일의 disabled_signatures 섹션에 ID를 추가하여 정의할 수 있습니다. 예:
gitlab_watchman:
disabled_signatures:
- tokens_generic_bearer_tokens
- tokens_generic_access_tokens
시그니처의 ID는 Watchman Signatures 저장소의 개별 YAML 파일에서 찾을 수 있습니다.
GitLab Watchman은 다음 로깅 옵션을 제공합니다:
옵션이 제공되지 않으면 GitLab Watchman은 기본적으로 터미널 친화적 stdout 로깅을 사용합니다. 이는 사람이 읽기 쉽도록 설계되었습니다.
JSON 로깅도 가능하며, SIEM 또는 다른 로그 분석 플랫폼에 수집하기에 적합합니다.
JSON 형식의 로깅은 아래와 같이 파일로 쉽게 리디렉션할 수 있습니다:
gitlab-watchman --timeframe a --all --output json >> gitlab_watchman_log.json
GitLab Watchman은 v4 API를 사용하며, 다음 GitLab Enterprise Edition 버전에서 작동합니다:
13.0 이상 - 예
GitLab.com - 예
12.0 - 12.10 - 가능, 테스트되지 않았지만 v4 API를 사용한다면 작동할 수 있음
다음 범위를 검색하려면:
GitLab 인스턴스에 Elasticsearch가 구성되어 있어야 하며, 최소 GitLab Starter 또는 Bronze 라이선스의 Enterprise Edition을 실행 중이어야 합니다.
GitLab Watchman을 실행하려면 GitLab 개인 액세스 토큰이 필요합니다.
GitLab GUI에서 Settings -> Access Tokens -> Add a personal access token을 통해 개인 액세스 토큰을 생성할 수 있습니다.
토큰은 다음 범위에 대한 권한이 필요합니다:
api
참고: 개인 액세스 토큰은 생성한 사용자를 대신하여 작동하므로, 서비스 계정을 사용하여 토큰을 생성하는 것이 좋습니다. 그렇지 않으면 앱이 개인 저장소에 접근할 수 있습니다.
또한 GitLab 인스턴스의 URL을 제공해야 합니다.
GitLab Watchman은 환경 변수 GITLAB_WATCHMAN_TOKEN 및 GITLAB_WATCHMAN_URL에서 GitLab 토큰과 URL을 가져옵니다.
구성 옵션은 홈 디렉토리에 저장된 watchman.conf 파일로 전달할 수 있습니다. 파일은 YAML 형식을 따라야 하며 아래와 같아야 합니다:
gitlab_watchman:
disabled_signatures:
- tokens_generic_bearer_tokens
- tokens_generic_access_tokens
GitLab Watchman은 런타임에 이 파일을 찾아 여기서 구성 옵션을 사용합니다.
pip를 통해 최신 안정 버전을 설치할 수 있습니다:
python3 -m pip install gitlab-watchman
또는 직접 소스에서 빌드하세요. 릴리스 소스 파일을 다운로드한 후 최상위 저장소에서 다음을 실행합니다:
python3 -m build
python3 -m pip install --force-reinstall dist/*.whl
GitLab Watchman은 Docker Hub에서 Docker 이미지로도 제공됩니다:
docker pull papermountain/gitlab-watchman:latest
그런 다음 필요한 환경 변수를 전달하여 컨테이너에서 GitLab Watchman을 실행할 수 있습니다:
// help
docker run --rm papermountain/gitlab-watchman -h
// scan all
docker run --rm -e GITLAB_WATCHMAN_TOKEN=abc123 -e GITLAB_WATCHMAN_URL=https://example.gitlab.com papermountain/gitlab-watchman --timeframe a --all
docker run --rm --env-file .env papermountain/gitlab-watchman --timeframe a --all
GitLab Watchman은 전역 명령어로 설치되며, 다음과 같이 사용합니다:
usage: gitlab-watchman [-h] --timeframe {d,w,m,a} [--output {json,stdout}] [--version] [--all] [--blobs] [--commits] [--wiki-blobs] [--issues]
[--merge-requests] [--milestones] [--notes] [--snippets] [--enumerate] [--debug] [--verbose]
Finding exposed secrets and personal data in GitLab
options:
-h, --help show this help message and exit
--output {json,stdout}, -o {json,stdout}
Where to send results
--version, -v show program's version number and exit
--all, -a Find everything
--blobs, -b Search code blobs
--commits, -c Search commits
--wiki-blobs, -w Search wiki blobs
--issues, -i Search issues
--merge-requests, -mr
Search merge requests
--milestones, -m Search milestones
--notes, -n Search notes
--snippets, -s Search snippets
--enumerate, -e Enumerate this GitLab instance for users, groups, projects.Output will be saved to CSV files
--debug, -d Turn on debug level logging
--verbose, -V Turn on more verbose output for JSON logging. This includes more fields, but is larger
required arguments:
--timeframe {d,w,m,a}
How far back to search: d = 24 hours w = 7 days, m = 30 days, a = all time
Watchman 제품군의 다른 앱에 관심이 있을 수 있습니다:
이 프로젝트의 소스 코드는 GNU General Public Licence 하에 배포됩니다. 이 프로젝트는 GitLab과 관련이 없습니다.