GitMiner3

• Autor: UnkL4b
• Site: bravul.com
• Blog: unkl4b.github.io
• Github: UnkL4b
• X: @UnkL4b

경고

 +---------------------------------------------------+
 | 개발자는 이 프로그램으로 인해 발생하는 오용이나     |
 | 손해에 대해 어떠한 책임도 지지 않으며,              |
 | 책임을 지지 않습니다.                              |
 +---------------------------------------------------+

GITMINER 3

GitMiner v3는 공개 GitHub 저장소에서 민감한 정보를 발견하기 위해 설계된 모듈형 도구입니다. 고급 dork 쿼리, 정규식 패턴 매칭을 사용하며 포괄적인 위협 인텔리전스 보고서를 생성합니다.

이 프로젝트는 원본 Gitminer 스크립트의 완전한 리팩토링으로, 유지보수성, 확장성 및 전문적인 소프트웨어 아키텍처 원칙에 중점을 둡니다.

목차

• 기능
• 프로젝트 구조
• 사전 요구 사항
• 설치
• 구성
• 사용법
• 출력
• GitMiner 확장
• 라이선스

기능

• 객체 지향 설계: 유지보수성과 확장성을 높이기 위해 모듈형, 클래스 기반 아키텍처로 완전히 리팩토링되었습니다.
• 다중 Dork 스캔: 파일에서 여러 GitHub dork를 처리하거나 명령줄에서 단일 dork를 처리합니다.
• 고급 패턴 매칭: API 키, 토큰, 비밀번호, 개인 키를 포함한 광범위한 비밀을 감지하기 위해 구성 가능한 정규식 패턴 세트를 활용합니다.
• YAML 기반 구성: 간단한 YAML 파일을 통해 경로, API 설정 및 탐지 패턴을 쉽게 관리합니다.
• 위협 인텔리전스 보고서: 각 dork에 대해 실행 요약, 심각도 분석 및 기술 세부 정보를 포함한 상세한 Markdown 보고서를 자동으로 생성합니다.
• SQLite 기록 데이터베이스: 모든 검색 작업, 다운로드된 파일 및 발견 사항을 기록하여 기록 분석 및 영속성을 제공합니다.
• PEP 8 준수: Python 표준을 준수하는 깔끔하고 읽기 쉬우며 전문적인 코드로 작성되었습니다.
• 견고한 오류 처리: 안정적인 실행을 위해 적절한 오류 처리 및 속도 제한 관리를 구현합니다.

프로젝트 구조

프로젝트는 관심사를 분리하고 명확성을 높이기 위해 모듈형 구조로 구성되어 있습니다.

gitminer_v3/
├── config/                 # 구성 파일
│   ├── paths.yaml          # 디렉터리, 파일 및 API 경로
│   ├── labels.yaml         # 매개변수에 대한 정규식-레이블 매핑
│   └── patterns.yaml       # 비밀 탐지를 위한 정규식 패턴
├── data/                   # 영구 데이터 저장소
│   └── gitminer_history.sqlite # 기록용 SQLite 데이터베이스
├── gitminer/               # 주요 Python 패키지
│   ├── __init__.py
│   ├── config_manager.py   # 모든 구성을 로드하고 관리
│   ├── github_client.py    # 모든 GitHub API 상호 작용 처리
│   ├── file_manager.py     # 파일 다운로드 및 저장 관리
│   ├── pattern_analyzer.py # 비밀 탐지를 위해 파일 스캔
│   ├── database.py         # SQLite 데이터베이스 작업 관리
│   ├── report_generator.py # Markdown 보고서 생성
│   └── utils.py            # 공용 유틸리티 함수
├── raw/                    # GitHub에서 다운로드한 파일 저장
├── reports/                # 생성된 위협 인텔리전스 보고서 저장
├── gitminer_v3.py          # 주요 실행 스크립트
├── requirements.txt        # Python 종속성
└── README.md               # 이 파일

사전 요구 사항

• Python 3.11+
• public_repo 범위의 GitHub Personal Access Token (PAT)

설치

1. 저장소를 클론하거나 소스 코드를 다운로드합니다.

2. GitHub 토큰 설정: GitMiner는 API와 상호 작용하기 위해 GitHub 토큰이 필요합니다. 환경 변수로 설정해야 합니다.

   root@kitploit:~

   export GITHUB_TOKEN="your_github_personal_access_token_here"
   

3. 필요한 Python 패키지 설치:

   root@kitploit:~

   pip install -r requirements.txt
   

구성

GitMiner의 동작은 config/ 디렉터리의 파일에 의해 제어됩니다.

paths.yaml

이 파일은 모든 중요한 경로와 API 설정을 정의합니다.

• directories: 원시 파일, 보고서 및 데이터를 저장할 위치를 지정합니다.
• files: 데이터베이스 및 기본 CSV 출력의 이름을 정의합니다.
• github: URL, 시간 제한 및 기본 결과 제한과 같은 GitHub API 설정을 포함합니다.

labels.yaml

이 파일은 정규식 패턴을 사람이 읽을 수 있는 레이블에 매핑합니다. 주로 코드에서 매개변수 이름(예: ftp_user, api_key)을 식별하는 데 사용됩니다.

# 형식: "regex_pattern": "LABEL_NAME"
"(?i)(api[_\\- ]?key|apikey)": "API_KEY"
"(?i)(password|passwd)": "PASSWORD"

patterns.yaml

이 파일은 키, 토큰 및 자격 증명과 같은 민감한 값을 탐지하는 데 사용되는 핵심 정규식 패턴을 포함합니다.

# 형식: PATTERN_NAME: "regex_pattern"
GITHUB_TOKEN: "ghp_[A-Za-z0-9_]{36,255}"
AWS_ACCESS_KEY_ID: "AKIA[0-9A-Z]{16}"

사용법

기본 스크립트 gitminer_v3.py는 모든 작업의 진입점입니다.

명령줄 인수

예제

1. 단일 dork로 검색하고 보고서 생성:

   root@kitploit:~

   python3 gitminer_v3.py -d "filename:.env DB_PASSWORD" --report
   

2. 여러 dork가 포함된 파일로 검색: dorks.txt라는 파일을 생성합니다:

   root@kitploit:~

   filename:wp-config.php DB_PASSWORD
   filename:settings.py SECRET_KEY
   extension:pem private
   

   그런 다음 명령을 실행합니다:

   root@kitploit:~

   python3 gitminer_v3.py -d dorks.txt -m 500 --report
   

3. 다운로드된 모든 파일 목록을 CSV로 내보내기:

   root@kitploit:~

   python3 gitminer_v3.py -d dorks.txt -o downloaded_files.csv
   

4. 분석 없이 파일만 다운로드:

   root@kitploit:~

   python3 gitminer_v3.py -d dorks.txt --no-analyze
   

출력

GitMiner는 raw/, reports/ 및 data/ 디렉터리에 저장된 여러 유형의 출력을 생성합니다.

원시 파일

GitHub에서 다운로드된 모든 파일은 dork 키워드와 저장소 이름별로 구성되어 raw/ 디렉터리에 저장됩니다.

raw/
└── DB_PASSWORD/
    └── someuser_some-repo/
        └── .env

위협 인텔리전스 보고서

--report 플래그를 사용하면 각 dork에 대해 상세한 Markdown 보고서가 생성되어 reports/ 디렉터리에 저장됩니다. 이러한 보고서에는 다음이 포함됩니다:

• 주요 통계가 포함된 실행 요약.
• 심각도별 발견 사항 (높음, 중간, 낮음).
• 코드 스니펫 및 소스 파일 링크가 포함된 기술 분석 섹션.
• 수정을 위한 권장 사항.

SQLite 데이터베이스

data/gitminer_history.sqlite 파일에는 모든 작업의 전체 기록이 포함되어 있습니다:

• search_history: 수행된 모든 dork 검색 기록.
• downloaded_files: 다운로드된 모든 파일의 메타데이터.
• findings: 발견된 모든 비밀의 상세 기록.

이 데이터베이스는 장기 추적 및 고급 분석에 사용할 수 있습니다.

GitMiner 확장

GitMiner v3는 쉽게 확장할 수 있도록 설계되었습니다.

• 새 탐지 패턴 추가: config/patterns.yaml에 새 항목을 추가하기만 하면 됩니다.
• 새 매개변수 레이블 추가: config/labels.yaml에 새 정규식-레이블 쌍을 추가합니다.
• 동작 수정: gitminer/ 패키지의 모듈형 객체 지향 코드는 잘 문서화되어 있으며 쉽게 수정하거나 확장할 수 있습니다.

라이선스

이 프로젝트는 오픈 소스이며 개인적 및 교육적 용도로 사용할 수 있습니다. 책임감 있고 윤리적으로 사용하십시오. 저자는 이 도구의 오용에 대해 책임을 지지 않습니다.