GitMiner3

• Autor: UnkL4b
• Site: bravul.com
• Blog: unkl4b.github.io
• Github: UnkL4b
• X: @UnkL4b

WARNUNG

 +---------------------------------------------------+
 | DIE ENTWICKLER ÜBERNEHMEN KEINE HAFTUNG UND SIND  |
 | NICHT VERANTWORTLICH FÜR MISSBRAUCH ODER SCHÄDEN, |
 | DIE DURCH DIESES PROGRAMM VERURSACHT WERDEN        |
 +---------------------------------------------------+

GITMINER 3

GitMiner v3 ist ein modulares Tool zur Erkennung sensibler Informationen in öffentlichen GitHub-Repositories. Es verwendet erweiterte Dork-Abfragen, Regex-Musterabgleich und erstellt umfassende Threat-Intelligence-Berichte.

Dieses Projekt ist eine vollständige Überarbeitung des ursprünglichen Gitminer-Skripts, mit Fokus auf Wartbarkeit, Skalierbarkeit und professionellen Softwarearchitektur-Prinzipien.

Inhaltsverzeichnis

• Funktionen
• Projektstruktur
• Voraussetzungen
• Installation
• Konfiguration
• Verwendung
• Ausgabe
• GitMiner erweitern
• Lizenz

Funktionen

• Objektorientiertes Design: Vollständig in eine modulare, klassenbasierte Architektur überarbeitet für bessere Wartbarkeit und Erweiterbarkeit.
• Multi-Dork-Scanning: Verarbeitung mehrerer GitHub-Dorks aus einer Datei oder eines einzelnen Dorks über die Befehlszeile.
• Erweiterter Musterabgleich: Verwendet einen konfigurierbaren Satz von Regex-Mustern zur Erkennung einer Vielzahl von Geheimnissen, einschließlich API-Schlüsseln, Tokens, Passwörtern und privaten Schlüsseln.
• YAML-basierte Konfiguration: Einfache Verwaltung von Pfaden, API-Einstellungen und Erkennungsmustern über einfache YAML-Dateien.
• Threat-Intelligence-Berichte: Automatische Erstellung detaillierter Markdown-Berichte für jeden Dork, einschließlich einer Management-Zusammenfassung, Schweregradanalyse und technischer Details.
• SQLite-Verlaufsdatenbank: Verfolgt alle Suchvorgänge, heruntergeladenen Dateien und Funde für historische Analysen und Persistenz.
• PEP-8-konform: Geschrieben mit sauberem, lesbarem und professionellem Code, der den Python-Standards entspricht.
• Robuste Fehlerbehandlung: Implementiert eine ordnungsgemäße Fehlerbehandlung und Verwaltung von Ratenbegrenzungen für eine stabile Ausführung.

Projektstruktur

Das Projekt ist in einer modularen Struktur organisiert, um Zuständigkeiten zu trennen und die Übersichtlichkeit zu verbessern.

gitminer_v3/
├── config/                 # Konfigurationsdateien
│   ├── paths.yaml          # Verzeichnis-, Datei- und API-Pfade
│   ├── labels.yaml         # Regex-zu-Label-Zuordnungen für Parameter
│   └── patterns.yaml       # Regex-Muster zur Erkennung von Geheimnissen
├── data/                   # Persistente Datenspeicherung
│   └── gitminer_history.sqlite # SQLite-Datenbank für den Verlauf
├── gitminer/               # Haupt-Python-Paket
│   ├── __init__.py
│   ├── config_manager.py   # Lädt und verwaltet alle Konfigurationen
│   ├── github_client.py    # Behandelt alle GitHub-API-Interaktionen
│   ├── file_manager.py     # Verwaltet Dateidownloads und -speicherung
│   ├── pattern_analyzer.py # Scannt Dateien auf Geheimnisse
│   ├── database.py         # Verwaltet SQLite-Datenbankoperationen
│   ├── report_generator.py # Erstellt Markdown-Berichte
│   └── utils.py            # Gemeinsame Hilfsfunktionen
├── raw/                    # Speichert heruntergeladene Dateien von GitHub
├── reports/                # Speichert generierte Threat-Intelligence-Berichte
├── gitminer_v3.py          # Hauptausführbares Skript
├── requirements.txt        # Python-Abhängigkeiten
└── README.md               # Diese Datei 

Voraussetzungen

• Python 3.11+
• Ein GitHub Personal Access Token (PAT) mit dem Bereich public_repo.

Installation

1. Repository klonen oder Quellcode herunterladen.

2. GitHub-Token einrichten: GitMiner benötigt ein GitHub-Token für die Interaktion mit der API. Sie müssen es als Umgebungsvariable festlegen.

   root@kitploit:~

   export GITHUB_TOKEN="your_github_personal_access_token_here"
   

3. Erforderliche Python-Pakete installieren:

   root@kitploit:~

   pip install -r requirements.txt
   

Konfiguration

Das Verhalten von GitMiner wird durch Dateien im Verzeichnis config/ gesteuert.

paths.yaml

Diese Datei definiert alle wichtigen Pfade und API-Einstellungen.

• directories: Gibt an, wo Rohdateien, Berichte und Daten gespeichert werden.
• files: Definiert die Namen für die Datenbank und die Standard-CSV-Ausgabe.
• github: Enthält Einstellungen für die GitHub-API, wie URLs, Timeouts und Standard-Ergebnislimits.

labels.yaml

Diese Datei ordnet Regex-Muster lesbaren Labels zu. Sie wird hauptsächlich verwendet, um Parameternamen (z. B. ftp_user, api_key) im Code zu identifizieren.

# Format: "regex_pattern": "LABEL_NAME"
"(?i)(api[_\\- ]?key|apikey)": "API_KEY"
"(?i)(password|passwd)": "PASSWORD"

patterns.yaml

Diese Datei enthält die zentralen Regex-Muster zur Erkennung sensibler Werte wie Schlüssel, Tokens und Anmeldedaten.

# Format: PATTERN_NAME: "regex_pattern"
GITHUB_TOKEN: "ghp_[A-Za-z0-9_]{36,255}"
AWS_ACCESS_KEY_ID: "AKIA[0-9A-Z]{16}"

Verwendung

Das Hauptskript gitminer_v3.py ist der Einstiegspunkt für alle Operationen.

Befehlszeilenargumente

Beispiele

1. Suche mit einem einzelnen Dork und Berichtserstellung:

   root@kitploit:~

   python3 gitminer_v3.py -d "filename:.env DB_PASSWORD" --report
   

2. Suche mit einer Datei, die mehrere Dorks enthält: Erstellen Sie eine Datei namens dorks.txt:

   root@kitploit:~

   filename:wp-config.php DB_PASSWORD
   filename:settings.py SECRET_KEY
   extension:pem private
   

   Führen Sie dann den Befehl aus:

   root@kitploit:~

   python3 gitminer_v3.py -d dorks.txt -m 500 --report
   

3. Exportieren einer Liste aller heruntergeladenen Dateien als CSV:

   root@kitploit:~

   python3 gitminer_v3.py -d dorks.txt -o downloaded_files.csv
   

4. Dateien herunterladen, ohne eine Analyse durchzuführen:

   root@kitploit:~

   python3 gitminer_v3.py -d dorks.txt --no-analyze
   

Ausgabe

GitMiner erzeugt verschiedene Arten von Ausgaben, die in den Verzeichnissen raw/, reports/ und data/ gespeichert werden.

Rohdateien

Alle von GitHub heruntergeladenen Dateien werden im Verzeichnis raw/ gespeichert, organisiert nach Dork-Schlüsselwort und Repository-Name.

raw/
└── DB_PASSWORD/
    └── someuser_some-repo/
        └── .env

Threat-Intelligence-Berichte

Wenn das Flag --report verwendet wird, wird für jeden Dork ein detaillierter Markdown-Bericht erstellt und im Verzeichnis reports/ gespeichert. Diese Berichte enthalten:

• Eine Management-Zusammenfassung mit wichtigen Statistiken.
• Ergebnisse nach Schweregrad (Hoch, Mittel, Niedrig).
• Einen Abschnitt Technische Analyse mit Codeausschnitten und Links zu den Quelldateien.
• Empfehlungen zur Behebung.

SQLite-Datenbank

Die Datei data/gitminer_history.sqlite enthält einen vollständigen Verlauf aller Operationen, einschließlich:

• search_history: Aufzeichnungen jeder durchgeführten Dork-Suche.
• downloaded_files: Metadaten für jede heruntergeladene Datei.
• findings: Detaillierte Aufzeichnungen jedes gefundenen Geheimnisses.

Diese Datenbank kann für langfristige Nachverfolgung und erweiterte Analysen verwendet werden.

GitMiner erweitern

GitMiner v3 ist so konzipiert, dass es leicht erweiterbar ist.

• So fügen Sie neue Erkennungsmuster hinzu: Fügen Sie einfach einen neuen Eintrag in config/patterns.yaml hinzu.
• So fügen Sie neue Parameter-Labels hinzu: Fügen Sie ein neues Regex-Label-Paar in config/labels.yaml hinzu.
• So ändern Sie das Verhalten: Der modulare, objektorientierte Code im Paket gitminer/ ist gut dokumentiert und kann leicht geändert oder erweitert werden.

Lizenz

Dieses Projekt ist Open Source und für den persönlichen und pädagogischen Gebrauch verfügbar. Bitte verwenden Sie es verantwortungsvoll und ethisch. Der Autor ist nicht für Missbrauch dieses Tools verantwortlich.