TorBot

                         ████████╗ ██████╗ ██████╗     ██████╗  ██████╗ ████████╗
                         ╚══██╔══╝██╔═══██╗██╔══██╗    ██╔══██╗██╔═████╗╚══██╔══╝
                            ██║   ██║   ██║██████╔╝    ██████╔╝██║██╔██║   ██║
                            ██║   ██║   ██║██╔══██╗    ██╔══██╗████╔╝██║   ██║
                            ██║   ╚██████╔╝██║  ██║    ██████╔╝╚██████╔╝   ██║
                            ╚═╝    ╚═════╝ ╚═╝  ╚═╝    ╚═════╝  ╚═════╝    ╚═╝

                            Open Source Intelligence Tool for the Dark Web

Status-/Social-Links

Funktionen

1. Onion-Crawler (.onion)
2. Gibt den Seitentitel oder, falls kein Seitentitel verfügbar ist, den Hostnamen sowie die Adresse mit einer kurzen Beschreibung der Website zurück.
3. Speichert Links in einer Datenbank (nicht umgesetzt)
4. Gibt das HTML einer Website aus oder speichert es in einer HTML-Datei. (nicht umgesetzt)
5. Speichert den Linkbaum als JSON-Datei.
6. Durchsucht benutzerdefinierte Domains
7. Prüft, ob der Link erreichbar ist
8. Integrierter Updater
9. Erstellt einen visuellen Baum der Linkbeziehungen, der schnell angezeigt oder in einer Datei gespeichert werden kann

Aktuelle Verbesserungen

• Die CLI erlaubt es nun, --version und --update ohne Angabe einer URL auszuführen.
• Der Crawler löst relative Links nun gegen die aktuelle Seite auf und überspringt nicht unterstützte oder fehlerhafte hrefs auf elegantere Weise.
• Die optionale Desktop-Oberfläche TorBotApp kann über die CLI mit torbot app gestartet werden, wenn sie als benachbarter Checkout installiert ist.

...(wird aktualisiert)

Abhängigkeiten

• Tor (optional)
• Python 3.10+
• pip

Schnellstart

Lokale Einrichtung

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -r requirements.txt
python -m pip install -e .

CLI ausführen

python main.py --help
python main.py --version
python main.py -u https://example.com --depth 2 --visualize table

Häufige Beispiele

# Gather basic site information
python main.py -u https://example.com --info

# Save the crawl tree as JSON
python main.py -u https://example.com --depth 2 --save json

# Disable SOCKS5 if you are not using Tor locally
python main.py -u https://example.com --disable-socks5 --visualize tree

# Launch the optional desktop app when TorBotApp is installed
torbot app

Evidenzbasierte KI-Analyse

Speichern Sie ein versioniertes Crawl-Ergebnis und verwandeln Sie es in ein zitiertes Untersuchungspaket:

torbot --url https://example.com --disable-socks5 \
  --save result --result-file crawl-result.json
torbot analyze crawl-result.json --provider ollama --model qwen3 \
  --output investigation/

Analyst verwendet standardmäßig einen lokalen Ollama-Endpunkt. Remote-Anbieter, die mit OpenAI kompatibel sind, erfordern das explizite Flag --allow-remote. Jeder unterstützte Befund muss erfasste Belege zitieren, und ein Ausfall eines Anbieters verhindert niemals, dass das deterministische Belegpaket geschrieben wird. Siehe TorBot Analyst für den Offline-Schnellstart, Ausgabeformate, die Datenschutzgrenze und Schemas.

Optionen

usage: Gather and analyze data from Tor sites.

optional arguments:
  -u URL, --url URL     Specify a website link to crawl
  --depth DEPTH         Specify max depth of crawler (default 1)
  -h, --help            Show this help message and exit
  --host                Set IP address for SOCKS5 proxy (defaults to 127.0.0.1)
  --port                Set port for SOCKS5 proxy (defaults to 9050)
  -v                    Displays DEBUG level logging, default is INFO
  --version             Show the current version of TorBot.
  --update              Update TorBot to the latest stable version
  --app                 Run optional TorBot desktop app
  --app-dir APP_DIR     Path to a TorBotApp checkout
  -q, --quiet           Prevents display of header and IP address
  --save FORMAT         Save results in a file. (tree, JSON)
  --visualize FORMAT    Visualizes tree of data gathered. (tree, JSON, table)
  -i, --info            Info displays basic info of the scanned site
  --disable-socks5      Executes HTTP requests without using SOCKS5 proxy

-u/--url ist für crawl-bezogene Befehle wie --info, --save und --visualize erforderlich.

Wenn du Tor lokal verwendest, lass den SOCKS5-Proxy aktiviert. Wenn du Tor nicht verwendest, füge --disable-socks5 hinzu, um Proxy-Verbindungsfehler zu vermeiden.

Mehr über torrc erfährst du hier: Torrc

Optionale Desktop-App

TorBot bleibt ein CLI-first Python-Tool. Die Desktop-UI befindet sich im separaten TorBotApp Electron-Projekt, sodass Node und Electron für CLI-Nutzer nicht erforderlich sind.

Um sie von dieser CLI aus zu starten, installiere TorBotApp als benachbarten Checkout:

code/
+-- TorBot/
+-- TorBotApp/

Dann ausführen:

torbot app

Wenn sich TorBotApp an einem anderen Ort befindet, verwenden Sie entweder:

TORBOT_APP_DIR=/path/to/TorBotApp torbot app
torbot --app --app-dir /path/to/TorBotApp

Siehe Desktop App Architecture für das Zusammenspiel von CLI, optionaler UI und Backend-Diensten.

Kuratierte Funktionen

• Überarbeitung des Visualisierungsmoduls
• Implementierung der BFS-Suche für den Webcrawler
• Verbesserung der Stabilität (Fehler ordnungsgemäß behandeln, Testabdeckung erweitern usw.)
• Erhöhung der Testabdeckung
• Speichern der neuesten Suchergebnisse in einer Datenbank
• Randomisierung der Tor-Verbindung (zufälliger Header und Identität)
• Keyword-/Phrasensuche
• Integration sozialer Medien
• Erhöhung der Anonymität
• Screenshot-Erfassung

Beitragsrichtlinien

Ein Problem gefunden?

Wenn Sie auf Probleme im Projekt stoßen, lassen Sie es uns bitte wissen, indem Sie hier ein neues Issue erstellen.

Entwicklerrichtlinien