Robin: KI-gestütztes OSINT-Tool für das Dark Web

Robin ist ein KI-gestütztes Tool für OSINT-Ermittlungen im Dark Web. Es nutzt LLMs, um Suchanfragen zu verfeinern, Suchergebnisse von Dark-Web-Suchmaschinen zu filtern und eine Ermittlungszusammenfassung zu erstellen.

Installation • Mitwirken • Danksagungen

Architektur

Funktionen

• ⚙️ Modulare Architektur – Saubere Trennung zwischen Such-, Scrape- und LLM-Workflows.
• 🤖 Multi-Modell-Unterstützung – Einfacher Wechsel zwischen OpenAI, Claude, Gemini, Ollama oder jeder OpenAI-kompatiblen API (LM Studio, llama.cpp, Groq usw.).
• 🌐 Web-UI – Streamlit-basierte Oberfläche für interaktive Ermittlungen.
• 💬 Konversations-Nachfragen – Stellen Sie fundierte Nachfragen zu einer Ermittlung, ohne die Suche erneut auszuführen – beantwortet aus den Daten der jeweiligen Ermittlung.
• 🔀 Pivot mit einem Klick – Vorgeschlagene Folgeabfragen aus den Ergebnissen; klicken Sie auf eine, um eine neue Ermittlung zu starten.
• 🐳 Docker-Bereit – Empfohlene Docker-Bereitstellung für saubere, isolierte Nutzung.
• 📝 Benutzerdefinierte Berichte – Speichern Sie Ermittlungsergebnisse in einer Datei für Berichte oder weitere Analysen.
• 🧩 Erweiterbar – Einfaches Einbinden neuer Suchmaschinen, Modelle oder Ausgabeformate.

⚠️ Haftungsausschluss

Dieses Tool ist ausschließlich für Bildungszwecke und rechtmäßige Ermittlungszwecke gedacht. Der Zugriff auf oder die Interaktion mit bestimmten Dark-Web-Inhalten kann je nach Rechtsraum illegal sein. Der Autor ist nicht verantwortlich für jeglichen Missbrauch dieses Tools oder der damit gesammelten Daten.

Nutzen Sie es verantwortungsbewusst und auf eigenes Risiko. Stellen Sie sicher, dass Sie alle relevanten Gesetze und institutionellen Richtlinien einhalten, bevor Sie OSINT-Ermittlungen durchführen.

Darüber hinaus nutzt Robin APIs von Drittanbietern (einschließlich LLMs). Seien Sie vorsichtig beim Senden potenziell sensibler Abfragen und prüfen Sie die Nutzungsbedingungen jedes API- oder Modellanbieters, den Sie verwenden.

Installation

[!NOTE] Das Tool benötigt Tor für die Suchen. Sie können Tor unter Linux/Windows(WSL) mit apt install tor oder unter Mac mit brew install tor installieren. Nach der Installation prüfen Sie, ob Tor im Hintergrund läuft.

[!TIP] Sie können Ihren API-Schlüssel für das LLM Ihrer Wahl bereitstellen, indem Sie entweder eine .env-Datei erstellen (siehe Beispiel-Env-Datei im Repository) oder Umgebungsvariablen im PATH setzen.

Für Ollama geben Sie http://host.docker.internal:11434 als OLLAMA_BASE_URL in Ihrer Umgebung an, wenn Sie die Docker-Methode verwenden, oder http://127.0.0.1:11434 für andere Methoden. Je nach Betriebssystem müssen Sie Ollama möglicherweise auf 0.0.0.0 bereitstellen. Dies können Sie tun, indem Sie OLLAMA_HOST=0.0.0.0 ollama serve & in Ihrem Terminal ausführen.

Für jeden anderen OpenAI-kompatiblen Anbieter (LM Studio, llama.cpp, Groq usw.) verwenden Sie den Erweiterer 🔌 Benutzerdefinierter API-Anbieter in der Seitenleiste – keine .env-Änderungen erforderlich. Geben Sie die Basis-URL, optional einen API-Schlüssel und optional einen Modellnamen ein, falls der Anbieter /v1/models für die automatische Erkennung nicht bereitstellt.

Docker [Empfohlen]

• Ziehen Sie das neueste Robin-Docker-Image

docker pull apurvsg/robin:latest

• Führen Sie das Docker-Image wie folgt aus:

docker run --rm \
   -v "$(pwd)/.env:/app/.env" \
   --add-host=host.docker.internal:host-gateway \
   -p 8501:8501 \
   apurvsg/robin:latest

[!TIP] Um gespeicherte Ermittlungen über Docker-Neustarts hinweg zu erhalten, mounten Sie ein lokales Verzeichnis:

root@kitploit:~

docker run --rm \
   -v "$(pwd)/.env:/app/.env" \
   -v "$(pwd)/investigations:/app/investigations" \
   --add-host=host.docker.internal:host-gateway \
   -p 8501:8501 \
   apurvsg/robin:latest

Ermittlungen werden im Ordner investigations/ in Ihrem Arbeitsverzeichnis gespeichert und können über das Panel Frühere Ermittlungen in der Seitenleiste geladen werden.

• Öffnen Sie Ihren Browser und navigieren Sie zu http://localhost:8501

Mit Python (Entwicklungsversion)

• Führen Sie mit Python 3.10+ und installiertem Tor Folgendes aus:

pip install -r requirements.txt
streamlit run ui.py

• Öffnen Sie Ihren Browser und navigieren Sie zu http://localhost:8501

Mitwirken

Beiträge sind willkommen! Bitte reichen Sie gerne einen Pull Request ein, wenn Sie größere Feature-Updates haben.

• Forken Sie das Repository
• Erstellen Sie Ihren Feature-Branch (git checkout -b feature/amazing-feature)
• Committen Sie Ihre Änderungen (git commit -m 'Add some amazing feature')
• Pushen Sie den Branch (git push origin feature/amazing-feature)
• Öffnen Sie einen Pull Request

Öffnen Sie ein Issue für jede dieser Situationen:

• Wenn Sie einen Bug oder schlechten Code entdecken
• Wenn Sie eine Idee für eine Feature-Anfrage haben
• Wenn Sie Fragen oder Zweifel zur Nutzung haben
• Wenn Sie kleinere Codeänderungen haben

Danksagungen

• Ideeninspiration von Thomas Roccia und seiner Demo von Perplexity of the Dark Web.
• Tool-Inspiration aus meinem Repository OSINT Tools for the Dark Web.
• LLM-Prompt-Inspiration aus dem Repository OSINT-Assistant.
• Logo-Design von meinem Freund Tanishq Rupaal