XPFarm

Eine quelloffene, KI-gestützte offensive Sicherheitsplattform, die bekannte Sicherheitstools hinter einer einheitlichen Weboberfläche vereint – mit verteiltem Scannen, KI-generierten Berichten, einem intelligenten Scanplaner, einem interaktiven Angriffsgraphen und einem Community Plugin SDK.

Schauen Sie sich auch ObsidianBox Modern im Google Play Store an.

Inhaltsverzeichnis

Warum

Tools wie Assetnote sind großartig – gut gewartet, aktuell und transparent bei der Schwachstellenidentifikation. Aber sie sind nicht quelloffen. Es besteht auch kein Grund, das Rad neu zu erfinden, da bereits viele solide Open-Source-Tools existieren. XPFarm bündelt sie, sodass Sie einen Schwachstellenscanner haben, der quelloffen und weniger unternehmensorientiert ist.

Der Fokus lag auf der Entwicklung eines Schwachstellenscanners, bei dem Sie sehen können, was im Hintergrund fehlschlägt oder entfernt wird, anstatt sich über das Geheimnis zu wundern. Alles, was die Scan-Pipeline tut, wird dem Benutzer angezeigt.

Eingebundene Tools

• Subfinder — Subdomain-Erkennung
• Naabu — Port-Scanning
• Httpx — HTTP-Sonden
• Nuclei — Schwachstellenscanning
• Nmap — Netzwerkscanning
• Katana — JS-Crawling
• URLFinder — URL-Erkennung
• Gowitness — Screenshots
• Wappalyzer — Technologieerkennung
• CVEMap — CVE-Zuordnung

Danksagungen

Architekturübersicht

flowchart TB
    subgraph ENTRY["Entrypoint — main.go"]
        M1["Parse Flags (-debug)"]
        M2["InitDB — SQLite + WAL + GORM"]
        M3["InitModules — 10 tool wrappers"]
        M4["Load Plugins — normalization/all + plugins/all"]
        M5["Health Check — auto-install missing tools"]
        M6["CheckAndIndexTemplates — Nuclei versioning"]
        M7["StartServer — Gin on :8888"]
        M1 --> M2 --> M3 --> M4 --> M5 --> M6 --> M7
    end

    subgraph UI_LAYER["Web UI — internal/ui/server.go"]
        direction TB
        GIN["Gin HTTP Server\nEmbedded templates + static\nCSRF origin-check middleware"]

        subgraph Pages["HTML Pages"]
            P1["Dashboard — SSE live stage progress"]
            P2["Assets & Targets"]
            P3["Global Search — paginated + truncation"]
            P4["Scan Graph — Cytoscape.js"]
            P5["Bug Bounty Reports"]
            P6["AI Scan Planner"]
            P7["Workers & Jobs"]
            P8["Overlord Chat + Binary Upload"]
            P9["Modules"]
            P10["Settings — AES-256-GCM encrypted"]
        end

        GIN --> Pages
    end

    subgraph SCAN_ENGINE["Scan Engine — internal/core/"]
        direction TB
        SM["ScanManager\nSingleton, mutex-guarded\nPanic recovery + SSE broadcast"]

        subgraph PIPELINE["8-Stage Scanning Pipeline"]
            direction TB
            S1["1. Subfinder — Subdomain Discovery"]
            S2["2. Filter & Save — Cloudflare / Localhost / Alive"]
            S3["3. Naabu — Port Scanning (5-worker pool)"]
            S4["4. Nmap — Service + Version Detection"]
            S5["5. Httpx — HTTP Probing + Metadata"]
            S6["6. Parallel Web — Screenshots, Crawl, URLs, Tech"]
            S7["7. CVEMap — CVE lookup by product/tech"]
            S8["8. Nuclei — Vulnerability Scanning"]
            S1 --> S2 --> S3 --> S4 --> S5 --> S6 --> S7 --> S8
        end

        SM --> PIPELINE
    end

    subgraph REPORTS["Bug Bounty Reports — internal/reports/"]
        RG["GenerateReport()\nCollects DB context + graph\nOverlord AI generation\nFallback built-in templates"]
        RF["Formats: Markdown · PDF · HackerOne · Bugcrowd"]
        RS["Storage: internal/storage/reports/"]
        RG --> RF --> RS
    end

    subgraph PLANNER["AI Scan Planner — internal/planner/"]
        PL["GenerateScanPlan()\nGathers asset/finding/graph context\nPolls Overlord for JSON plan\nFallback heuristic plan"]
        PC["Capability Registry — 26 capabilities\n10 built-in modules + 16 Overlord agents\nRisk levels: safe / active / destructive"]
        PS["ExecutePlanWithLogs()\nSSE log streaming per step\nRoutes builtin vs Overlord agent steps"]
        PL --> PC --> PS
    end

    subgraph DISTRIBUTED["Distributed Workers — internal/distributed/"]
        DW["Worker Binary — cmd/worker/main.go\n./xpfarm-worker -controller http://host:8888"]
        DC["Controller — token auth, heartbeat monitor\nAtomically claims jobs from queue"]
        DS["Scheduler — BestWorkerForTool()\nRoutes by capability + active job count"]
        DJ["Job Queue — internal/storage/jobs/\nClaim via DB transaction, 30min timeout"]
        DW --> DC --> DS --> DJ
    end

    subgraph OVERLORD["Overlord — AI Agent Subsystem"]
        OV_PROXY["Overlord Proxy — internal/overlord/"]

        subgraph OV_AGENTS["22 Specialized Agents"]
            OA1["Binary RE — re-explorer, re-debugger, re-decompiler, re-scanner"]
            OA2["APK — apk-recon, apk-dynamic, apk-decompiler"]
            OA3["Web + Exploit — web-tester, re-exploiter, secrets-hunter, recon"]
        end

        subgraph OV_TOOLS["70+ TypeScript Tools"]
            OT1["radare2, ghidra, binwalk, frida, angr, strings"]
            OT2["semgrep, gitleaks, gau, corscanner, whatweb"]
            OT3["git_dumper, js_scraper, crypto_solver, ropper"]
        end

        subgraph PROVIDERS["21 AI Providers"]
            PR1["Anthropic · OpenAI · Groq · DeepSeek"]
            PR2["Ollama (local) · xAI · OpenRouter · Cerebras"]
        end

        OV_PROXY --> OV_AGENTS
        OV_PROXY --> OV_TOOLS
        OV_PROXY --> PROVIDERS
    end

    subgraph SCAN_GRAPH["Scan Graph — internal/graph/"]
        GB["BuildGraph() — queries 5 tables\nDeduplicates nodes + edges"]
        subgraph GNODES["Node Types"]
            GN1["asset #8b5cf6"]
            GN2["target #0ea5e9"]
            GN3["service #10b981"]
            GN4["tech #f59e0b"]
            GN5["vuln #ef4444"]
            GN6["exploit #dc2626"]
        end
        GB --> GNODES
    end

    subgraph DATABASE["Database — internal/database/ + internal/storage/"]
        DB["SQLite + WAL Mode\nGORM ORM\n10 open / 5 idle conns, 64MB WAL cap"]
        subgraph MODELS["Data Models"]
            DM1["Asset · Target · Port · WebAsset"]
            DM2["Vulnerability · CVE · ScanResult"]
            DM3["ScanProfile · NucleiTemplate · SavedSearch"]
            DM4["Setting (AES-256-GCM encrypted)"]
            DM5["Report · Plan · WorkerRecord · JobRecord"]
        end
        DB --> MODELS
    end

    subgraph DOCKER["Docker — docker-compose.yml"]
        DC1["xpfarm — Go app :8888"]
        DC2["overlord — OpenCode :3000"]
        DC3["mobsf — Mobile scan :8000 (optional)"]
        DC1 <-->|xpfarm-network| DC2
        DC1 <-->|xpfarm-network| DC3
    end

    M7 --> GIN
    GIN --> SCAN_ENGINE
    GIN --> REPORTS
    GIN --> PLANNER
    GIN --> DISTRIBUTED
    GIN --> OVERLORD
    GIN --> SCAN_GRAPH
    GIN --> DATABASE

Overlord – KI-Analyse

Overlord ist ein eingebauter KI-Agent, der von OpenCode betrieben wird und Binärdateien, Archive, APKs und Webziele analysieren kann. Laden Sie eine Datei hoch und chatten Sie mit ihm – der Agent verwendet radare2, strings, Datei-Triage, Frida und mehr, um Ihr Ziel zu untersuchen.

• Live-Streaming-Ausgabe – sehen Sie Gedankengänge, Tool-Aufrufe und Ergebnisse in Echtzeit
• Sitzungsverlauf – wechseln Sie zwischen früheren Sitzungen, automatisch wiederhergestellt bei Seitenaktualisierung
• Multi-Anbieter – Anthropic, OpenAI, Groq, Ollama (lokal), DeepSeek, xAI und 15+ weitere
• Stopp-Button – brechen Sie langlaufende Analysen jederzeit ab
• 70+ TypeScript-Tools – radare2, Ghidra, Frida, binwalk, angr, Semgrep, Gitleaks und mehr
• 22 spezialisierte Agenten – Binary-RE, APK-Analyse, Web-Testing, Exploit-Generierung, Geheimnisjagd
• 500 MB Upload-Limit mit MIME-Typ-Validierung

Bug-Bounty-Berichte

Generieren Sie mit einem Klick professionelle Offenlegungsberichte aus Ihren Scan-Ergebnissen. Overlord KI synthetisiert Ihr Asset-Inventar, Schwachstellenergebnisse, Graph-Kontext und CVE-Daten zu einem ausgefeilten Bericht.

Formate:

So funktioniert es:

1. Wählen Sie ein oder mehrere Assets aus, die einbezogen werden sollen
2. Wählen Sie Format und optionalen Titel
3. Overlord KI generiert einen strukturierten Bericht aus Ihren Live-Ergebnissen + Angriffsgraph
4. Herunterladen als .md, .html oder .pdf – oder das rohe Markdown kopieren
5. Berichte werden gespeichert und können jederzeit erneut heruntergeladen werden

KI-Scanplaner

Overlord wählt die optimalen Recon- und Exploitation-Schritte für Ihre Ziele basierend auf dem, was bereits entdeckt wurde – Asset-Inventar, vorhandene Ergebnisse, Graphenstruktur und verfügbare Tool-Fähigkeiten.

Modi:

So funktioniert es:

1. Wählen Sie Ziel-Assets, Modus und Schrittlimits aus
2. Overlord KI analysiert Ihre vorhandenen Daten und generiert einen priorisierten JSON-Plan
3. Jeder Schritt zeigt: Tool/Agent, Ziel, Begründung und erwartete Ausgabe
4. Klicken Sie auf Ausführen, um den Plan auszuführen – Schritte streamen Live-Fortschritt via SSE
5. Pläne werden gespeichert und können jederzeit erneut ausgeführt werden

Fähigkeitsregister: 10 eingebaute Module + 16 Overlord-Agenten, jeweils mit Risikostufe (safe / active / destructive) und Kategorie für Modusfilterung.

Verteilte Worker

Führen Sie Scans parallel auf mehreren Maschinen durch. Stellen Sie Worker-Knoten auf entfernten Hosts bereit; sie registrieren sich automatisch beim Controller, fragen Jobs ab, führen Tools lokal aus und senden Ergebnisse zurück.

Einen Worker bereitstellen:

./xpfarm-worker -controller http://xpfarm-host:8888 -id worker-1 -labels high-bandwidth,internal

So funktioniert es:

• Worker registrieren sich mit einem Krypto-Token (32 Byte zufällig, einer pro Worker)
• Heartbeat alle 10 Sekunden – Worker werden nach 45 Sekunden Stille als offline markiert
• Jobs werden atomar per DB-Transaktion beansprucht – keine Doppelausführung
• Der Scheduler leitet Jobs an den besten verfügbaren Worker entsprechend Fähigkeit und Last weiter
• 30-minütiges Timeout pro Job; fehlgeschlagene Jobs werden bei Verbindungsabbruch des Workers erneut in die Warteschlange gestellt

Job-Warteschlange: Erstellen Sie Jobs über die Workers-Oberfläche oder per POST /api/jobs/create. Die Warteschlange zeigt Live-Status, zugewiesenen Worker und Ergebnisausgabe.

Scan-Graph

XPFarm erstellt einen einheitlichen gerichteten Graphen aller während des Scans entdeckten Entitäten, sodass Fragen wie „Welche Dienste laufen mit Technologie, für die ein aktives CVE-Exploit existiert?“ oder „Zeige mir alles, was von diesem Asset aus erreichbar ist“ trivial zu beantworten sind.

Knotentypen:

Beispielpfad:

example.com (asset)
  └─owns──► www.example.com (target)
              ├─exposes──► 443/tcp https (service)
              │              └─runs──► nginx 1.24 (tech)
              ├─affected-by──► CVE-2023-44487 (vuln)
              │                   └─exploits──► Exploit: CVE-2023-44487
              └─affected-by──► http-missing-security-headers (vuln)

• Vollseitiger interaktiver Cytoscape.js-Canvas – Zoomen, Schwenken, Knoten ziehen
• Linkes Panel: filtern nach Knotentyp, Vuln-Schweregrad, Kantenart
• Klick auf einen Knoten → Seitenpanel zeigt alle Eigenschaften + Deep-Link zur Detailseite
• „Graph neu aufbauen“ fragt die Live-Datenbank erneut ab

Plugin-SDK

XPFarm ist über ein Community Plugin SDK erweiterbar. Jeder kann neue Tools, Agenten und Pipelines hinzufügen, ohne den Kerncode zu berühren.

plugins/
├── all/all.go                    ← hier Ihren Plugin-Import hinzufügen
├── example-echo/                 ← minimale Startvorlage
├── example-repo-scanner/         ← Beispiel eines Repository-Scanners
├── repo-semgrep/                 ← Semgrep SAST-Plugin (produktionsreif)
└── repo-secrets/                 ← Gitleaks + SecretFinder-Plugin (produktionsreif)

Ein Plugin schreiben – drei Schritte:

1. Erstellen Sie plugins/my-plugin/plugin.go – implementieren Sie Tool und/oder Agent, rufen Sie plugin.RegisterTool() / plugin.RegisterAgent() in init() auf
2. Erstellen Sie plugins/my-plugin/plugin.yaml – Metadaten
3. Fügen Sie _ "xpfarm/plugins/my-plugin" zu plugins/all/all.go hinzu

GET /api/plugins listet alle registrierten Tools, Agenten, Pipelines und Manifeste auf.

Finding-Normalisierungs-Engine

Rohe Scanner-Ausgaben von Nuclei, Nmap, Semgrep und Gitleaks werden in ein einheitliches Finding-Modell normalisiert, mit Live-Bedrohungsinformationen angereichert, dedupliziert und gruppiert.

POST /api/normalize  {"source": "nuclei", "raw": {...}}
         │
         ▼  Adapter (nuclei / nmap / semgrep / gitleaks)
         │  → kanonisches Finding (CVE, CWE, Schweregrad, Nachweis, Tags)
         │
         ▼  Anreicherungen (in Reihenfolge angewendet)
         │  1. CWE   — 40-Regel-Keyword-Trie + 35-Tag-Karte (lokal, sofort)
         │  2. CVSS  — NVD REST API v2, CVSS 3.1→3.0→2.0, In-Prozess-Cache
         │  3. EPSS  — FIRST.org Exploitation-Wahrscheinlichkeits-API, In-Prozess-Cache
         │  4. KEV   — CISA-Katalog bekannter ausgenutzter Schwachstellen (sync.Once)
         │
         ▼  SHA-256-Fingerabdruck → deduplizieren → gruppieren nach CWE/CVE/Schweregrad/Ziel
         │
         ▼  SQLite-Speicherung (FindingRecord + GroupRecord)

Neuerungen

• Bug-Bounty-Berichte – KI-generierte Markdown-, PDF-, HackerOne- und Bugcrowd-Berichte aus Live-Ergebnissen und Graph-Kontext
• KI-Scanplaner – Overlord wählt optimale Recon-/Exploitation-Schritte; 26-Fähigkeits-Register mit Risikostufen; SSE-Live-Ausführungsprotokoll
• Verteilte Worker – Stellen Sie Worker-Knoten auf entfernten Maschinen bereit; Token-Authentifizierung; atomare Job-Beanspruchung; Heartbeat-Überwachung; ./xpfarm-worker-Binärdatei
• Scan-Graph – Interaktive Cytoscape.js-Visualisierung von Assets→Ziele→Dienste→Technologien→Schwachstellen→Exploits; Filter nach Typ/Schweregrad/Art; Klick zur Inspektion
• Geheimnisse verschlüsselt gespeichert – API-Schlüssel in SQLite mit AES-256-GCM verschlüsselt; Schlüssel wird automatisch unter data/.xpfarm.key generiert
• Echtzeit-Scan-Fortschritt – Dashboard streamt Live-Phasen-Updates via SSE
• Suchpaginierung – 100 Zeilen/Seite mit Kürzungswarnung
• Goroutine-Panic-Recovery – Panics in Scan-Goroutinen werden abgefangen, protokolliert und bereinigt
• CSRF-Schutz – Cross-Origin-POST-Anfragen werden abgelehnt; nur localhost wird akzeptiert
• Härtung von Datei-Uploads – Binär-Uploads auf 500 MB begrenzt mit MIME-Validierung
• Stille Fehler sichtbar gemacht – CSV-Importfehler, Nuclei-Parse-Fehler und Suchkürzung werden dem Benutzer gemeldet
• Tool-Version-Pinning – Alle 10 Tools im Dockerfile festgelegt; ./xpfarm.sh update für optionale Upgrades
• DB-Verbindungsoptimierung – Pool mit 10 offenen / 5 inaktiven Verbindungen; 64 MB WAL-Grenze
• Repo-Scanner – Git-Repos als erstklassige Ziele; 7-stufige Pipeline (SAST, Secrets, SBOM)
• Plugin-SDK – Community-erweiterbares Tool-/Agenten-/Pipeline-System

Setup

# Empfohlen
./xpfarm.sh build     # Alle Container bauen
./xpfarm.sh up        # Alles starten (xpfarm :8888 + overlord :3000)
./xpfarm.sh update    # Mit neuesten Tool-Versionen neu bauen (optionales Upgrade)

# Windows
.\xpfarm.ps1 build
.\xpfarm.ps1 up

# Standard Docker
docker compose up --build

# Aus Quellcode bauen (ohne Overlord)
go build -o xpfarm
./xpfarm
./xpfarm -debug

Screenshots

TODO

• Benutzerdefinierte Modellkonfiguration
• Integration mobiler Scans
• Repo-Scanner-UI – Webseite zum Hinzufügen von Repos, Auslösen von Scans, Anzeigen von Ergebnissen und SBOM
• SBOM-Schwachstellenabgleich – SBOM-Abhängigkeiten mit CVE/GHSA-Datenbanken abgleichen
• Unterstützung benutzerdefinierter Module