XPFarm

एक ओपन-सोर्स AI-संवर्धित आक्रामक सुरक्षा प्लेटफ़ॉर्म जो सुप्रसिद्ध सुरक्षा टूल्स को एकीकृत वेब UI के पीछे लपेटता है — वितरित स्कैनिंग, AI-जनित रिपोर्ट्स, एक स्मार्ट स्कैन प्लानर, एक इंटरैक्टिव अटैक ग्राफ़ और एक सामुदायिक प्लगइन SDK के साथ।

Google Play पर ObsidianBox Modern भी देखें।

अनुक्रमणिका

क्यों

Assetnote जैसे टूल्स बहुत अच्छे हैं — अच्छी तरह से मेंटेन किए गए, अप-टू-डेट, और भेद्यता पहचान के बारे में पारदर्शी। लेकिन वे ओपन-सोर्स नहीं हैं। पहिया को फिर से आविष्कार करने की भी कोई आवश्यकता नहीं है, क्योंकि पहले से ही कई ठोस ओपन-सोर्स टूल्स मौजूद हैं। XPFarm उन्हें एक साथ लपेटता है ताकि आपके पास एक भेद्यता स्कैनर हो जो ओपन-सोर्स और कम कॉर्पोरेट हो।

ध्यान एक ऐसा वल्न स्कैनर बनाने पर था जहाँ आप देख सकें कि बैकग्राउंड में क्या विफल होता है या हटाया जाता है, बजाय रहस्य के बारे में आश्चर्य करने के। स्कैन पाइपलाइन जो कुछ भी करती है वह उपयोगकर्ता को दिखाई देती है।

लिपटे हुए टूल्स

• Subfinder — सबडोमेन खोज
• Naabu — पोर्ट स्कैनिंग
• Httpx — HTTP प्रोबिंग
• Nuclei — भेद्यता स्कैनिंग
• Nmap — नेटवर्क स्कैनिंग
• Katana — JS क्रॉलिंग
• URLFinder — URL खोज
• Gowitness — स्क्रीनशॉट
• Wappalyzer — तकनीकी पहचान
• CVEMap — CVE मैपिंग

क्रेडिट्स

आर्किटेक्चर मैप

flowchart TB
    subgraph ENTRY["प्रवेश बिंदु — main.go"]
        M1["पार्स फ़्लैग्स (-debug)"]
        M2["InitDB — SQLite + WAL + GORM"]
        M3["InitModules — 10 टूल रैपर"]
        M4["लोड प्लगइन्स — normalization/all + plugins/all"]
        M5["हेल्थ चेक — लापता टूल्स का ऑटो-इंस्टॉल"]
        M6["CheckAndIndexTemplates — Nuclei वर्जनिंग"]
        M7["StartServer — Gin on :8888"]
        M1 --> M2 --> M3 --> M4 --> M5 --> M6 --> M7
    end

    subgraph UI_LAYER["वेब UI — internal/ui/server.go"]
        direction TB
        GIN["Gin HTTP सर्वर\nएम्बेडेड टेम्पलेट + स्थिर\nCSRF origin-चेक मिडलवेयर"]

        subgraph Pages["HTML पेज"]
            P1["डैशबोर्ड — SSE लाइव स्टेज प्रगति"]
            P2["परिसंपत्तियाँ और लक्ष्य"]
            P3["ग्लोबल सर्च — पेजिनेटेड + ट्रंकेशन"]
            P4["स्कैन ग्राफ़ — Cytoscape.js"]
            P5["बग बाउंटी रिपोर्ट्स"]
            P6["AI स्कैन प्लानर"]
            P7["वर्कर्स और जॉब्स"]
            P8["ओवरलॉर्ड चैट + बाइनरी अपलोड"]
            P9["मॉड्यूल्स"]
            P10["सेटिंग्स — AES-256-GCM एन्क्रिप्टेड"]
        end

        GIN --> Pages
    end

    subgraph SCAN_ENGINE["स्कैन इंजन — internal/core/"]
        direction TB
        SM["ScanManager\nसिंगलटन, म्यूटेक्स-गार्डेड\nपैनिक रिकवरी + SSE प्रसारण"]

        subgraph PIPELINE["8-चरण स्कैन पाइपलाइन"]
            direction TB
            S1["1. Subfinder — सबडोमेन खोज"]
            S2["2. फ़िल्टर और सेव — Cloudflare / लोकलहोस्ट / अलाइव"]
            S3["3. Naabu — पोर्ट स्कैनिंग (5-वर्कर पूल)"]
            S4["4. Nmap — सेवा + संस्करण पहचान"]
            S5["5. Httpx — HTTP प्रोबिंग + मेटाडेटा"]
            S6["6. समानांतर वेब — स्क्रीनशॉट, क्रॉल, URL, टेक"]
            S7["7. CVEMap — CVE लुकअप उत्पाद/टेक द्वारा"]
            S8["8. Nuclei — भेद्यता स्कैनिंग"]
            S1 --> S2 --> S3 --> S4 --> S5 --> S6 --> S7 --> S8
        end

        SM --> PIPELINE
    end

    subgraph REPORTS["बग बाउंटी रिपोर्ट्स — internal/reports/"]
        RG["GenerateReport()\nDB संदर्भ + ग्राफ़ संग्रह\nओवरलॉर्ड AI जनरेशन\nफ़ॉलबैक बिल्ट-इन टेम्पलेट"]
        RF["फॉर्मेट: Markdown · PDF · HackerOne · Bugcrowd"]
        RS["स्टोरेज: internal/storage/reports/"]
        RG --> RF --> RS
    end

    subgraph PLANNER["AI स्कैन प्लानर — internal/planner/"]
        PL["GenerateScanPlan()\nपरिसंपत्ति/फ़ाइंडिंग/ग्राफ़ संदर्भ एकत्र करता है\nJSON योजना के लिए Overlord से पूछता है\nफ़ॉलबैक ह्यूरिस्टिक योजना"]
        PC["क्षमता रजिस्ट्री — 26 क्षमताएँ\n10 बिल्ट-इन मॉड्यूल + 16 ओवरलॉर्ड एजेंट\nजोखिम स्तर: सुरक्षित / सक्रिय / विनाशकारी"]
        PS["ExecutePlanWithLogs()\nSSE लॉग स्ट्रीमिंग प्रति चरण\nबिल्ट-इन बनाम ओवरलॉर्ड एजेंट चरण रूटिंग"]
        PL --> PC --> PS
    end

    subgraph DISTRIBUTED["वितरित वर्कर्स — internal/distributed/"]
        DW["वर्कर बाइनरी — cmd/worker/main.go\n./xpfarm-worker -controller http://host:8888"]
        DC["कंट्रोलर — टोकन प्रमाणीकरण, हार्टबीट मॉनिटर\nकतार से परमाणु रूप से जॉब्स का दावा"]
        DS["शेड्यूलर — BestWorkerForTool()\nक्षमता + सक्रिय जॉब गणना द्वारा रूटिंग"]
        DJ["जॉब कतार — internal/storage/jobs/\nDB ट्रांज़ैक्शन द्वारा दावा, 30 मिनट टाइमआउट"]
        DW --> DC --> DS --> DJ
    end

    subgraph OVERLORD["ओवरलॉर्ड — AI एजेंट उपतंत्र"]
        OV_PROXY["ओवरलॉर्ड प्रॉक्सी — internal/overlord/"]

        subgraph OV_AGENTS["22 विशेष एजेंट"]
            OA1["बाइनरी RE — re-explorer, re-debugger, re-decompiler, re-scanner"]
            OA2["APK — apk-recon, apk-dynamic, apk-decompiler"]
            OA3["वेब + एक्सप्लॉइट — web-tester, re-exploiter, secrets-hunter, recon"]
        end

        subgraph OV_TOOLS["70+ TypeScript टूल्स"]
            OT1["radare2, ghidra, binwalk, frida, angr, strings"]
            OT2["semgrep, gitleaks, gau, corscanner, whatweb"]
            OT3["git_dumper, js_scraper, crypto_solver, ropper"]
        end

        subgraph PROVIDERS["21 AI प्रदाता"]
            PR1["Anthropic · OpenAI · Groq · DeepSeek"]
            PR2["Ollama (स्थानीय) · xAI · OpenRouter · Cerebras"]
        end

        OV_PROXY --> OV_AGENTS
        OV_PROXY --> OV_TOOLS
        OV_PROXY --> PROVIDERS
    end

    subgraph SCAN_GRAPH["स्कैन ग्राफ़ — internal/graph/"]
        GB["BuildGraph() — 5 तालिकाओं को क्वेरी करता है\nनोड्स + किनारों को डीडुप्लीकेट करता है"]
        subgraph GNODES["नोड प्रकार"]
            GN1["परिसंपत्ति #8b5cf6"]
            GN2["लक्ष्य #0ea5e9"]
            GN3["सेवा #10b981"]
            GN4["तकनीक #f59e0b"]
            GN5["कमजोरी #ef4444"]
            GN6["एक्सप्लॉइट #dc2626"]
        end
        GB --> GNODES
    end

    subgraph DATABASE["डेटाबेस — internal/database/ + internal/storage/"]
        DB["SQLite + WAL मोड\nGORM ORM\n10 खुले / 5 निष्क्रिय कनेक्शन, 64MB WAL सीमा"]
        subgraph MODELS["डेटा मॉडल"]
            DM1["Asset · Target · Port · WebAsset"]
            DM2["Vulnerability · CVE · ScanResult"]
            DM3["ScanProfile · NucleiTemplate · SavedSearch"]
            DM4["Setting (AES-256-GCM एन्क्रिप्टेड)"]
            DM5["Report · Plan · WorkerRecord · JobRecord"]
        end
        DB --> MODELS
    end

    subgraph DOCKER["Docker — docker-compose.yml"]
        DC1["xpfarm — Go ऐप :8888"]
        DC2["overlord — OpenCode :3000"]
        DC3["mobsf — मोबाइल स्कैन :8000 (वैकल्पिक)"]
        DC1 <-->|xpfarm-network| DC2
        DC1 <-->|xpfarm-network| DC3
    end

    M7 --> GIN
    GIN --> SCAN_ENGINE
    GIN --> REPORTS
    GIN --> PLANNER
    GIN --> DISTRIBUTED
    GIN --> OVERLORD
    GIN --> SCAN_GRAPH
    GIN --> DATABASE

ओवरलॉर्ड — AI विश्लेषण

ओवरलॉर्ड OpenCode द्वारा संचालित एक बिल्ट-इन AI एजेंट है जो बाइनरी, आर्काइव, APK और वेब लक्ष्यों का विश्लेषण कर सकता है। एक फ़ाइल अपलोड करें और इसके साथ चैट करें — एजेंट आपके लक्ष्य की जाँच करने के लिए radare2, strings, फ़ाइल ट्राइएज, Frida और अधिक का उपयोग करता है।

• लाइव स्ट्रीमिंग आउटपुट — सोच, टूल कॉल और परिणाम वास्तविक समय में देखें
• सत्र इतिहास — पिछले सत्रों के बीच स्विच करें, पेज रिफ़्रेश पर ऑटो-रीस्टोर
• बहु-प्रदाता — Anthropic, OpenAI, Groq, Ollama (स्थानीय), DeepSeek, xAI और 15+ अधिक
• रोकें बटन — किसी भी समय लंबे समय तक चलने वाले विश्लेषण को रद्द करें
• 70+ TypeScript टूल्स — radare2, Ghidra, Frida, binwalk, angr, Semgrep, Gitleaks, और अधिक
• 22 विशेष एजेंट — बाइनरी RE, APK विश्लेषण, वेब परीक्षण, एक्सप्लॉइट जनरेशन, सीक्रेट्स हंटिंग
• 500 MB अपलोड सीमा MIME प्रकार सत्यापन के साथ

बग बाउंटी रिपोर्ट्स

एक क्लिक से आपके स्कैन निष्कर्षों से पेशेवर प्रकटीकरण रिपोर्ट जनरेट करें। ओवरलॉर्ड AI आपकी परिसंपत्ति सूची, भेद्यता निष्कर्षों, ग्राफ़ संदर्भ और CVE डेटा को एक पॉलिश रिपोर्ट में संश्लेषित करता है।

फॉर्मेट:

यह कैसे काम करता है:

1. शामिल करने के लिए एक या अधिक परिसंपत्तियाँ चुनें
2. फॉर्मेट और वैकल्पिक शीर्षक चुनें
3. ओवरलॉर्ड AI आपके लाइव निष्कर्षों + अटैक ग्राफ़ से एक संरचित रिपोर्ट जनरेट करता है
4. .md, .html, या .pdf के रूप में डाउनलोड करें — या कच्चा Markdown कॉपी करें
5. रिपोर्ट्स सहेजी जाती हैं और किसी भी समय पुनः डाउनलोड की जा सकती हैं

AI स्कैन प्लानर

ओवरलॉर्ड आपके लक्ष्यों के लिए इष्टतम रिकॉन और एक्सप्लॉइटेशन चरणों का चयन करता है जो पहले से खोजे गए — परिसंपत्ति सूची, मौजूदा निष्कर्ष, ग्राफ़ संरचना और उपलब्ध टूल क्षमताओं के आधार पर।

मोड:

यह कैसे काम करता है:

1. लक्ष्य परिसंपत्तियाँ, मोड और चरण सीमाएँ चुनें
2. ओवरलॉर्ड AI आपके मौजूदा डेटा का विश्लेषण करता है और एक प्राथमिकता JSON योजना जनरेट करता है
3. प्रत्येक चरण दिखाता है: टूल/एजेंट, लक्ष्य, तर्क और अपेक्षित आउटपुट
4. योजना को निष्पादित करने के लिए Execute पर क्लिक करें — चरण SSE के माध्यम से लाइव प्रगति स्ट्रीम करते हैं
5. योजनाएँ सहेजी जाती हैं और किसी भी समय पुनः निष्पादित की जा सकती हैं

क्षमता रजिस्ट्री: 10 बिल्ट-इन मॉड्यूल + 16 ओवरलॉर्ड एजेंट, प्रत्येक जोखिम स्तर (सुरक्षित / सक्रिय / विनाशकारी) और मोड फ़िल्टरिंग के लिए श्रेणी के साथ टैग किया गया।

वितरित वर्कर्स

समानांतर में कई मशीनों पर स्कैन चलाएँ। दूरस्थ होस्ट पर वर्कर नोड्स तैनात करें और वे स्वचालित रूप से कंट्रोलर के साथ पंजीकृत होते हैं, जॉब्स के लिए पोल करते हैं, स्थानीय रूप से टूल्स निष्पादित करते हैं, और परिणाम वापस पोस्ट करते हैं।

एक वर्कर तैनात करें:

./xpfarm-worker -controller http://xpfarm-host:8888 -id worker-1 -labels high-bandwidth,internal

यह कैसे काम करता है:

• वर्कर्स एक क्रिप्टो टोकन (32-बाइट रैंडम, प्रति वर्कर एक) के साथ पंजीकृत होते हैं
• हर 10 सेकंड में हार्टबीट — 45 सेकंड की चुप्पी के बाद वर्कर्स को ऑफ़लाइन चिह्नित किया जाता है
• जॉब्स DB ट्रांज़ैक्शन के माध्यम से परमाणु रूप से दावा किया जाता है — कोई दोहरा निष्पादन नहीं
• शेड्यूलर जॉब्स को सर्वश्रेष्ठ उपलब्ध वर्कर को क्षमता और लोड के आधार पर रूट करता है
• प्रति जॉब 30 मिनट का टाइमआउट; वर्कर डिस्कनेक्ट होने पर विफल जॉब्स को पुनः कतारबद्ध किया जाता है

जॉब कतार: वर्कर्स UI या POST /api/jobs/create के माध्यम से जॉब्स बनाएँ। कतार लाइव स्थिति, नियत वर्कर और परिणाम आउटपुट दिखाती है।

स्कैन ग्राफ़

XPFarm स्कैनिंग के दौरान खोजे गए प्रत्येक इकाई का एक एकीकृत निर्देशित ग्राफ़ बनाता है, जिससे "किन सेवाओं में सक्रिय CVE एक्सप्लॉइट वाली तकनीक चल रही है?" या "इस परिसंपत्ति से पहुंचने योग्य सब कुछ दिखाएँ" जैसे प्रश्नों का उत्तर देना आसान हो जाता है।

नोड प्रकार:

उदाहरण पथ:

example.com (परिसंपत्ति)
  └─मालिक──► www.example.com (लक्ष्य)
              ├─खोलता──► 443/tcp https (सेवा)
              │              └─चलाता──► nginx 1.24 (तकनीक)
              ├─प्रभावित--► CVE-2023-44487 (कमजोरी)
              │                   └─एक्सप्लॉइट──► एक्सप्लॉइट: CVE-2023-44487
              └─प्रभावित--► http-missing-security-headers (कमजोरी)

• पूर्ण-पृष्ठ इंटरैक्टिव Cytoscape.js कैनवास — ज़ूम करें, पैन करें, नोड्स खींचें
• बाएँ पैनल: नोड प्रकार, वल्न गंभीरता, किनारे प्रकार द्वारा फ़िल्टर
• किसी भी नोड पर क्लिक करें → साइड पैनल सभी गुण + विवरण पृष्ठ पर गहरे लिंक दिखाता है
• "Rebuild Graph" लाइव डेटाबेस को पुनः क्वेरी करता है

प्लगइन SDK

XPFarm एक सामुदायिक प्लगइन SDK के माध्यम से विस्तारणीय है। कोई भी कोर कोड को छुए बिना नए टूल्स, एजेंट और पाइपलाइन जोड़ सकता है।

plugins/
├── all/all.go              ← अपना प्लगइन आयात यहाँ जोड़ें
├── example-echo/                 ← न्यूनतम स्टार्टर टेम्पलेट
├── example-repo-scanner/         ← मॉक रेपो स्कैनर उदाहरण
├── repo-semgrep/                 ← Semgrep SAST प्लगइन (उत्पादन-तैयार)
└── repo-secrets/                 ← Gitleaks + SecretFinder प्लगइन (उत्पादन-तैयार)

प्लगइन लिखना — तीन चरण:

1. plugins/my-plugin/plugin.go बनाएँ — Tool और/या Agent इम्प्लीमेंट करें, init() में plugin.RegisterTool() / plugin.RegisterAgent() कॉल करें
2. plugins/my-plugin/plugin.yaml बनाएँ — मेटाडेटा
3. plugins/all/all.go में _ "xpfarm/plugins/my-plugin" जोड़ें

GET /api/plugins सभी पंजीकृत टूल्स, एजेंट, पाइपलाइन और मैनिफ़ेस्ट को सूचीबद्ध करता है।

फ़ाइंडिंग नॉर्मलाइज़ेशन इंजन

Nuclei, Nmap, Semgrep और Gitleaks से कच्चे स्कैनर आउटपुट को एक एकीकृत Finding मॉडल में सामान्यीकृत किया जाता है, लाइव थ्रेट इंटेलिजेंस से समृद्ध किया जाता है, डीडुप्लीकेट किया जाता है और समूहीकृत किया जाता है।

POST /api/normalize  {"source": "nuclei", "raw": {...}}
         │
         ▼  एडाप्टर (nuclei / nmap / semgrep / gitleaks)
         │  → कैननिकल Finding (CVE, CWE, गंभीरता, साक्ष्य, टैग)
         │
         ▼  एनरिचर्स (क्रम में लागू)
         │  1. CWE   — 40-नियम कीवर्ड trie + 35-टैग मैप (स्थानीय, तत्काल)
         │  2. CVSS  — NVD REST API v2, CVSS 3.1→3.0→2.0, इन-प्रोसेस कैश
         │  3. EPSS  — FIRST.org एक्सप्लॉइटेशन प्रोबेबिलिटी API, इन-प्रोसेस कैश
         │  4. KEV   — CISA ज्ञात एक्सप्लॉइटेड कमजोरियाँ कैटलॉग (sync.Once)
         │
         ▼  SHA-256 फिंगरप्रिंट → डीडुप → CWE/CVE/गंभीरता/लक्ष्य द्वारा समूह
         │
         ▼  SQLite स्टोरेज (FindingRecord + GroupRecord)

नया क्या है

• बग बाउंटी रिपोर्ट्स — AI-जनित Markdown, PDF, HackerOne और Bugcrowd रिपोर्ट्स लाइव निष्कर्षों और ग्राफ़ संदर्भ से
• AI स्कैन प्लानर — ओवरलॉर्ड इष्टतम रिकॉन/एक्सप्लॉइटेशन चरणों का चयन करता है; 26-क्षमता रजिस्ट्री जोखिम स्तरों के साथ; SSE लाइव निष्पादन लॉग
• वितरित वर्कर्स — दूरस्थ मशीनों पर वर्कर नोड्स तैनात करें; टोकन प्रमाणीकरण; परमाणु जॉब दावा; हार्टबीट मॉनिटर; ./xpfarm-worker बाइनरी
• स्कैन ग्राफ़ — इंटरैक्टिव Cytoscape.js विज़ुअलाइज़ेशन परिसंपत्तियाँ→लक्ष्य→सेवाएँ→तकनीक→कमजोरियाँ→एक्सप्लॉइट; प्रकार/गंभीरता/प्रकार द्वारा फ़िल्टर; क्लिक-टू-इंस्पेक्ट
• सीक्रेट्स एन्क्रिप्टेड एट रेस्ट — SQLite में API कुंजियाँ AES-256-GCM एन्क्रिप्टेड हैं; कुंजी data/.xpfarm.key पर ऑटो-जनरेट
• रीयल-टाइम स्कैन प्रगति — डैशबोर्ड SSE के माध्यम से लाइव स्टेज अपडेट स्ट्रीम करता है
• सर्च पेजिनेशन — प्रति पृष्ठ 100 पंक्तियाँ ट्रंकेशन चेतावनी के साथ
• गोरुटीन पैनिक रिकवरी — स्कैन गोरुटीन में पैनिक पकड़े गए, लॉग किए गए और साफ किए गए
• CSRF सुरक्षा — क्रॉस-ओरिजिन POST अनुरोध अस्वीकार; केवल लोकलहोस्ट स्वीकार
• फ़ाइल अपलोड सुदृढ़ीकरण — बाइनरी अपलोड 500 MB पर कैप, MIME सत्यापन के साथ
• साइलेंट विफलता सतहें — CSV आयात त्रुटियाँ, Nuclei पार्स विफलताएँ और सर्च ट्रंकेशन उपयोगकर्ता को रिपोर्ट की गईं
• टूल वर्जन पिनिंग — सभी 10 टूल्स Dockerfile में पिन किए गए; ऑप्ट-इन अपग्रेड के लिए ./xpfarm.sh update
• DB कनेक्शन ट्यूनिंग — 10 खुले / 5 निष्क्रिय कनेक्शन पूल; 64 MB WAL सीमा
• रेपो स्कैनर — Git रेपो पहली श्रेणी के लक्ष्य के रूप में; 7-चरण पाइपलाइन (SAST, सीक्रेट्स, SBOM)
• प्लगइन SDK — सामुदायिक-विस्तारणीय टूल / एजेंट / पाइपलाइन सिस्टम

सेटअप

# अनुशंसित
./xpfarm.sh build     # सभी कंटेनर बनाएँ
./xpfarm.sh up        # सब कुछ शुरू करें (xpfarm :8888 + overlord :3000)
./xpfarm.sh update    # नवीनतम टूल वर्जन के साथ पुनर्निर्माण (ऑप्ट-इन अपग्रेड)

# विंडोज
.\xpfarm.ps1 build
.\xpfarm.ps1 up

# मानक Docker
docker compose up --build

# स्रोत से बिल्ड (ओवरलॉर्ड के बिना)
go build -o xpfarm
./xpfarm
./xpfarm -debug

स्क्रीनशॉट

TODO

• कस्टम मॉडल कॉन्फ़िगरेशन
• मोबाइल स्कैन एकीकरण
• रेपो स्कैनर UI — रेपो जोड़ने, स्कैन ट्रिगर करने, निष्कर्ष और SBOM देखने के लिए वेब पेज
• SBOM भेद्यता मिलान — SBOM निर्भरताओं को CVE/GHSA डेटाबेस से क्रॉस-रेफरेंस करना
• कस्टम मॉड्यूल समर्थन