grubcrawler

Grub क्यों

हमने हर प्रमुख क्रॉलर की सुविधाओं को एकीकृत किया — फिर वह जोड़ा जो उनमें से किसी में नहीं है।

सेल्फ-होस्टेड क्रॉलर्स

सुविधा	Crawl4AI	Firecrawl	Scrapy	Grub
JS रेंडरिंग	✅ Playwright	✅ Playwright	❌ केवल HTTP	✅ Playwright
एंटी-डिटेक्ट ब्राउज़र	stealth plugin	❌	❌	✅ Camoufox
घोस्ट प्रोटोकॉल	❌	❌	❌	✅ ऑटो फ़ॉलबैक
प्रति-अनुरोध प्रॉक्सी	✅ escalation	❌	middleware	✅ प्रति-अनुरोध
स्टील्थ पैच	✅	❌	❌	✅ opt-in
एजेंट लूप	✅ agentic	✅ /agent	❌ spiders	✅ bounded SM
लाइव ब्राउज़र स्ट्रीम	✅ WebSocket	✅ Live View	❌	✅ WS + MJPEG
मार्कडाउन आउटपुट	✅ Fit Markdown	✅ core	❌	✅ Rust इंजन
PDF एक्सट्रैक्शन	✅ PDF strategy	✅ parse	❌	✅ टेक्स्ट लेयर + OCR फ़ॉलबैक
MCP टूल्स	✅ community	✅ official	⚠️ community	✅ 15 टूल्स
बहु-प्रदाता LLM	✅ all LLMs	⚠️ Gemini	❌	✅ OpenAI/Anthropic/Ollama
मेश P2P	❌	❌	❌	✅ गॉसिप प्रोटोकॉल
नीति प्रवर्तन	❌	❌	❌	✅ डोमेन गेट्स + रिडैक्शन
प्रॉम्प्ट इंजेक्शन रक्षा	❌	❌	❌	✅ क्वारंटीन + विज़िबल-टेक्स्ट डिफ़
लाइसेंस	Apache 2.0	AGPL-3.0	BSD	BSD-3-Clause
मूल्य निर्धारण	मुफ़्त	मुफ़्त–$333/माह	मुफ़्त	सेल्फ-होस्टेड

क्लाउड / मैनेज्ड क्रॉलर्स

सुविधा	Browserbase	Scrapfly	Firecrawl Cloud	Grub
JS रेंडरिंग	✅ custom Chromium	✅ proprietary	✅ Playwright	✅ Playwright
एंटी-डिटेक्ट ब्राउज़र	✅ custom Chromium	✅ proprietary	✅ cloud stealth	✅ Camoufox
घोस्ट प्रोटोकॉल	❌	❌	❌	✅ ऑटो फ़ॉलबैक
प्रति-अनुरोध प्रॉक्सी	✅ managed	✅ 130M+ IPs	✅ cloud-managed	✅ प्रति-अनुरोध
स्टील्थ पैच	✅ built-in	✅ built-in	✅ built-in	✅ opt-in
एजेंट लूप	✅ Stagehand	⚠️ via integrations	✅ /agent	✅ bounded SM
लाइव ब्राउज़र स्ट्रीम	✅ iFrame + CDP	✅ CDP	✅ Live View	✅ WS + MJPEG
मार्कडाउन आउटपुट	✅ via MCP	✅ built-in	✅ core	✅ Rust इंजन
MCP टूल्स	✅ official	✅ official	✅ official	✅ 15 टूल्स
मेश P2P	❌	❌	❌	✅ गॉसिप प्रोटोकॉल
नीति प्रवर्तन	❌	❌	❌	✅ डोमेन गेट्स + रिडैक्शन
प्रॉम्प्ट इंजेक्शन रक्षा	❌	❌	❌	✅ क्वारंटीन + विज़िबल-टेक्स्ट डिफ़
सेल्फ-होस्टेबल	❌ केवल क्लाउड	❌ केवल क्लाउड	⚠️ सीमित OSS	✅ पूर्ण + Cloud Run
मूल्य निर्धारण	मुफ़्त–$99/माह	उपयोग-आधारित	मुफ़्त–$333/माह	सेल्फ-होस्टेड

केवल Grub में घोस्ट प्रोटोकॉल है — स्वचालित विज़न-आधारित फ़ॉलबैक जो अवरुद्ध पेजों का स्क्रीनशॉट लेता है और मानक क्रॉलिंग विफल होने पर LLM के माध्यम से सामग्री निकालता है। रोकथाम (Camoufox + प्रॉक्सी + स्टील्थ) 95% ब्लॉक्स को संभालती है। घोस्ट प्रोटोकॉल बाकी को संभालता है।

API एंडपॉइंट्स

कोर क्रॉलिंग

Method	Path	विवरण	स्थिति
POST	/api/crawl	एकल URL क्रॉल (HTML + मार्कडाउन)	लाइव
POST	/api/markdown	एकल या बहु-URL मार्कडाउन एक्सट्रैक्शन	लाइव
POST	/api/batch	जॉब ट्रैकिंग के साथ बैच क्रॉल	लाइव
POST	/api/raw	रॉ HTML एक्सट्रैक्शन (मार्कडाउन रहित)	लाइव
GET	/view	ब्राउज़र-रेंडर किया गया HTML व्यूअर	लाइव
GET	/download	क्रॉलर के माध्यम से फ़ाइल डाउनलोड (PDFs, आदि)	लाइव
POST	/api/pdf/pages	PDF पेज टेक्स्ट + रेंडर किए गए PNG (base64) के रूप में	लाइव

PDF URLs को /api/crawl, /api/markdown और /api/batch द्वारा ब्राउज़र के बिना संभाला जाता है: टेक्स्ट लेयर प्रति पेज निकाली जाती है (PyMuPDF) और केवल-इमेज पेज कॉन्फ़िगर किए गए विज़न प्रदाता के OCR पर फ़ॉलबैक करते हैं (स्थानीय डिफ़ॉल्ट: benhaotang/Nanonets-OCR-s के साथ Ollama; होस्टेड मॉडल का उपयोग करने के लिए कुंजी के साथ AGENT_GHOST_VISION_PROVIDER=anthropic या openai सेट करें)। OCR किए गए पेजों को मॉडल नाम के साथ source: "ocr" लेबल किया जाता है और उनके हेडिंग के नीचे <!-- ocr: <model> --> मार्कर मिलता है, ताकि ट्रांसक्रिप्शन को कभी स्रोत टेक्स्ट न समझा जाए। आउटपुट मार्कडाउन है जिसमें प्रति पेज एक ## Page N सेक्शन होता है; render_mode रिपोर्ट करता है pdf_text, pdf_vision, pdf_mixed या pdf_empty।

एजेंट (मोड B)

Method	Path	विवरण	स्थिति
POST	/api/agent/run	स्वायत्त एजेंट लूप को कार्य सबमिट करें	लाइव
GET	/api/agent/status/{run_id}	एजेंट रन स्थिति जांचें / ट्रेस लोड करें	लाइव
POST	/api/agent/ghost	घोस्ट प्रोटोकॉल: स्क्रीनशॉट + विज़न एक्सट्रैक्ट	लाइव

जॉब प्रबंधन

Method	Path	विवरण	स्थिति
POST	/api/jobs/create	सामान्य जॉब सबमिशन	लाइव
POST	/api/jobs/crawl	एकल URL क्रॉल जॉब सबमिट करें	लाइव
POST	/api/jobs/batch-crawl	बैच क्रॉल जॉब सबमिट करें	लाइव
POST	/api/jobs/markdown	केवल-मार्कडाउन जॉब सबमिट करें	लाइव
POST	/api/jobs/process-job	Cloud Tasks वर्कर एंडपॉइंट	लाइव
POST	/api/wraith	AI-संचालित क्रॉल वर्कफ़्लो	प्लेसहोल्डर

रिमोट कैश

Method	Path	विवरण	स्थिति
POST	/api/cache/search	कैश की गई सामग्री में फ़ज़ी सर्च	लाइव
GET	/api/cache/list	कैश किए गए दस्तावेज़ मेटाडेटा की सूची	लाइव
GET	/api/cache/doc/{doc_id}	एक कैश किया गया दस्तावेज़ प्राप्त करें	लाइव
POST	/api/cache/upsert	कैश प्रविष्टियाँ upsert करें	लाइव
POST	/api/cache/prune	TTL/डोमेन द्वारा कैश प्रविष्टियाँ प्रून करें	लाइव