grubcrawler

لماذا Grub

دمجنا ميزات من كل زاحف رئيسي — ثم أضفنا ما لا يمتلكه أي منها.

الزواحف المستضافة ذاتيًا

الميزة	Crawl4AI	Firecrawl	Scrapy	Grub
عرض JS	✅ Playwright	✅ Playwright	❌ HTTP فقط	✅ Playwright
متصفح مكافحة الكشف	stealth plugin	❌	❌	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ تراجع تلقائي
بروكسي لكل طلب	✅ تصعيد	❌	middleware	✅ لكل طلب
تصحيحات التخفي	✅	❌	❌	✅ اختيارية
حلقة الوكيل	✅ وكيلي	✅ /agent	❌ spiders	✅ SM محدود
بث المتصفح المباشر	✅ WebSocket	✅ Live View	❌	✅ WS + MJPEG
مخرجات Markdown	✅ Fit Markdown	✅ core	❌	✅ محرك Rust
استخراج PDF	✅ PDF strategy	✅ parse	❌	✅ طبقة نصية + تراجع OCR
أدوات MCP	✅ مجتمعي	✅ رسمي	⚠️ مجتمعي	✅ 15 أداة
LLM متعدد المزودين	✅ جميع LLMs	⚠️ Gemini	❌	✅ OpenAI/Anthropic/Ollama
شبكة P2P	❌	❌	❌	✅ بروتوكول gossip
فرض السياسات	❌	❌	❌	✅ بوابات النطاق + التنقيح
دفاع حقن الأوامر	❌	❌	❌	✅ حجر + فرق النص المرئي
الترخيص	Apache 2.0	AGPL-3.0	BSD	BSD-3-Clause
التسعير	مجاني	مجاني–$333/شهر	مجاني	مستضاف ذاتيًا

الزواحف السحابية / المُدارة

الميزة	Browserbase	Scrapfly	Firecrawl Cloud	Grub
عرض JS	✅ Chromium مخصص	✅ مملوك	✅ Playwright	✅ Playwright
متصفح مكافحة الكشف	✅ Chromium مخصص	✅ مملوك	✅ تخفي سحابي	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ تراجع تلقائي
بروكسي لكل طلب	✅ مُدار	✅ أكثر من 130M IP	✅ مُدار سحابيًا	✅ لكل طلب
تصحيحات التخفي	✅ مدمجة	✅ مدمجة	✅ مدمجة	✅ اختيارية
حلقة الوكيل	✅ Stagehand	⚠️ عبر التكاملات	✅ /agent	✅ SM محدود
بث المتصفح المباشر	✅ iFrame + CDP	✅ CDP	✅ Live View	✅ WS + MJPEG
مخرجات Markdown	✅ عبر MCP	✅ مدمجة	✅ core	✅ محرك Rust
أدوات MCP	✅ رسمي	✅ رسمي	✅ رسمي	✅ 15 أداة
شبكة P2P	❌	❌	❌	✅ بروتوكول gossip
فرض السياسات	❌	❌	❌	✅ بوابات النطاق + التنقيح
دفاع حقن الأوامر	❌	❌	❌	✅ حجر + فرق النص المرئي
قابل للاستضافة الذاتية	❌ سحابي فقط	❌ سحابي فقط	⚠️ OSS محدود	✅ كامل + Cloud Run
التسعير	مجاني–$99/شهر	حسب الاستخدام	مجاني–$333/شهر	مستضاف ذاتيًا

Grub وحده يمتلك Ghost Protocol — تراجع تلقائي قائم على الرؤية يلتقط لقطات شاشة للصفحات المحظورة ويستخرج المحتوى عبر LLM عندما يفشل الزحف القياسي. الوقاية (Camoufox + بروكسي + تخفي) تتعامل مع 95% من الحالات المحظورة. Ghost Protocol يتعامل مع الباقي.

نقاط نهاية API

الزحف الأساسي

الطريقة	المسار	الوصف	الحالة
POST	/api/crawl	زحف رابط واحد (HTML + markdown)	مباشر
POST	/api/markdown	استخراج markdown لرابط واحد أو عدة روابط	مباشر
POST	/api/batch	زحف دفعي مع تتبع المهام	مباشر
POST	/api/raw	استخراج HTML خام (بدون markdown)	مباشر
GET	/view	عارض HTML معروض بالمتصفح	مباشر
GET	/download	تنزيل ملف (PDFs، إلخ) عبر الزاحف	مباشر
POST	/api/pdf/pages	صفحات PDF كنص + PNG معروض (base64)	مباشر

يتم التعامل مع روابط PDF بواسطة /api/crawl و/api/markdown و/api/batch دون المتصفح: تُستخرج الطبقة النصية لكل صفحة (PyMuPDF) وتتراجع الصفحات التي تحتوي على صور فقط إلى مزود الرؤية المُهيأ لـ OCR (الافتراضي المحلي: Ollama مع benhaotang/Nanonets-OCR-s؛ اضبط AGENT_GHOST_VISION_PROVIDER=anthropic أو openai مع مفتاح لاستخدام نموذج مستضاف بدلاً من ذلك). تُوسم الصفحات التي تم التعرف عليها بـ OCR بـ source: "ocr" مع اسم النموذج وتحصل على علامة <!-- ocr: <model> --> تحت عنوانها، بحيث لا يُخطئ أبدًا في اعتبار النسخ النصية هي النص المصدر. المخرجات هي markdown مع قسم ## Page N واحد لكل صفحة؛ ويُبلّغ render_mode عن pdf_text أو pdf_vision أو pdf_mixed أو pdf_empty.

الوكيل (الوضع B)

الطريقة	المسار	الوصف	الحالة
POST	/api/agent/run	إرسال مهمة إلى حلقة الوكيل المستقلة	مباشر
GET	/api/agent/status/{run_id}	التحقق من حالة تشغيل الوكيل / تحميل التتبع	مباشر
POST	/api/agent/ghost	Ghost Protocol: لقطة شاشة + استخراج بالرؤية	مباشر

إدارة المهام

الطريقة	المسار	الوصف	الحالة
POST	/api/jobs/create	إرسال مهمة عامة	مباشر
POST	/api/jobs/crawl	إرسال مهمة زحف رابط واحد	مباشر
POST	/api/jobs/batch-crawl	إرسال مهمة زحف دفعي	مباشر
POST	/api/jobs/markdown	إرسال مهمة markdown فقط	مباشر
POST	/api/jobs/process-job	نقطة نهاية عامل Cloud Tasks	مباشر
POST	/api/wraith	سير عمل زحف مدفوع بالذكاء الاصطناعي	عنصر نائب

ذاكرة التخزين المؤقت البعيدة

الطريقة	المسار	الوصف	الحالة
POST	/api/cache/search	بحث ضبابي في المحتوى المخزن مؤقتًا	مباشر
GET	/api/cache/list	سرد بيانات المستندات المخزنة مؤقتًا	مباشر
GET	/api/cache/doc/{doc_id}	جلب مستند واحد مخزن مؤقتًا	مباشر
POST	/api/cache/upsert	إدراج أو تحديث إدخالات ذاكرة التخزين المؤقت	مباشر
POST	/api/cache/prune	تقليم إدخالات ذاكرة التخزين المؤقت حسب TTL/النطاق	مباشر