grubcrawler

Pourquoi Grub

Nous avons intégré les fonctionnalités de chaque crawler majeur — puis ajouté ce qu'aucun d'entre eux ne possède.

Crawlers auto-hébergés

Fonctionnalité	Crawl4AI	Firecrawl	Scrapy	Grub
Rendu JS	✅ Playwright	✅ Playwright	❌ HTTP uniquement	✅ Playwright
Navigateur anti-détection	plugin stealth	❌	❌	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ repli automatique
Proxy par requête	✅ escalade	❌	middleware	✅ par requête
Correctifs furtifs	✅	❌	❌	✅ opt-in
Boucle d'agent	✅ agentique	✅ /agent	❌ spiders	✅ SM borné
Flux navigateur en direct	✅ WebSocket	✅ Live View	❌	✅ WS + MJPEG
Sortie markdown	✅ Fit Markdown	✅ core	❌	✅ moteur Rust
Extraction PDF	✅ stratégie PDF	✅ parse	❌	✅ couche texte + repli OCR
Outils MCP	✅ communauté	✅ officiel	⚠️ communauté	✅ 15 outils
LLM multi-fournisseurs	✅ tous les LLMs	⚠️ Gemini	❌	✅ OpenAI/Anthropic/Ollama
Maillage P2P	❌	❌	❌	✅ protocole gossip
Application des politiques	❌	❌	❌	✅ portes de domaine + caviardage
Défense contre l'injection de prompt	❌	❌	❌	✅ quarantaine + diff texte visible
Licence	Apache 2.0	AGPL-3.0	BSD	BSD-3-Clause
Tarification	Gratuit	Gratuit–333 $/mois	Gratuit	Auto-hébergé

Crawlers cloud / managés

Fonctionnalité	Browserbase	Scrapfly	Firecrawl Cloud	Grub
Rendu JS	✅ Chromium personnalisé	✅ propriétaire	✅ Playwright	✅ Playwright
Navigateur anti-détection	✅ Chromium personnalisé	✅ propriétaire	✅ stealth cloud	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ repli automatique
Proxy par requête	✅ managé	✅ 130M+ IPs	✅ managé cloud	✅ par requête
Correctifs furtifs	✅ intégrés	✅ intégrés	✅ intégrés	✅ opt-in
Boucle d'agent	✅ Stagehand	⚠️ via intégrations	✅ /agent	✅ SM borné
Flux navigateur en direct	✅ iFrame + CDP	✅ CDP	✅ Live View	✅ WS + MJPEG
Sortie markdown	✅ via MCP	✅ intégré	✅ core	✅ moteur Rust
Outils MCP	✅ officiel	✅ officiel	✅ officiel	✅ 15 outils
Maillage P2P	❌	❌	❌	✅ protocole gossip
Application des politiques	❌	❌	❌	✅ portes de domaine + caviardage
Défense contre l'injection de prompt	❌	❌	❌	✅ quarantaine + diff texte visible
Auto-hébergeable	❌ cloud uniquement	❌ cloud uniquement	⚠️ OSS limité	✅ complet + Cloud Run
Tarification	Gratuit–99 $/mois	À l'usage	Gratuit–333 $/mois	Auto-hébergé

Seul Grub dispose de Ghost Protocol — un repli automatique basé sur la vision qui capture des captures d'écran des pages bloquées et extrait le contenu via un LLM lorsque le crawling standard échoue. La prévention (Camoufox + proxy + stealth) gère 95 % des blocages. Ghost Protocol gère le reste.

Points de terminaison de l'API

Crawling principal

Méthode	Chemin	Description	Statut
POST	/api/crawl	Crawl d'une seule URL (HTML + markdown)	Actif
POST	/api/markdown	Extraction markdown d'une ou plusieurs URLs	Actif
POST	/api/batch	Crawl par lots avec suivi des tâches	Actif
POST	/api/raw	Extraction HTML brute (sans markdown)	Actif
GET	/view	Visionneuse HTML rendue par navigateur	Actif
GET	/download	Téléchargement de fichiers (PDF, etc.) via le crawler	Actif
POST	/api/pdf/pages	Pages PDF en texte + PNG rendu (base64)	Actif

Les URLs PDF sont traitées par /api/crawl, /api/markdown et /api/batch sans le navigateur : la couche texte est extraite page par page (PyMuPDF) et les pages uniquement composées d'images basculent vers le fournisseur de vision configuré pour l'OCR (par défaut en local : Ollama avec benhaotang/Nanonets-OCR-s ; définissez AGENT_GHOST_VISION_PROVIDER=anthropic ou openai avec une clé pour utiliser un modèle hébergé à la place). Les pages OCRisées sont étiquetées source: "ocr" avec le nom du modèle et reçoivent un marqueur <!-- ocr: <model> --> sous leur titre, afin que les transcriptions ne soient jamais confondues avec le texte source. La sortie est en markdown avec une section ## Page N par page ; render_mode indique pdf_text, pdf_vision, pdf_mixed ou pdf_empty.

Agent (Mode B)

Méthode	Chemin	Description	Statut
POST	/api/agent/run	Soumettre une tâche à la boucle d'agent autonome	Actif
GET	/api/agent/status/{run_id}	Vérifier le statut d'exécution de l'agent / charger la trace	Actif
POST	/api/agent/ghost	Ghost Protocol : capture d'écran + extraction vision	Actif