grubcrawler

Por qué Grub

Integramos características de todos los principales crawlers — y luego añadimos lo que ninguno de ellos tiene.

Crawlers autoalojados

Característica	Crawl4AI	Firecrawl	Scrapy	Grub
Renderizado JS	✅ Playwright	✅ Playwright	❌ solo HTTP	✅ Playwright
Navegador anti-detección	plugin stealth	❌	❌	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ respaldo automático
Proxy por solicitud	✅ escalado	❌	middleware	✅ por solicitud
Parches stealth	✅	❌	❌	✅ opcional
Bucle de agente	✅ agéntico	✅ /agent	❌ arañas	✅ SM acotada
Transmisión de navegador en vivo	✅ WebSocket	✅ Live View	❌	✅ WS + MJPEG
Salida markdown	✅ Fit Markdown	✅ core	❌	✅ motor Rust
Extracción de PDF	✅ estrategia PDF	✅ parse	❌	✅ capa de texto + respaldo OCR
Herramientas MCP	✅ comunidad	✅ oficial	⚠️ comunidad	✅ 15 herramientas
LLM multi-proveedor	✅ todos los LLM	⚠️ Gemini	❌	✅ OpenAI/Anthropic/Ollama
Malla P2P	❌	❌	❌	✅ protocolo gossip
Aplicación de políticas	❌	❌	❌	✅ puertas de dominio + redacción
Defensa contra inyección de prompts	❌	❌	❌	✅ cuarentena + diff de texto visible
Licencia	Apache 2.0	AGPL-3.0	BSD	BSD-3-Clause
Precio	Gratis	Gratis–$333/mes	Gratis	Autoalojado

Crawlers en la nube / gestionados

Característica	Browserbase	Scrapfly	Firecrawl Cloud	Grub
Renderizado JS	✅ Chromium personalizado	✅ propietario	✅ Playwright	✅ Playwright
Navegador anti-detección	✅ Chromium personalizado	✅ propietario	✅ stealth en la nube	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ respaldo automático
Proxy por solicitud	✅ gestionado	✅ 130M+ IPs	✅ gestionado en la nube	✅ por solicitud
Parches stealth	✅ integrados	✅ integrados	✅ integrados	✅ opcional
Bucle de agente	✅ Stagehand	⚠️ vía integraciones	✅ /agent	✅ SM acotada
Transmisión de navegador en vivo	✅ iFrame + CDP	✅ CDP	✅ Live View	✅ WS + MJPEG
Salida markdown	✅ vía MCP	✅ integrado	✅ core	✅ motor Rust
Herramientas MCP	✅ oficial	✅ oficial	✅ oficial	✅ 15 herramientas
Malla P2P	❌	❌	❌	✅ protocolo gossip
Aplicación de políticas	❌	❌	❌	✅ puertas de dominio + redacción
Defensa contra inyección de prompts	❌	❌	❌	✅ cuarentena + diff de texto visible
Autoalojable	❌ solo nube	❌ solo nube	⚠️ OSS limitado	✅ completo + Cloud Run
Precio	Gratis–$99/mes	Basado en uso	Gratis–$333/mes	Autoalojado

Solo Grub tiene Ghost Protocol — respaldo automático basado en visión que captura pantallas de páginas bloqueadas y extrae contenido mediante LLM cuando el rastreo estándar falla. La prevención (Camoufox + proxy + stealth) maneja el 95% de los bloqueos. Ghost Protocol maneja el resto.

Endpoints de API

Rastreo principal

Método	Ruta	Descripción	Estado
POST	/api/crawl	Rastreo de una sola URL (HTML + markdown)	Activo
POST	/api/markdown	Extracción de markdown de una o varias URLs	Activo
POST	/api/batch	Rastreo por lotes con seguimiento de trabajos	Activo
POST	/api/raw	Extracción de HTML sin procesar (sin markdown)	Activo
GET	/view	Visor HTML renderizado por navegador	Activo
GET	/download	Descarga de archivos (PDFs, etc.) a través del crawler	Activo
POST	/api/pdf/pages	Páginas PDF como texto + PNG renderizado (base64)	Activo

Las URLs de PDF son manejadas por /api/crawl, /api/markdown y /api/batch sin el navegador: la capa de texto se extrae por página (PyMuPDF) y las páginas solo de imagen recurren al proveedor de visión configurado para OCR (por defecto local: Ollama con benhaotang/Nanonets-OCR-s; establece AGENT_GHOST_VISION_PROVIDER=anthropic u openai con una clave para usar un modelo alojado en su lugar). Las páginas con OCR se etiquetan como source: "ocr" con el nombre del modelo y obtienen un marcador <!-- ocr: <model> --> bajo su encabezado, para que las transcripciones nunca se confundan con el texto fuente. La salida es markdown con una sección ## Page N por página; render_mode reporta pdf_text, pdf_vision, pdf_mixed o pdf_empty.

Agente (Modo B)

Método	Ruta	Descripción	Estado
POST	/api/agent/run	Enviar tarea al bucle de agente autónomo	Activo
GET	/api/agent/status/{run_id}	Consultar estado de ejecución del agente / cargar traza	Activo
POST	/api/agent/ghost	Ghost Protocol: captura de pantalla + extracción por visión	Activo