grubcrawler

Por que Grub

Integramos recursos de todos os principais rastreadores — e depois adicionamos o que nenhum deles tem.

Rastreadores Auto-Hospedados

Recurso	Crawl4AI	Firecrawl	Scrapy	Grub
Renderização JS	✅ Playwright	✅ Playwright	❌ Apenas HTTP	✅ Playwright
Navegador anti-detecção	plugin stealth	❌	❌	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ fallback automático
Proxy por requisição	✅ escalonamento	❌	middleware	✅ por requisição
Patches stealth	✅	❌	❌	✅ opt-in
Loop de agente	✅ agêntico	✅ /agent	❌ spiders	✅ SM limitada
Stream de navegador ao vivo	✅ WebSocket	✅ Live View	❌	✅ WS + MJPEG
Saída markdown	✅ Fit Markdown	✅ core	❌	✅ motor Rust
Extração de PDF	✅ estratégia PDF	✅ parse	❌	✅ camada de texto + fallback OCR
Ferramentas MCP	✅ comunidade	✅ oficial	⚠️ comunidade	✅ 15 ferramentas
LLM multi-provedor	✅ todos LLMs	⚠️ Gemini	❌	✅ OpenAI/Anthropic/Ollama
Malha P2P	❌	❌	❌	✅ protocolo gossip
Aplicação de políticas	❌	❌	❌	✅ portões de domínio + redação
Defesa contra injeção de prompt	❌	❌	❌	✅ quarentena + diff de texto visível
Licença	Apache 2.0	AGPL-3.0	BSD	BSD-3-Clause
Preço	Grátis	Grátis–$333/mês	Grátis	Auto-hospedado

Rastreadores em Nuvem / Gerenciados

Recurso	Browserbase	Scrapfly	Firecrawl Cloud	Grub
Renderização JS	✅ Chromium customizado	✅ proprietário	✅ Playwright	✅ Playwright
Navegador anti-detecção	✅ Chromium customizado	✅ proprietário	✅ stealth em nuvem	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ fallback automático
Proxy por requisição	✅ gerenciado	✅ 130M+ IPs	✅ gerenciado em nuvem	✅ por requisição
Patches stealth	✅ integrado	✅ integrado	✅ integrado	✅ opt-in
Loop de agente	✅ Stagehand	⚠️ via integrações	✅ /agent	✅ SM limitada
Stream de navegador ao vivo	✅ iFrame + CDP	✅ CDP	✅ Live View	✅ WS + MJPEG
Saída markdown	✅ via MCP	✅ integrado	✅ core	✅ motor Rust
Ferramentas MCP	✅ oficial	✅ oficial	✅ oficial	✅ 15 ferramentas
Malha P2P	❌	❌	❌	✅ protocolo gossip
Aplicação de políticas	❌	❌	❌	✅ portões de domínio + redação
Defesa contra injeção de prompt	❌	❌	❌	✅ quarentena + diff de texto visível
Auto-hospedável	❌ apenas nuvem	❌ apenas nuvem	⚠️ OSS limitado	✅ completo + Cloud Run
Preço	Grátis–$99/mês	Baseado em uso	Grátis–$333/mês	Auto-hospedado

Apenas o Grub tem Ghost Protocol — fallback automático baseado em visão que captura telas de páginas bloqueadas e extrai conteúdo via LLM quando o rastreamento padrão falha. A prevenção (Camoufox + proxy + stealth) lida com 95% dos bloqueios. O Ghost Protocol lida com o resto.

Endpoints da API

Rastreamento Principal

Método	Caminho	Descrição	Status
POST	/api/crawl	Rastreamento de URL única (HTML + markdown)	Ativo
POST	/api/markdown	Extração de markdown de URL única ou múltipla	Ativo
POST	/api/batch	Rastreamento em lote com acompanhamento de tarefas	Ativo
POST	/api/raw	Extração de HTML bruto (sem markdown)	Ativo
GET	/view	Visualizador de HTML renderizado no navegador	Ativo
GET	/download	Download de arquivo (PDFs, etc.) através do rastreador	Ativo
POST	/api/pdf/pages	Páginas de PDF como texto + PNG renderizado (base64)	Ativo

URLs de PDF são tratadas por /api/crawl, /api/markdown e /api/batch sem o navegador: a camada de texto é extraída por página (PyMuPDF) e páginas apenas com imagem recorrem ao provedor de visão configurado para OCR (padrão local: Ollama com benhaotang/Nanonets-OCR-s; defina AGENT_GHOST_VISION_PROVIDER=anthropic ou openai com uma chave para usar um modelo hospedado). Páginas com OCR são rotuladas como source: "ocr" com o nome do modelo e recebem um marcador <!-- ocr: <model> --> sob seu cabeçalho, para que transcrições nunca sejam confundidas com o texto de origem. A saída é markdown com uma seção ## Page N por página; render_mode reporta pdf_text, pdf_vision, pdf_mixed ou pdf_empty.

Agente (Modo B)

Método	Caminho	Descrição	Status
POST	/api/agent/run	Submeter tarefa ao loop de agente autônomo	Ativo
GET	/api/agent/status/{run_id}	Verificar status da execução do agente / carregar trace	Ativo
POST	/api/agent/ghost	Ghost Protocol: captura de tela + extração por visão	Ativo

Gerenciamento de Tarefas

Método	Caminho	Descrição	Status
POST	/api/jobs/create	Submissão genérica de tarefa	Ativo
POST	/api/jobs/crawl	Submeter tarefa de rastreamento de URL única	Ativo
POST	/api/jobs/batch-crawl	Submeter tarefa de rastreamento em lote	Ativo
POST	/api/jobs/markdown	Submeter tarefa apenas de markdown	Ativo
POST	/api/jobs/process-job	Endpoint de worker do Cloud Tasks	Ativo
POST	/api/wraith	Fluxo de trabalho de rastreamento orientado por IA	Placeholder