grubcrawler

Perché Grub

Abbiamo integrato le funzionalità di ogni crawler principale — poi abbiamo aggiunto ciò che nessuno di essi possiede.

Crawler Self-Hosted

Funzionalità	Crawl4AI	Firecrawl	Scrapy	Grub
Rendering JS	✅ Playwright	✅ Playwright	❌ Solo HTTP	✅ Playwright
Browser anti-detect	plugin stealth	❌	❌	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ fallback automatico
Proxy per-richiesta	✅ escalation	❌	middleware	✅ per-richiesta
Patch stealth	✅	❌	❌	✅ opt-in
Loop agentico	✅ agentic	✅ /agent	❌ spider	✅ SM limitato
Stream browser live	✅ WebSocket	✅ Live View	❌	✅ WS + MJPEG
Output markdown	✅ Fit Markdown	✅ core	❌	✅ motore Rust
Estrazione PDF	✅ strategia PDF	✅ parse	❌	✅ layer testo + fallback OCR
Strumenti MCP	✅ community	✅ ufficiale	⚠️ community	✅ 15 strumenti
LLM multi-provider	✅ tutti gli LLM	⚠️ Gemini	❌	✅ OpenAI/Anthropic/Ollama
Mesh P2P	❌	❌	❌	✅ protocollo gossip
Applicazione policy	❌	❌	❌	✅ gate dominio + redazione
Difesa prompt injection	❌	❌	❌	✅ quarantena + diff testo visibile
Licenza	Apache 2.0	AGPL-3.0	BSD	BSD-3-Clause
Prezzo	Gratuito	Gratuito–$333/mese	Gratuito	Self-hosted

Crawler Cloud / Gestiti

Funzionalità	Browserbase	Scrapfly	Firecrawl Cloud	Grub
Rendering JS	✅ Chromium custom	✅ proprietario	✅ Playwright	✅ Playwright
Browser anti-detect	✅ Chromium custom	✅ proprietario	✅ stealth cloud	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ fallback automatico
Proxy per-richiesta	✅ gestito	✅ 130M+ IP	✅ gestito cloud	✅ per-richiesta
Patch stealth	✅ integrate	✅ integrate	✅ integrate	✅ opt-in
Loop agentico	✅ Stagehand	⚠️ via integrazioni	✅ /agent	✅ SM limitato
Stream browser live	✅ iFrame + CDP	✅ CDP	✅ Live View	✅ WS + MJPEG
Output markdown	✅ via MCP	✅ integrato	✅ core	✅ motore Rust
Strumenti MCP	✅ ufficiale	✅ ufficiale	✅ ufficiale	✅ 15 strumenti
Mesh P2P	❌	❌	❌	✅ protocollo gossip
Applicazione policy	❌	❌	❌	✅ gate dominio + redazione
Difesa prompt injection	❌	❌	❌	✅ quarantena + diff testo visibile
Self-hostable	❌ solo cloud	❌ solo cloud	⚠️ OSS limitato	✅ completo + Cloud Run
Prezzo	Gratuito–$99/mese	Basato sull'uso	Gratuito–$333/mese	Self-hosted

Solo Grub ha Ghost Protocol — fallback automatico basato su vision che cattura screenshot di pagine bloccate ed estrae il contenuto tramite LLM quando il crawling standard fallisce. La prevenzione (Camoufox + proxy + stealth) gestisce il 95% dei blocchi. Ghost Protocol gestisce il resto.

Endpoint API

Crawling Principale

Metodo	Percorso	Descrizione	Stato
POST	/api/crawl	Crawl di singolo URL (HTML + markdown)	Attivo
POST	/api/markdown	Estrazione markdown da singolo o multipli URL	Attivo
POST	/api/batch	Crawl in batch con tracciamento job	Attivo
POST	/api/raw	Estrazione HTML grezzo (senza markdown)	Attivo
GET	/view	Visualizzatore HTML renderizzato dal browser	Attivo
GET	/download	Download file (PDF, ecc.) tramite crawler	Attivo
POST	/api/pdf/pages	Pagine PDF come testo + PNG renderizzato (base64)	Attivo

Gli URL PDF sono gestiti da /api/crawl, /api/markdown e /api/batch senza il browser: il layer di testo viene estratto per pagina (PyMuPDF) e le pagine solo-immagine ricadono sul provider vision configurato per l'OCR (default locale: Ollama con benhaotang/Nanonets-OCR-s; impostare AGENT_GHOST_VISION_PROVIDER=anthropic o openai con una chiave per usare invece un modello hosted). Le pagine OCR sono etichettate source: "ocr" con il nome del modello e ricevono un marker <!-- ocr: <model> --> sotto il loro heading, così le trascrizioni non vengono mai confuse con il testo sorgente. L'output è markdown con una sezione ## Page N per pagina; render_mode riporta pdf_text, pdf_vision, pdf_mixed o pdf_empty.

Agente (Modalità B)

Metodo	Percorso	Descrizione	Stato
POST	/api/agent/run	Invia task al loop agentico autonomo	Attivo
GET	/api/agent/status/{run_id}	Verifica stato esecuzione agente / carica trace	Attivo
POST	/api/agent/ghost	Ghost Protocol: screenshot + estrazione vision	Attivo

Gestione Job

Metodo	Percorso	Descrizione	Stato
POST	/api/jobs/create	Invio job generico	Attivo
POST	/api/jobs/crawl	Invia job di crawl singolo URL	Attivo
POST	/api/jobs/batch-crawl	Invia job di crawl in batch	Attivo
POST	/api/jobs/markdown	Invia job solo markdown	Attivo
POST	/api/jobs/process-job	Endpoint worker Cloud Tasks	Attivo
POST	/api/wraith	Workflow di crawl guidato da AI	Placeholder