deepbluedynamics/grubcrawlerDer weltweit schnellste agentische Crawler. Zurückerobert. Neu erfunden. Bereit für den Kampf.
Agentischer Web-Crawler mit Anti-Detection, Vision-Fallback und Peer-to-Peer-Mesh.
Endpunkte · Mesh · Anti-Detection · Ghost Protocol · Live Stream · MCP-Tools · Schnellstart · Benchmarks · Architektur
Full-Stack-Web-Crawling-Engine mit JavaScript-Rendering, Camoufox Anti-Detect-Browser, Proxy-Routing pro Anfrage und autonomen Agenten-Schleifen. Konvertiert Seiten in sauberes Markdown mit einer nativen Rust-Extraktions-Engine. Wenn Standard-Crawling durch Cloudflare, CAPTCHAs oder JavaScript-Walls blockiert wird, erfasst Ghost Protocol einen Screenshot und extrahiert Inhalte über Vision-KI (Claude, GPT-4o oder Ollama). Unterstützt Multi-Provider-LLM-Orchestrierung über OpenAI, Anthropic und Ollama in einer einzigen Sitzung. Knoten koordinieren sich über ein gossip-basiertes Peer-to-Peer-Mesh für verteiltes Crawling.
Wir haben Funktionen aus jedem großen Crawler integriert — und dann hinzugefügt, was keiner von ihnen hat.
| Funktion | Crawl4AI | Firecrawl | Scrapy | Grub |
|---|---|---|---|---|
| JS-Rendering | ✅ Playwright | ✅ Playwright | ❌ nur HTTP | ✅ Playwright |
| Anti-Detect-Browser | stealth plugin | ❌ | ❌ | ✅ Camoufox |
| Ghost Protocol | ❌ | ❌ | ❌ | ✅ automatischer Fallback |
| Proxy pro Anfrage | ✅ Eskalation | ❌ | Middleware | ✅ pro Anfrage |
| Stealth-Patches | ✅ | ❌ | ❌ | ✅ opt-in |
| Agenten-Schleife | ✅ agentisch | ✅ /agent | ❌ Spiders | ✅ begrenzte SM |
| Live-Browser-Stream | ✅ WebSocket | ✅ Live View | ❌ | ✅ WS + MJPEG |
| Markdown-Ausgabe | ✅ Fit Markdown | ✅ Kern | ❌ | ✅ Rust-Engine |
| PDF-Extraktion | ✅ PDF-Strategie | ✅ Parsing | ❌ | ✅ Textebene + OCR-Fallback |
| MCP-Tools | ✅ Community | ✅ offiziell | ⚠️ Community | ✅ 15 Tools |
| Multi-Provider-LLM | ✅ alle LLMs | ⚠️ Gemini | ❌ | ✅ OpenAI/Anthropic/Ollama |
| Mesh P2P | ❌ | ❌ | ❌ | ✅ Gossip-Protokoll |
| Policy-Durchsetzung | ❌ | ❌ | ❌ | ✅ Domain-Gates + Redaktion |
| Prompt-Injection-Abwehr | ❌ | ❌ | ❌ | ✅ Quarantäne + Visible-Text-Diff |
| Lizenz | Apache 2.0 | AGPL-3.0 | BSD | BSD-3-Clause |
| Preis | Kostenlos | Kostenlos–333 $/Monat | Kostenlos | Selbstgehostet |
| Funktion | Browserbase | Scrapfly | Firecrawl Cloud | Grub |
|---|---|---|---|---|
| JS-Rendering | ✅ eigenes Chromium | ✅ proprietär | ✅ Playwright | ✅ Playwright |
| Anti-Detect-Browser | ✅ eigenes Chromium | ✅ proprietär | ✅ Cloud-Stealth | ✅ Camoufox |
| Ghost Protocol | ❌ | ❌ | ❌ | ✅ automatischer Fallback |
| Proxy pro Anfrage | ✅ verwaltet | ✅ 130 Mio.+ IPs | ✅ Cloud-verwaltet | ✅ pro Anfrage |
| Stealth-Patches | ✅ integriert | ✅ integriert | ✅ integriert | ✅ opt-in |
| Agenten-Schleife | ✅ Stagehand | ⚠️ über Integrationen | ✅ /agent | ✅ begrenzte SM |
| Live-Browser-Stream | ✅ iFrame + CDP | ✅ CDP | ✅ Live View | ✅ WS + MJPEG |
| Markdown-Ausgabe | ✅ über MCP | ✅ integriert | ✅ Kern | ✅ Rust-Engine |
| MCP-Tools | ✅ offiziell | ✅ offiziell | ✅ offiziell | ✅ 15 Tools |
| Mesh P2P | ❌ | ❌ | ❌ | ✅ Gossip-Protokoll |
| Policy-Durchsetzung | ❌ | ❌ | ❌ | ✅ Domain-Gates + Redaktion |
| Prompt-Injection-Abwehr | ❌ | ❌ | ❌ | ✅ Quarantäne + Visible-Text-Diff |
| Selbst hostbar | ❌ nur Cloud | ❌ nur Cloud | ⚠️ eingeschränkt OSS | ✅ vollständig + Cloud Run |
| Preis | Kostenlos–99 $/Monat | Nutzungsbasiert | Kostenlos–333 $/Monat | Selbstgehostet |
Nur Grub hat Ghost Protocol — automatischer vision-basierter Fallback, der blockierte Seiten per Screenshot erfasst und Inhalte über LLM extrahiert, wenn Standard-Crawling fehlschlägt. Prävention (Camoufox + Proxy + Stealth) bewältigt 95 % der Blockierungen. Ghost Protocol übernimmt den Rest.
| Methode | Pfad | Beschreibung | Status |
|---|---|---|---|
POST | /api/crawl | Einzel-URL-Crawl (HTML + Markdown) | Live |
POST | /api/markdown | Markdown-Extraktion für eine oder mehrere URLs | Live |
POST | /api/batch | Batch-Crawl mit Job-Tracking | Live |
POST | /api/raw | Roh-HTML-Extraktion (kein Markdown) | Live |
GET | /view | Browser-gerenderter HTML-Viewer | Live |
GET | /download | Datei-Download (PDFs usw.) durch den Crawler | Live |
POST | /api/pdf/pages | PDF-Seiten als Text + gerendertes PNG (Base64) | Live |
PDF-URLs werden von /api/crawl, /api/markdown und /api/batch ohne den Browser verarbeitet: Die Textebene wird
pro Seite extrahiert (PyMuPDF), und reine Bildseiten fallen auf den konfigurierten Vision-Provider für OCR zurück
(lokaler Standard: Ollama mit benhaotang/Nanonets-OCR-s; setze AGENT_GHOST_VISION_PROVIDER=anthropic oder openai
mit einem Schlüssel, um stattdessen ein gehostetes Modell zu verwenden). OCR-Seiten werden mit source: "ocr" samt Modellname gekennzeichnet und erhalten einen
<!-- ocr: <model> -->-Marker unter ihrer Überschrift, damit Transkriptionen niemals mit dem Quelltext verwechselt werden.
Die Ausgabe ist Markdown mit einem ## Page N-Abschnitt pro Seite; render_mode meldet pdf_text, pdf_vision,
pdf_mixed oder pdf_empty.
| Methode | Pfad | Beschreibung | Status |
|---|---|---|---|
POST | /api/agent/run | Aufgabe an autonome Agenten-Schleife übermitteln | Live |
GET | /api/agent/status/{run_id} | Agenten-Laufstatus prüfen / Trace laden | Live |
POST | /api/agent/ghost | Ghost Protocol: Screenshot + Vision-Extraktion | Live |
| Methode | Pfad | Beschreibung | Status |
|---|---|---|---|
POST | /api/jobs/create | Generische Job-Übermittlung | Live |
POST | /api/jobs/crawl | Einzel-URL-Crawl-Job übermitteln | Live |
POST | /api/jobs/batch-crawl | Batch-Crawl-Job übermitteln | Live |
POST | /api/jobs/markdown | Markdown-only-Job übermitteln | Live |
POST | /api/jobs/process-job | Cloud-Tasks-Worker-Endpunkt | Live |
POST | /api/wraith | KI-gesteuerter Crawl-Workflow | Platzhalter |
