grubcrawler

Почему Grub

Мы объединили возможности всех крупных краулеров — а затем добавили то, чего нет ни у одного из них.

Самостоятельно размещаемые краулеры

Возможность	Crawl4AI	Firecrawl	Scrapy	Grub
JS-рендеринг	✅ Playwright	✅ Playwright	❌ только HTTP	✅ Playwright
Антидетект-браузер	stealth plugin	❌	❌	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ автофолбэк
Прокси для каждого запроса	✅ эскалация	❌	middleware	✅ для каждого запроса
Stealth-патчи	✅	❌	❌	✅ опционально
Агентный цикл	✅ agentic	✅ /agent	❌ spiders	✅ ограниченный SM
Живой стрим браузера	✅ WebSocket	✅ Live View	❌	✅ WS + MJPEG
Вывод в Markdown	✅ Fit Markdown	✅ core	❌	✅ движок на Rust
Извлечение PDF	✅ PDF strategy	✅ parse	❌	✅ текстовый слой + OCR-фолбэк
MCP-инструменты	✅ сообщество	✅ официальные	⚠️ сообщество	✅ 15 инструментов
Мультипровайдерные LLM	✅ все LLM	⚠️ Gemini	❌	✅ OpenAI/Anthropic/Ollama
Mesh P2P	❌	❌	❌	✅ gossip-протокол
Применение политик	❌	❌	❌	✅ доменные шлюзы + редактирование
Защита от prompt injection	❌	❌	❌	✅ карантин + diff видимого текста
Лицензия	Apache 2.0	AGPL-3.0	BSD	BSD-3-Clause
Стоимость	Бесплатно	Бесплатно–$333/мес	Бесплатно	Самостоятельный хостинг

Облачные / управляемые краулеры

Возможность	Browserbase	Scrapfly	Firecrawl Cloud	Grub
JS-рендеринг	✅ кастомный Chromium	✅ проприетарный	✅ Playwright	✅ Playwright
Антидетект-браузер	✅ кастомный Chromium	✅ проприетарный	✅ облачный stealth	✅ Camoufox
Ghost Protocol	❌	❌	❌	✅ автофолбэк
Прокси для каждого запроса	✅ управляемый	✅ 130M+ IP	✅ облачный	✅ для каждого запроса
Stealth-патчи	✅ встроенные	✅ встроенные	✅ встроенные	✅ опционально
Агентный цикл	✅ Stagehand	⚠️ через интеграции	✅ /agent	✅ ограниченный SM
Живой стрим браузера	✅ iFrame + CDP	✅ CDP	✅ Live View	✅ WS + MJPEG
Вывод в Markdown	✅ через MCP	✅ встроенный	✅ core	✅ движок на Rust
MCP-инструменты	✅ официальные	✅ официальные	✅ официальные	✅ 15 инструментов
Mesh P2P	❌	❌	❌	✅ gossip-протокол
Применение политик	❌	❌	❌	✅ доменные шлюзы + редактирование
Защита от prompt injection	❌	❌	❌	✅ карантин + diff видимого текста
Самостоятельный хостинг	❌ только облако	❌ только облако	⚠️ ограниченный OSS	✅ полный + Cloud Run
Стоимость	Бесплатно–$99/мес	По использованию	Бесплатно–$333/мес	Самостоятельный хостинг

Только у Grub есть Ghost Protocol — автоматический визуальный фолбэк, который делает скриншоты заблокированных страниц и извлекает контент через LLM, когда стандартный краулинг не работает. Предотвращение (Camoufox + прокси + stealth) справляется с 95% блокировок. Ghost Protocol обрабатывает остальное.

API Endpoints

Основной краулинг

Метод	Путь	Описание	Статус
POST	/api/crawl	Краулинг одного URL (HTML + markdown)	Работает
POST	/api/markdown	Извлечение markdown для одного или нескольких URL	Работает
POST	/api/batch	Пакетный краулинг с отслеживанием задач	Работает
POST	/api/raw	Извлечение сырого HTML (без markdown)	Работает
GET	/view	HTML-просмотрщик с рендерингом браузера	Работает
GET	/download	Скачивание файлов (PDF и др.) через краулер	Работает
POST	/api/pdf/pages	Страницы PDF как текст + отрендеренный PNG (base64)	Работает

PDF-URL обрабатываются через /api/crawl, /api/markdown и /api/batch без браузера: текстовый слой извлекается постранично (PyMuPDF), а страницы только с изображениями передаются настроенному vision-провайдеру для OCR (локально по умолчанию: Ollama с benhaotang/Nanonets-OCR-s; задайте AGENT_GHOST_VISION_PROVIDER=anthropic или openai с ключом, чтобы использовать хостинговую модель). Страницы, прошедшие OCR, помечаются source: "ocr" с именем модели и получают маркер <!-- ocr: <model> --> под своим заголовком, чтобы транскрипции никогда не принимались за исходный текст. Вывод — markdown с одной секцией ## Page N на страницу; render_mode сообщает pdf_text, pdf_vision, pdf_mixed или pdf_empty.

Агент (Режим B)

Метод	Путь	Описание	Статус
POST	/api/agent/run	Отправить задачу в автономный агентный цикл	Работает
GET	/api/agent/status/{run_id}	Проверить статус запуска агента / загрузить трассировку	Работает
POST	/api/agent/ghost	Ghost Protocol: скриншот + vision-извлечение	Работает