Krawl

Содержание

• Демо
• Что такое Krawl?
• Панель управления Krawl
• Режимы развёртывания
• Банлист Krawl
• Быстрый старт
  • Docker Run
  • Docker Compose
  • Kubernetes
  • Uvicorn (Python)
• Конфигурация
  • config.yaml
  • Переменные окружения
• Блокировка вредоносных IP
• Репутация IP
• Работа за обратным прокси или CDN
• Метрики и мониторинг
• Дополнительная документация
• Обман с помощью ИИ
• Участие в разработке

Демо

Совет: обойдите пути из robots.txt для дополнительного интереса

URL Krawl: http://demo.krawlme.com

Посмотреть панель управления http://demo.krawlme.com/das_dashboard

Что такое Krawl?

Krawl — это cloud-native сервер обмана, предназначенный для обнаружения, задержки и анализа вредоносных атакующих, веб-краулеров и автоматизированных сканеров.

Он создаёт реалистичные поддельные веб-приложения, наполненные лёгкой добычей, такой как админ-панели, конфигурационные файлы и открытые поддельные учётные данные, чтобы привлекать и выявлять подозрительную активность.

Тратя ресурсы атакующих, Krawl помогает чётко отличать вредоносное поведение от легитимных краулеров.

Возможности:

• Страницы обмана, сгенерированные ИИ: Позвольте атакующим помочь сгенерировать вашу фальшивую уязвимую поверхность атаки
• Страницы-ловушки для пауков: Бесконечные случайные ссылки для траты ресурсов краулеров на основе проекта spidertrap
• Поддельные страницы входа: WordPress, phpMyAdmin, админ-панели
• Пути-ханипоты: Рекламируются в robots.txt для отлова сканеров
• Поддельные учётные данные: Реалистично выглядящие имена пользователей, пароли, API-ключи
• Интеграция Canary Token: Запуск внешних оповещений
• Случайные заголовки сервера: Сбивают с толку атаки, основанные на заголовке и версии сервера
• Панель управления в реальном времени: Мониторинг подозрительной активности
• Настраиваемые словари: Простая конфигурация на основе JSON
• Случайная инъекция ошибок: Имитация поведения реального сервера

Вы можете легко разместить Krawl рядом с другими вашими сервисами, чтобы защитить их от веб-краулеров и вредоносных пользователей с помощью обратного прокси. Подробнее см. в документации по обратному прокси.

Панель управления Krawl

Krawl предоставляет комплексную панель управления, доступную по случайному секретному пути, генерируемому при запуске, или по пользовательскому пути, настроенному через KRAWL_DASHBOARD_SECRET_PATH. Это позволяет держать панель скрытой от атакующих, сканирующих ваш ханипот.

Панель организована в шесть вкладок:

• Обзор: общий вид активности атак: интерактивная карта источников IP, недавние подозрительные запросы и топ IP, User-Agent и путей.

• Атаки: детальная разбивка захваченных учётных данных, срабатываний ханипотов и обнаруженных типов атак (SQLi, XSS, path traversal и т. д.) с графиками и таблицами.

• Угрозы: полезные нагрузки, сгруппированные в кампании по нечёткому хешу TLSH, так что веб-шелл и его изменённые варианты читаются как одна кампания, а не как несвязанные попадания, с индексом каждого захваченного файла.

• Анализ IP: углублённый форензический обзор выбранного IP: геолокация, информация об ISP/ASN, флаги репутации, временная шкала поведения, распределение типов атак, история referer, захваченные файлы и учётные данные, а также полная история доступа.

Кроме того, после аутентификации с паролем панели управления становятся доступны защищённые вкладки:

• Отслеживаемые IP: ведение списка наблюдения за IP-адресами, которые вы хотите мониторить со временем.
• Банлист IP: управление блокировками IP, просмотр обнаруженных атакующих и экспорт банлиста в формате raw или IPTables.
• IP с истёкшим таймаутом: просмотр IP, которые в данный момент удерживаются в тарпите, и исключение тех, которые не должны там находиться.
• Обман: управление страницами, сгенерированными ИИ, их экспорт или импорт новых.
• Вебхуки: пересылка блокировок в CloudFlare и другие фаерволы.

Иконки в заголовке открывают документацию API, экспорт банлиста и панель настроек, показывающую текущую конфигурацию, а также страницу обслуживания для запуска запланированных задач по требованию.

Подробнее см. в документации по панели управления.

Режимы развёртывания

Krawl поддерживает два режима развёртывания, управляемых настройкой mode в config.yaml или переменной окружения KRAWL_MODE.

	Standalone	Scalable
База данных	SQLite (режим WAL)	PostgreSQL
Кэш	Встроенный словарь Python	Redis (многоуровневый TTL)
Реплики	1 (один экземпляр)	1+ (горизонтальное масштабирование)
Внешние зависимости	Нет	PostgreSQL + Redis
Лучше всего для	Разработка, домашние лаборатории, <500k запросов	Продакшн, HA, >500k запросов

Standalone: идеален для сред разработки или домашних лабораторий с низким числом запросов. Дополнительная конфигурация не требуется, просто запустите Krawl, и он работает.

• Развёртывание в одном контейнере без внешних зависимостей
• Меньшее потребление RAM и ресурсов