Доступ к серверу: `http://localhost:5000`

### Docker Compose

Создайте `docker-compose.yaml` с одним из двух режимов развертывания.

**Standalone**: сервер Krawl с хранилищем Sqlite:```yaml
services:
  krawl:
    image: ghcr.io/blessedrebus/krawl:latest
    container_name: krawl-server
    ports:
      - "5000:5000"
    environment:
      - CONFIG_LOCATION=config.yaml
      # - KRAWL_DASHBOARD_PASSWORD=my-secret-password
    volumes:
      - ./config.yaml:/app/config.yaml:ro
      - krawl-data:/app/data
    restart: unless-stopped

volumes:
  krawl-data:

Для развертывания просто выполните```bash
docker compose up -d

Минимальные примеры файлов значений предоставлены для обоих режимов:
- [`values-minimal.yaml`](https://github.com/blessedrebus/krawl/blob/HEAD/helm/values-minimal.yaml) ---> Масштабируемый (по умолчанию)
- [`values-standalone.yaml`](https://github.com/blessedrebus/krawl/blob/HEAD/helm/values-standalone.yaml) ---> Автономный

Смотрите [Режимы развертывания](https://github.com/blessedrebus/krawl/blob/HEAD/docs/deployment-modes.md) и [Документацию диаграммы](https://github.com/blessedrebus/krawl/blob/HEAD/helm/README.md) для полной конфигурации и инструкций по миграции.

### Uvicorn (Python)

Запустите Krawl напрямую с Python 3.13+ и uvicorn для локальной разработки или тестирования:```bash
pip install -r requirements.txt
uvicorn app:app --host 0.0.0.0 --port 5000 --app-dir src --no-server-header

Пример запуска Docker с переменными окружения (автономный режим):```bash
docker run -d \
  -p 5000:5000 \
  -e KRAWL_MODE=standalone \
  -e KRAWL_PORT=5000 \
  -e KRAWL_DELAY=100 \
  -e KRAWL_DASHBOARD_PASSWORD="my-secret-password" \
  -e KRAWL_CUSTOM_TEMPLATE_PATH="/templates/custom_page.html" \
  -e KRAWL_CANARY_TOKEN_URL="http://your-canary-token-url" \
  --name krawl \
  ghcr.io/blessedrebus/krawl:latest

Это позволяет автоматически блокировать вредоносный трафик на различных платформах:
* [OPNsense и pfSense](https://ipv64.net/v64_blocklist_integration_guide)
* [RouterOS](https://rentry.co/krawl-routeros)
* [IPtables](https://github.com/blessedrebus/krawl/blob/HEAD/plugins/iptables/README.md) и [Nftables](https://github.com/blessedrebus/krawl/blob/HEAD/plugins/nftables/README.md)
* [Fail2Ban](https://github.com/blessedrebus/krawl/blob/HEAD/plugins/fail2ban/README.md)

Полные параметры API, примеры и добавление пользовательских форматов брандмауэра см. в [документации Firewall Exporters](https://github.com/blessedrebus/krawl/blob/HEAD/docs/firewall-exporters.md).

## IP Reputation
Krawl [использует задачи, которые анализируют недавний трафик для построения и непрерывного обновления](https://github.com/blessedrebus/krawl/blob/HEAD/src/tasks/analyze_ips.py) оценки репутации IP. Он запускается периодически и оценивает каждый активный IP-адрес на основе нескольких поведенческих индикаторов, классифицируя его как атакующего, краулера или обычного пользователя. Пороги полностью настраиваемы.

![ip reputation](https://assets.kitploit.com/production/public/readmes/12879/b6498c17152c4bc5667f22e5a2bfe92c0b0a6e7c5ced5b7d99176bda23963753.png)

Анализ включает:
- **Использование рискованных HTTP-методов** (например, соотношение POST, PUT, DELETE)
- **Нарушения Robots.txt**
- **Аномалии времени запросов** (всплески или нерегулярные паттерны)
- **Согласованность User-Agent**
- **Обнаружение атакующих URL** (например, SQL-инъекции, XSS-паттерны)

Каждый сигнал вносит вклад в взвешенную модель оценки, которая присваивает категорию репутации:
- `attacker`
- `bad_crawler`
- `good_crawler`
- `regular_user`
- `unknown` (для недостаточных данных)

Полученные оценки и метрики сохраняются в базе данных и используются Krawl для управления панелями мониторинга, отслеживания репутации и автоматических действий по смягчению угроз, таких как блокировка IP или интеграция с брандмауэром.

## Сгенерированные с помощью ИИ страницы обмана

Krawl может автоматически генерировать реалистичные страницы обмана, используя ИИ-модели из API **OpenRouter** или **OpenAI**. Эта функция создает уникальные, правдоподобные страницы-ловушки на лету, чтобы обмануть атакующих без необходимости ручного создания страниц.

**Ключевые особенности:**
- **Динамическая генерация**: Создает уникальные HTML-страницы для любого пути запроса
- **Умное кэширование**: Кэширует сгенерированные страницы, чтобы избежать избыточных вызовов API
- **Ежедневное ограничение скорости**: Контролируйте затраты на API с помощью настраиваемых лимитов запросов
- **Несколько провайдеров**: Поддержка OpenRouter (бесплатные варианты) и OpenAI
- **Безотказный возврат**: Возвращается к стандартной ловушке, когда отключено или достигнут лимит
- **Обслуживание из кэша**: Ранее сгенерированные страницы обслуживаются, даже если ИИ отключен

**Быстрая настройка:**```yaml
ai:
  enabled: true
  provider: "openrouter"
  openai_base_url: "your-custom-base-url"
  api_key: "your-api-key"
  model: "nvidia/nemotron-3-super-120b-a12b:free"
  timeout: 60
  max_daily_requests: 10

## Метрики и мониторинг

Krawl предоставляет метрики [Prometheus](https://prometheus.io/) по пути `/<dashboard_secret_path>/metrics` (включено по умолчанию) и поставляется с готовой к импорту панелью [Grafana](https://grafana.com/) в файле [`grafana-dashboard.json`](https://github.com/blessedrebus/krawl/blob/HEAD/grafana-dashboard.json).

Полный список метрик, шаги импорта Grafana и настройка сборов Prometheus / Kubernetes (`ServiceMonitor`) описаны в [документации по мониторингу](https://github.com/blessedrebus/krawl/blob/HEAD/docs/monitoring.md).

## Дополнительная документация

| Тема | Описание |
|-------|-------------|
| [Генерация с помощью ИИ](https://github.com/blessedrebus/krawl/blob/HEAD/docs/ai_generation.md) | Настройка создания страниц обмана с помощью ИИ через OpenRouter или OpenAI |
| [Страницы обмана](https://github.com/blessedrebus/krawl/blob/HEAD/docs/deception_pages.md) | Управление, импорт и экспорт страниц обмана; массовые операции и фильтрация по дате |
| [Режимы развёртывания](https://github.com/blessedrebus/krawl/blob/HEAD/docs/deployment-modes.md) | Автономный (SQLite) vs масштабируемый (PostgreSQL + Redis) режим, настройка и миграция данных |
| [Honeypot](https://github.com/blessedrebus/krawl/blob/HEAD/docs/honeypot.md) | Полный обзор страниц-приманок: поддельные логины, списки каталогов, файлы с учётными данными, ловушки SQLi/XSS/XXE/Command Injection и другое |
| [Панель управления](https://github.com/blessedrebus/krawl/blob/HEAD/docs/dashboard.md) | Доступ и изучение панели мониторинга в реальном времени |
| [API](https://github.com/blessedrebus/krawl/blob/HEAD/docs/api.md) | Внешние API, используемые Krawl для данных об IP, репутации и геолокации |
| [Обратный прокси](https://github.com/blessedrebus/krawl/blob/HEAD/docs/reverse-proxy.md) | Как развернуть Krawl за NGINX или использовать подставные поддомены |
| [Резервное копирование БД](https://github.com/blessedrebus/krawl/blob/HEAD/docs/backups.md) | Включение и настройка автоматического дампа базы данных |
| [Канареечные токены](https://github.com/blessedrebus/krawl/blob/HEAD/docs/canary-token.md) | Настройка внешних триггеров оповещений через canarytokens.org |
| [Словник](https://github.com/blessedrebus/krawl/blob/HEAD/docs/wordlist.md) | Настройка поддельных имён пользователей, паролей и списков каталогов |
| [Архитектура](https://github.com/blessedrebus/krawl/blob/HEAD/docs/architecture.md) | Технический обзор кодовой базы, конвейера запросов, схемы БД и фоновых задач |
| [Экспортёры межсетевых экранов](https://github.com/blessedrebus/krawl/blob/HEAD/docs/firewall-exporters.md) | Экспорт списков заблокированных IP в форматах raw, iptables или nftables через REST API |
| [Метрики и мониторинг](https://github.com/blessedrebus/krawl/blob/HEAD/docs/monitoring.md) | Эндпоинт метрик Prometheus, справочник по экспортируемым метрикам, панель Grafana и сбор данных через ServiceMonitor |

## Участие в разработке

Вклад приветствуется! Пожалуйста:
1. Сделайте форк репозитория
2. Создайте ветку для новой функции
3. Внесите свои изменения
4. Отправьте pull request (с пояснением изменений!)

## Отказ от ответственности
> [!CAUTION]
> Это система обмана/приманок. Развёртывайте в изолированных средах и внимательно отслеживайте события безопасности. Используйте ответственно и в соответствии с действующим законодательством.

## История звёзд
<img src="https://assets.kitploit.com/production/public/readmes/placeholders/f0fc86cfe65f76d40e15aaec61704ec8220a56dc89d4be03c46f67cb31b9fa8c.svg" width="600" alt="График истории звёзд" />