stop-bots — Автоматизируйте блокировку доступа вредоносных ботов к вашему серверу | Kitploit

Dashboard (экран по умолчанию): общесистемные настройки категорий по умолчанию (Scanners / Search Bots / AI Bots — Allowed или Blocked); геоблокировка на уровне хоста (блокировка или allow-list конкретных стран); панель "Automatic blocking" с переключателем вкл/выкл для каждого детектора и каждого стороннего блок-листа; панель "Firewall script" (сколько правил запишет рендер, устарел ли скрипт на диске и из каких сайтов и списков ботов он отрендерен); панель "Scheduled", показывающая задания внутреннего cron и когда они последний раз выполнялись (со спиннером рядом с любым заданием, выполняющимся в данный момент в фоне); и Log того, что приложение делало последним. Полоса статуса под вкладками показывает проверки состояния хоста на каждом экране. Up/Down перемещают между тремя списками; m переключает режим геоблокировки. Нажмите F, чтобы отрендерить текущие правила firewall в скрипт — во всплывающем окне также есть переключатель "apply after writing" (Space) для немедленного применения, вместо применения вручную afterward. Ещё три клавиши действуют на весь хост: u скачивает все списки, a применяет обе плоскости (NGINX, затем firewall), а w ставит эту консоль за NGINX — те же три, что в браузере представлены кнопками и панелью.
Bot settings: перечисляет все известные источники списков ботов (с действием для их обновления) и каждого отдельного бота, с поиском по имени, с переопределением для каждого бота (Allowed / Blocked / следовать категории по умолчанию).
Site settings: панель "NGINX settings" (Tab для фокуса на ней), содержащая общехостовые настройки, формирующие генерируемый конфиг — что получает заблокированный запрос в ответ (см. ниже), нужно ли отдавать сгенерированный robots.txt, и ограничение скорости — над каждым сайтом NGINX, обнаруженным на диске, каждый со статусом "up to date / stale / not found" в реальном времени и действиями для применения текущей политики к одному сайту или ко всем сразу. Изменение любой из этих настроек переводит каждый применённый сайт в STALE, что служит сигналом к повторному применению. Открытие сайта позволяет переопределить его политику категорий/ботов, включить любое из шести правил формы запроса и перечислить пути, исключённые из блокировки.
Dynamic Protection: живое, действенное представление того, что сейчас атакует сервер — "Top IPs attempting SSH connection" и "Top User Agents", каждый ранжирован по количеству и помечен NOT BLOCKED/BLOCKED (показано красным). Tab/Shift+Tab переключают, к какой из двух панелей применяются Up/Down; f циклически переключает общий фильтр (all / not blocked only / blocked only); Enter блокирует выбранную строку NOT BLOCKED или разблокирует её, если она уже BLOCKED. i инспектирует выбранный адрес: какие из репутационных фидов его содержат, находится ли он внутри опубликованного диапазона краулера (что и отличает настоящий Googlebot от user agent, который лишь заявляет себя таковым), к какой стране он принадлежит и под какими учётными записями он пытался войти. Всё это из списков, которые хост уже скачал — здесь нет обратного DNS или whois-запроса, потому что PTR-запись пишется тем, кто владеет адресом, и была бы предоставленным атакующим текстом, читающимся как авторитетный.
Help: полный справочник по привязкам клавиш.

Известные боты, по категориям (scanner / search engine / AI crawler), из ArcJet's Well-Known Bots, ai.robots.txt и списка NGINX Ultimate Bad Bot Blocker. Блокировка категории внедряет правило if ($http_user_agent ...) в конфиг NGINX каждого сайта (apply-blocks / a/A в Site settings).
Слишком много запросов, через собственное ограничение скорости NGINX. В отличие от всего остального здесь, это применяется NGINX во время запроса, а не путём анализа лога после. По умолчанию выключено: лимит, настроенный под неправильный сайт, отваживает реальных посетителей.
Вежливо, сначала — опционально генерируемый robots.txt со списком всех ботов, которых вы блокируете, для краулеров, которые его соблюдают, плюс путь-приманка ниже. По умолчанию выключено, потому что он заменяет то, что ваш сайт отдаёт по /robots.txt сегодня.
Кроме случаев, когда вы указали иначе — исключения путей для каждого сайта, чтобы можно было блокировать AI-краулеров везде, кроме /blog.
Запросы, не похожие на браузер, для каждого сайта. Шесть независимых правил, каждое со своим переключателем и каждое по умолчанию выключено — по одному переключателю на правило, чтобы если что-то ваше перестанет работать, вы могли определить, какое правило это сделало:

Ко всем ним применяются две меры предосторожности, и они принудительно соблюдаются, а не оставлены на вас:
- Два правила, зависящих от TLS, записываются только в HTTPS-блоки server. Браузеры не используют HTTP/2 без TLS, поэтому на простом блоке listen 80 каждый запрос — HTTP/1.1, включая редирект, который браузер делает на пути к HTTPS. Ваши блоки для порта 80 и порта 443 обычно делят server_name, поэтому настройка достигает обоих; только TLS-блок получает эти правила. Правила формы заголовков работают поверх простого HTTP и записываются в оба.
- /.well-known/ всегда исключается, как только включено любое правило. Именно там Let's Encrypt забирает свой HTTP-01 challenge, по HTTP/1.1 без Accept и часто без User-Agent — без этого исключения ваш сертификат перестанет обновляться через несколько недель.

Опция	Для чего она
`403 Forbidden` (по умолчанию)	говорит, что блокировка была намеренной; единственная, на которую ошибочно пойманный человек может отреагировать
`404 Not Found`	скрывает, что что-либо вообще было заблокировано
`410 Gone`	просит благовоспитанных краулеров удалить URL навсегда — предпочитайте это 403, когда вы отваживаете краулеров, а не атакующих
`429 Too Many Requests`	говорит вежливому клиенту отступить и повторить попытку
`418 I'm a teapot`	шутка из RFC 2324. Работает; просто не зарегистрирована в IANA, и NGINX отправляет её с пустым телом
`444 close connection`	вообще без ответа; самый дешёвый, но неотличим от недоступного сервера
`Tarpit`	отвечает 403, но выдаёт тело по одному байту в секунду, так что клиент ждёт, вместо того чтобы двигаться дальше

SSH- и веб-сканеры: IP с кучей неудачных SSH-логинов или множеством различных путей, отдавших 404. Никогда — IP с недавним успешным SSH-логином или находящийся внутри опубликованного диапазона известного краулера.
Поддельные краулеры: всё, что заявляет себя как Googlebot, Bingbot или GPTBot с адреса, который оператор этого краулера не публикует. Самая дешёвая распространённая маскировка, и опубликованные списки CIDR её разрешают. Неактивно, пока эти списки действительно не скачаны.
Поиск открытых секретов: один запрос к /.env, /.git/config, /wp-config.php и подобным сам по себе является решающим, так что порог здесь не нужен. Встроенный список намеренно опускает пути, которые где-то легитимны — /wp-login.php, /wp-admin/, /xmlrpc.php, /phpmyadmin — поскольку заблокировать собственного администратора было бы хуже, чем пропустить сканер, которого детектор 404 всё равно поймает. Добавляйте свои через set-probe-paths.
Honeypot: путь, опубликованный только как Disallow: в сгенерированном robots.txt и нигде не связанный. Достичь его означает проигнорировать robots.txt, чего ничто легитимное не делает случайно — самый сильный сигнал здесь и самая длинная блокировка. Для работы требует включённой генерации robots.txt.

Целые страны, через агрегированные списки CIDR от IPdeny — блокируйте конкретные страны или переключитесь в режим allow-list и блокируйте всё остальное.
Известно плохие адреса, через сторонние списки: FireHOL level 1, Tor exit nodes и blocklist.de. Все по умолчанию выключены.
Целые хостинг-провайдеры: AWS, Google Cloud и DigitalOcean публикуют своё адресное пространство, и жилые посетители не просматривают из него. Это грубые инструменты, и они помечены как таковые — они блокируют каждого посетителя, размещённого там, включая VPN-эндпоинты, корпоративный egress и API-клиентов, а не только ботов. По умолчанию выключено, с предупреждением при включении.
Соседние адреса, опционально: когда несколько адресов в одном IPv4 /24 помечены в одном проходе, блокируется /24. По умолчанию выключено — блокировка 256 адресов из-за трёх плохо себя ведущих — это сопутствующий ущерб по замыслу. (IPv6 отличается и не требует переключателя: обнаружение всегда блокирует /64, потому что /64 — это одна LAN, то же самое, что представляет один IPv4-адрес. Блокировка единственного адреса, который случилось использовать IPv6-атакующему, ничего бы не остановила — у него есть ещё 2^64.)
Всё остальное, вручную — добавьте правило allow или block для IP/CIDR напрямую или используйте экран Dynamic Protection, чтобы навсегда заблокировать конкретный IP или user agent, который вы заметили, прежде чем он вообще пересёк автоматический порог.

Семь проверок, и первая — та, ради которой всё это стоит делать: действительно ли сгенерированные правила находятся в ядре, или только на диске? Реальный хост проработал три недели с 48 860 правилами drop в `/etc/stop-bots/firewall.nft` и пустым набором правил, потому что написание скрипта и его загрузка — это два шага, и никто никогда не смотрел на второй.

Остальные: переживёт ли набор правил перезагрузку (включён ли `nftables.service`?), соответствует ли скрипт по-прежнему правилам, применены ли блоки NGINX, запускает ли консольная служба тот бинарник, который она называет, есть ли место для базы данных и могут ли детекторы читать свои логи.

Он завершается с ненулевым кодом, если что-либо **CRITICAL**, поэтому работает как проверка мониторинга. `--quiet` выводит только то, что требует внимания, — это форма для cron:```
0 * * * * /usr/local/bin/stop-bots status --quiet

Он ничего не сообщает, когда всё сработало, поэтому успешный ночной запуск не отправляет вам письмо. Неудачный
шаг выводит сообщение в stderr и устанавливает ненулевой код завершения — именно поэтому cron сообщает вам
об этом. Сначала запустите его вручную с `--verbose` — это выводит по строке на каждый шаг и является
самым простым способом увидеть, что он на самом деле делает.

**Именно `--apply` заставляет его что-либо применять.** Без него `batch` записывает конфигурацию NGINX
и скрипт брандмауэра и останавливается: конфигурация ничего не делает до перезагрузки, скрипт ничего не делает
до его запуска. Это поведение по умолчанию для этого проекта везде, и здесь оно остаётся поведением по умолчанию.

`batch` и долго работающий фронтенд безопасно сосуществуют. TUI, веб-интерфейс и `batch` —
все записывают то, что они сделали, через одни и те же ключи в одной и той же базе данных, поэтому кто бы ни добрался до задачи
первым, выполняет её, а остальные обнаруживают, что она больше не подлежит выполнению — вы не получаете двух проходов обнаружения, и
панель «Запланированные задачи» на Dashboard показывает то, что действительно произошло, а не утверждает,
что всё просрочено. Если вы уже держите веб-интерфейс запущенным, ночная запись `batch` — это дополнительная подстраховка,
а не необходимость; если нет, это единственное, что поддерживает
обнаружение в актуальном состоянии.

**С `--apply` защита от блокировки SSH может отказать — а отказ означает, что ничего не применяется.**
Она отказывает, если правила заблокировали бы клиента, подключённого прямо сейчас, *и* если ни один журнал SSH
вообще не удалось прочитать, потому что тогда проверка не могла выполниться. Интерактивный
`render-firewall` в этом втором случае лишь выводит примечание, исходя из того, что за терминалом наблюдает человек;
из cron никто не наблюдает. **Передавайте `--ssh-log` явно**: cron работает от имени root, поэтому `/var/log/auth.log` обычно читается
нормально, но на хосте только с journald `journalctl` под cron может вернуть пустой результат — и это ровно тот случай, в котором она отказывает. `--force` переопределяет
защиту, если вы действительно этого хотите.

Отказ одного шага никогда не останавливает остальные, и половины NGINX и брандмауэра независимы —
неудачная перезагрузка NGINX всё равно оставляет брандмауэр применённым, и наоборот.

`batch` записывает каждый шаг в соответствии с тем же расписанием, которое использует внутренний cron TUI, поэтому они
согласуются насчёт того, что уже было запущено, вместо того чтобы делать это обоим, и панель «Запланированные
задачи» на Dashboard показывает то, что сделал ваш настоящий cron.

# Веб-интерфейс

`stop-bots web` обслуживает те же пять экранов в браузере.```
stop-bots web

затем откройте <http://127.0.0.1:8787/>.

![Панель управления веб-консоли: индикаторы состояния и две кнопки для всего хоста в заголовке, политика, геоблокировка и сторонние фиды в одной колонке, автоматическая блокировка и запланированные задачи в другой](https://assets.kitploit.com/production/public/readmes/55148/73bbcc92f0f3d2c9d0586bd71ad18f1b4d582fa59824b4f5e3c97e08575f5070/bb45db648f6a59192f56b1e14a019f50f0816bff651766316c377cbe79f700b6-display-v1.webp)

Консоль следует светлой или тёмной теме операционной системы, с переключателем в
заголовке; приведённые выше скриншоты TUI — это тёмная тема, а эти — светлая. Клавиши,
которые использует TUI, работают и здесь: `1`–`4` переключают экраны, `/` переводит фокус на поле поиска, `?` открывает справку.

![Страница динамической защиты веб-консоли: неудачные входы по SSH и топ пользовательских агентов, каждый со шкалой количества и тегом состояния, и кнопкой блокировки или разблокировки в каждой строке](https://assets.kitploit.com/production/public/readmes/55148/090d4d2151eb00a69781c44351abe10f268d8031816199b9aeb5b4d2cddfc5f5/52a05387d1227288e7f45ece3c33e4af17957d8e9e73fb7c0213d64c49dc7419-display-v1.webp)

Три действия для всего хоста находятся в заголовке — в браузере в виде кнопок, а в TUI
в виде отдельных клавиш:

- **Обновить всё** (`u`) загружает каждый список ботов, каждый диапазон IP сканеров, каждый
  *включённый* фид репутации и каждую *выбранную* страну — тот же набор, который загружает `stop-bots batch`, по тому же плану. Сбой одного источника не останавливает остальные, и ничего не применяется, пока что-то это не применит.
- **Применить всё** (`a`) записывает и перезагружает конфигурацию NGINX, затем записывает и запускает
  скрипт межсетевого экрана. Эти два уровня независимы: что бы ни отказало, другой всё равно получит
  свой ход, потому что наполовину применённый хост лучше, чем тот, где синтаксическая ошибка NGINX также оставила
  межсетевой экран устаревшим.
- **Веб-доступ** (`w`) настраивает NGINX для обслуживания самой консоли — см.
  [За NGINX](#behind-nginx-a-subdomain-or-a-path-prefix).

## Как служба (Debian)```
sudo stop-bots install web

`--allowed-hosts` на практике не является необязательным: запрос с именем хоста, которого нет
в списке, отклоняется. Именно это делает атаку DNS rebinding на консоль невозможной, и именно
поэтому открытый сервер, к которому обращаются по имени, требует явного указания этого имени.

Разместите его за NGINX с TLS — тем же NGINX, который защищает этот инструмент. Если вы так
сделаете и прокси устанавливает `X-Forwarded-For`, сообщите консоли, что она может доверять этому
заголовку, иначе она не сможет определить, с какого адреса на самом деле пришёл запрос:```
stop-bots web --bind 127.0.0.1:8787   # and set web:trust_forwarded_for

# Конфигурация сканера
scanner:
  # Целевые URL для сканирования
  targets:
    - "https://example.com"
    - "https://test.example.com"
  
  # Настройки сканирования
  settings:
    timeout: 30
    threads: 10
    user_agent: "SecurityScanner/1.0"
    
  # Модули для включения
  modules:
    - xss
    - sqli
    - lfi
    - rce
    
  # Настройки вывода
  output:
    format: "json"
    file: "scan_results.json"
    verbose: true

# Базовое сканирование
python scanner.py --config config.yaml

# Сканирование с переопределением параметров
python scanner.py --url https://target.com --modules xss,sqli --output results.json

# Сканирование с аутентификацией
python scanner.py --url https://target.com --auth-token "your_token_here"

# payloads/custom_xss.py
XSS_PAYLOADS = [
    "<script>alert('XSS')</script>",
    "",
    "<svg onload=alert('XSS')>",
    # Добавьте свои полезные нагрузки здесь
]

name: Security Scan

on:
  push:
    branches: [ main ]
  pull_request:
    branches: [ main ]

jobs:
  security-scan:
    runs-on: ubuntu-latest
    
    steps:
    - uses: actions/checkout@v4
    
    - name: Set up Python
      uses: actions/setup-python@v4
      with:
        python-version: '3.9'
    
    - name: Install dependencies
      run: |
        pip install -r requirements.txt
    
    - name: Run security scan
      run: |
        python scanner.py --config config.yaml --output results.json
    
    - name: Upload results
      uses: actions/upload-artifact@v3
      with:
        name: scan-results
        path: results.json

from scanner import Scanner

# Инициализация сканера
scanner = Scanner(
    target="https://example.com",
    modules=["xss", "sqli"],
    threads=10,
    timeout=30
)

# Запуск сканирования
results = scanner.scan()

# Обработка результатов
for vulnerability in results.vulnerabilities:
    print(f"Найдено: {vulnerability.type}")
    print(f"URL: {vulnerability.url}")
    print(f"Серьёзность: {vulnerability.severity}")

Метод	Описание	Параметры
`scan()`	Запуск полного сканирования	Нет
`scan_url(url)`	Сканирование одного URL	`url` (str)
`add_module(module)`	Добавление модуля сканирования	`module` (str)
`set_auth(token)`	Установка токена аутентификации	`token` (str)
`export(format)`	Экспорт результатов	`format` (str)

**Префикс пути тоже работает**, но консоли нужно об этом сообщить — она должна
генерировать каждую ссылку, действие формы, перенаправление и путь cookie уже с
префиксом, и она не может догадаться:```
stop-bots web --base-path /stop-bots --allowed-hosts example.com --save

# Базовое сканирование
python3 scanner.py -u https://example.com

# Сканирование со списком URL
python3 scanner.py -f urls.txt --threads 20

# Использование прокси и пользовательских заголовков
python3 scanner.py -u https://example.com --proxy http://127.0.0.1:8080 --headers "Authorization: Bearer token"

# Вывод в формате JSON
python3 scanner.py -u https://example.com --format json --output results.json

# Подробный режим с задержкой
python3 scanner.py -u https://example.com --verbose --delay 1

# Пример config.yaml
targets:
  - https://example.com
  - https://test.example.com

options:
  threads: 10
  timeout: 10
  follow_redirects: true
  verify_ssl: true
  user_agent: "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"

headers:
  Authorization: "Bearer your-token-here"
  X-Custom-Header: "custom-value"

output:
  format: json
  path: results.json

+---------------------+--------+---------------------+
| URL                 | Статус | Детали              |
+---------------------+--------+---------------------+
| https://example.com | 200    | OK                  |
| https://test.com    | 404    | Not Found           |
+---------------------+--------+---------------------+

{
  "results": [
    {
      "url": "https://example.com",
      "status": 200,
      "details": "OK",
      "timestamp": "2024-01-15T10:30:00Z"
    }
  ],
  "summary": {
    "total": 1,
    "success": 1,
    "failed": 0
  }
}

class CustomModule:
    def __init__(self, options):
        self.options = options

    def run(self, target):
        # Ваша логика здесь
        return {
            "url": target,
            "status": "success",
            "data": {}
        }

# Пример GitHub Actions
name: Security Scan
on: [push]
jobs:
  scan:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v2
      - name: Run scanner
        run: |
          python3 scanner.py -u https://example.com --format json --output results.json
      - name: Upload results
        uses: actions/upload-artifact@v2
        with:
          name: scan-results
          path: results.json

**Завершающая косая черта в `proxy_pass` имеет значение, и именно её отсутствие — весь трюк.**
Без неё NGINX передаёт полный путь целиком, и `stop-bots` видит
`/stop-bots/whatever`, что он теперь и обслуживает, и генерирует. *С* завершающей
косой чертой NGINX отсекает префикс — и тогда браузер разрешает ссылки на странице
относительно корня домена, выходит за пределы блока `location`, и всё отдаёт 404. Никакая
аккуратность на стороне сервера это не исправит, поэтому префикс должен выжить при
проксировании.

Извне это ничем не принуждается, но сбой получается громким, а не тонким: при
настроенном префиксе запрос без префикса — это обычный 404, а не страница, которая
работает наполовину.

## Чего он не будет делать

Две вещи отсутствуют намеренно, и экран Help сообщает об этом вместе с причинами:

- **Он не разблокирует то, что заблокировал загруженный список** — следующее обновление этого
  списка молча отменило бы это.
- **Он не меняет свой собственный пароль.** Используйте `stop-bots web --set-password` на хосте.

Он также отказывается блокировать адрес, с которого вы подключены, — это отняло бы
консоль, которой вы бы воспользовались, чтобы это отменить.

**Раньше их было три.** Применение скрипта брандмауэра было третьим, на том основании, что
его запуск — единственная операция, способная отключить хост от сети. Теперь это
доступно — «Apply everything» на Dashboard (`a` в TUI), или галочка «run it after
writing» на панели брандмауэра — потому что защита, делающая его безопасным при запуске из cron, делает его безопасным и при
нажатии кнопки: правила проверяются против клиентов, в данный момент подключённых по SSH, в
том порядке, в котором их будет вычислять сам скрипт, и правило, которое заблокировало бы одного из них, — это
отказ, а не предупреждение. Запустите консоль с `--no-apply`, чтобы вернуть прежнее
поведение только для записи.

Попытки входа ограничиваются по частоте. Не потому, что пароль можно угадать — он генерируется,
144 бита — а потому, что его проверка запускает Argon2id, и позволить неаутентифицированному вызывающему
управлять этим так быстро, как он только может отправлять запросы, — это отказ в обслуживании против хоста, который этот инструмент
должен защищать. Десять неверных попыток бесплатны; сверх этого клиент отступает
экспоненциально, а глобальный лимит ограничивает нагрузку на CPU независимо от того, со скольких адресов
приходят попытки.

## Запуск NGINX в контейнере

Если NGINX работает в Docker и его конфигурация находится на bind mount, `systemctl reload nginx` не перезагружает
ничего. Направьте обе команды на контейнер вместо этого — это относится и к CLI, и к
TUI:```
stop-bots set-nginx-commands \
  --test   "docker exec web nginx -t" \
  --reload "docker exec web nginx -s reload"

HTTP/1.0 и HTTP/1.1	краулеры и API-клиенты, не говорящие на HTTP/2
Нет заголовка `Accept`	некоторые API-клиенты не отправляют его
Нет `Accept-Language`	инструменты приватности его удаляют
Пустой/отсутствующий `User-Agent`	скрипты и проверки состояния часто его опускают
`Host` — голый IP	ломает доступ к сайту по IP
TLS 1.0 / 1.1	только очень старые клиенты

stop-bots

Популярное

Stop Bots

Установка

Зависимости

Использование

Тема

Экраны

От чего это на самом деле защищает

Использование конфига NGINX

Что на самом деле получает заблокированный запрос

Из ваших логов, автоматически

По адресу

Это действительно работает?

Ничего не происходит без вас

Unattended, from cron

One full pass a night. Refreshes the lists, scans the logs, applies both.

And detection every ten minutes, without re-downloading lists that change weekly.

Его раскрытие

За NGINX: поддомен или префикс пути

2. Настройка конфигурации

3. Запуск сканирования

Расширенное использование

Пользовательские полезные нагрузки

Интеграция с CI/CD

Справочник по API

Класс Scanner

Методы

Устранение неполадок

Распространённые проблемы

Участие в разработке

Стандарты кодирования

Лицензия

Благодарности

Контакты

Отказ от ответственности

Примеры

Конфигурация

Вывод

Формат таблицы (по умолчанию)

Формат JSON

Формат CSV

Расширенное использование

Пользовательские модули

Интеграция с CI/CD

Устранение неполадок

Распространённые проблемы

Режим отладки

Участие в разработке

Стиль кода

Лицензия

Благодарности

Контакты

Отказ от ответственности

Участие в разработке

Контакты

Лицензия

Не можете использовать AGPL-программы?