openSquat Core

📑 Содержание

• Что такое openSquat?
• Упоминания
• Модель Open-Core
• Ключевые возможности
• Быстрый старт
• Требования
• Использование
• Премиум и API режимы
• Конфигурация
• Автоматизация
• Справка CLI
• Участие
• Автор
• Лицензия

🎯 Что такое openSquat?

openSquat — это инструмент безопасности OSINT (Open Source Intelligence) с открытым исходным кодом, который выявляет угрозы киберсквоттинга, нацеленные на ваш бренд или домены:

🌟 Упоминания

«Мощный швейцарский нож для защиты бренда» — WhoisXML API Blog, август 2022

«Инструмент с невероятной силой для борьбы с тайпсквоттингом и всеми связанными видами кибер-злонамеренности.» — WhoisXML API Blog, август 2022

«Удобный инструмент для сбора информации о недавно зарегистрированных доменах.» — занял 5-е место среди инструментов обнаружения фишинга — SOCRadar Blog, июль 2022

«openSquat обеспечивает важную защиту от сквоттинга доменов и фишинговых атак благодаря автоматическому мониторингу и обнаружению.» — Prince Yadav, TutorialsPoint, март 2026

Академическая цитата

«OpenSquat выявил 103 сквоттинговых домена, 960 активных фишинговых сайтов и 53 домена с подозрительными сертификатами.» — Sharma и др., Journal of Information Security and Cybercrimes Research (JISCR), Vol. 7, Issue 1, июнь 2024

🔓 Модель Open-Core

openSquat использует модель open-core:

• Ядро системы обнаружения — Открытый исходный код, разрабатываемый сообществом
• Расширенные возможности — Предоставляются через коммерческие сервисы анализа

Эта модель обеспечивает прозрачность и сотрудничество с сообществом, одновременно поддерживая масштаб, надёжность и эксплуатационные требования корпоративного использования.

✨ Ключевые возможности

• 📅 Ежедневные NRD-фиды — Автоматическое обновление новых зарегистрированных доменов
• 🔍 Обнаружение схожести — Алгоритм расстояния Левенштейна
• 🔓 Три режима работы — Community (бесплатный фид), Premium Feed (платный фид, тот же локальный конвейер) или Premium API (хостинговый сервис поиска похожих). Два премиум-режима используют один ключ API openSquat — см. Премиум и API режимы.
• 🛡️ Интеграция с VirusTotal — Проверка репутации домена
• 🌐 DNS-валидация Quad9 — Выявление вредоносных доменов
• 📜 Certificate Transparency — Мониторинг SSL/TLS сертификатов
• 📊 Несколько форматов вывода — TXT, JSON, CSV

🚀 Быстрый старт

Установка через pip (рекомендуется)

pip install opensquat
opensquat -k keywords.txt

Или клонирование репозитория

git clone https://github.com/atenreiro/opensquat
cd opensquat
pip install -r requirements.txt
python3 opensquat.py -k keywords.txt

Для пользователей репозитория: во всех примерах ниже замените opensquat на python3 opensquat.py, чтобы запускать из клонированной копии.

📦 Требования

• Python 3.10+
• Зависимости: confusable_homoglyphs, homoglyphs, colorama, requests, dnspython, beautifulsoup4

📖 Использование

Основные команды

# Запуск по умолчанию
opensquat

# Показать все опции
opensquat -h

# Использовать собственный файл ключевых слов
opensquat -k my_keywords.txt

Опции валидации

# DNS-валидация через Quad9
opensquat --dns

# Проверка журналов Certificate Transparency
opensquat --ct

# Сканирование открытых портов (80/443)
opensquat --portcheck

# Перекрёстная проверка с базами фишинговых сайтов
opensquat --phishing results.txt

Форматы вывода

# Сохранить как JSON
opensquat -o results.json -t json

# Сохранить как CSV
opensquat -o results.csv -t csv

Уровни доверия

Примечание: На стороне API (--api) пять уровней доверия сопоставляются с четырьмя значениями нечёткости (exact, low, auto, high) — -c 3 и -c 4 сопоставляются с high. Полное сопоставление и способ переопределения с помощью --api-fuzziness см. в разделе Премиум и API режимы.

💎 Премиум и API режимы

openSquat поддерживает три режима. Режим по умолчанию (Community) не изменился — существующим пользователям не нужны никакие флаги. Два премиум-режима используют один ключ API openSquat; выберите Premium Feed, если вы хотите использовать тот же локальный конвейер обнаружения с более крупным фидом, или Premium API, если вы хотите обнаружение на стороне сервера без загрузки локального фида.

Получение ключа API

Зарегистрируйтесь на opensquat.com, чтобы получить ключ. Один и тот же ключ работает как для Premium Feed (--premium), так и для Premium API (--api).

Предоставление ключа API (приоритет)

1. --api-key YOUR_KEY в командной строке
2. Переменная окружения OPENSQUAT_API_KEY
3. Файл api_key.txt в текущем каталоге (один ключ на файл, допускаются комментарии #)

Флаг CLI виден в выводе ps. В общих средах предпочтительнее использовать переменную окружения или файл ключа.

Примеры

# Режим Premium Feed — тот же локальный конвейер, больший фид
export OPENSQUAT_API_KEY=os_xxxxxxxxxxxx
opensquat -k keywords.txt --premium

# Режим Premium API — обнаружение на стороне сервера для каждого ключевого слова
opensquat -k keywords.txt --api

# Premium API + проверка репутации DNS для каждого возвращённого домена
opensquat -k keywords.txt --api --dns

# Premium API с выводом JSON, сгруппированным по ключевым словам
opensquat -k keywords.txt --api -t json -o results.json

# Настройка поиска Premium API
opensquat -k keywords.txt --api --api-fuzziness high --api-history-days 7 --api-max-results 200

Когда --premium или --api успешно загружает ключ, CLI выводит замаскированную строку подтверждения, чтобы вы могли проверить, какой ключ был выбран, не раскрывая его:

[*] API key loaded: os_gL...L5Mb

В режиме Premium API сводка выполнения показывает активный режим, количество выполненных вызовов API и ваш оставшийся баланс с дельтой использования (например, 4972 (used 4 of 4976 this run)). Строки прогресса по каждому ключевому слову появляются в том же порядке, что и в вашем файле ключевых слов, даже если вызовы выполняются параллельно. Исчерпание квоты (HTTP 429) корректно возвращает частичные результаты; ошибки аутентификации (401) и ошибки плана (403) прерывают выполнение с понятным сообщением.

Если бэкенд ограничивает скорость вашего запроса (HTTP 429 с заголовком Retry-After), инструмент отличает это от исчерпания квоты: вы увидите жёлтое предупреждение [!] Rate limit hit (retry in Ns) вместо красного сообщения quota exhausted, частичные результаты всё равно возвращаются, а в сводке сохраняется ваш реальный баланс API, так что вы можете точно увидеть, сколько кредитов вы фактически использовали. Чтобы избежать срабатывания ограничений скорости при больших сканированиях, используйте --api-rate-limit N, чтобы ограничить количество исходящих запросов в секунду для всех рабочих процессов. Значение 8 является безопасной отправной точкой для большинства бэкендов.

# Ограничить до 8 запросов/сек для всех рабочих процессов
opensquat -k keywords.txt --api --api-rate-limit 8

Рекомендация по формату вывода

JSON является рекомендуемым форматом вывода для режима Premium API, поскольку API возвращает метаданные по каждому домену, которые другие форматы не могут так же чисто передать: зарегистрированный TLD, дату первого появления в NRD, флаг IDN-гомографа и юникодное представление гомографа, когда домен является таковым.

opensquat -k keywords.txt --api -t json -o results.json

Пример расширенного вывода в режиме Premium API (сокращён):

[
  {
    "keyword": "microsoft",
    "domains": [
      {"domain": "securite-microsoft.fr", "tld": "fr", "date": "09-04-2026", "idn": false},
      {"domain": "xn--mirosoft-hw7c.com", "tld": "com", "date": "09-04-2026", "idn": true, "unicode": "miᴄrosoft.com"}
    ]
  }
]

Флаг idn плюс строковое представление unicode позволяют сразу увидеть, что xn--mirosoft-hw7c.com на самом деле содержит ᴄ (латинская буква малая заглавная C), выдающую себя за c в "microsoft" — информацию, которую обычная punycode-строка полностью скрывает.

Вывод в формате CSV также поддерживается и создаёт одну строку на домен с теми же столбцами метаданных, что подходит аналитикам, работающим в Excel или pandas:

opensquat -k keywords.txt --api -t csv -o results.csv

CSV записывается с BOM UTF-8, чтобы Excel в Windows корректно отображал столбец с юникодными гомографами.

Режимы Community и Premium Feed генерируют одинаковую структуру JSON верхнего уровня для согласованности между режимами, но с заполнением только поля domain для каждой записи — NRD-фид не несёт метаданных по каждому домену, которые есть только в хостинговом API:

[
  {
    "keyword": "microsoft",
    "domains": [
      {"domain": "mirosoft.com"},
      {"domain": "mcrosoft.net"}
    ]
  }
]

Если вы передаёте --api-key без выбора --premium или --api, CLI выводит однострочную подсказку, что ключ будет проигнорирован в режиме Community (без автоматического переключения режима).

В режиме Premium API -c/--confidence автоматически сопоставляется с нечёткостью API (0→exact, 1→low, 2→auto, 3→high, 4→high). Используйте --api-fuzziness, чтобы переопределить это.

Premium API (--api) несовместим с --doppelganger и -d/--domains.

⚙️ Конфигурация

Файл ключевых слов (keywords.txt)

# Строки, начинающиеся с #, являются комментариями
mycompany
mybrand
myproduct

Ключ API VirusTotal (vt_key.txt)

Для использования --vt или --subdomains добавьте свой ключ API:

# Получите бесплатный ключ API на https://www.virustotal.com
your_api_key_here

Ключ API openSquat (api_key.txt)

Требуется для --premium и --api. Создайте файл api_key.txt в рабочем каталоге:

# Получите ключ на https://opensquat.com
# Строки, начинающиеся с #, игнорируются; используется первая некомментарная строка.
os_your_key_here

CLI разрешает ключ в следующем порядке: флаг --api-key → переменная окружения $OPENSQUAT_API_KEY → файл api_key.txt. В общих средах предпочтительнее использовать переменную окружения или файл, а не флаг CLI, поскольку аргументы командной строки видны через ps.

🤖 Автоматизация

Запуск ежедневно через crontab:

# Установка через pip (рекомендуется) — каждый день в 8:00, фиды обновляются около 7:30 UTC
0 8 * * * cd /path/to/workdir && opensquat -k keywords.txt -o results.json -t json

# Проверка репозитория — вызывайте opensquat.py напрямую через python3
0 8 * * * cd /path/to/opensquat && python3 opensquat.py -k keywords.txt -o results.json -t json

Команда cd в рабочий каталог важна, если вы полагаетесь на api_key.txt (разрешается из текущего каталога) или хотите, чтобы results.json записывался в определённое место.

📋 Справка CLI

🤝 Участие

Мы приветствуем вклад! Подробности в нашем Руководстве по участию.

• 🐛 Сообщайте об ошибках через GitHub Issues
• 💡 Запрашивайте функции, открывая issue
• 🔧 Отправляйте PR для исправлений ошибок или улучшений
• 📝 Примечания к релизам — см. CHANGELOG для информации о новом в каждой версии

👤 Автор

Andre Tenreiro — LinkedIn · PGP Key

📜 Лицензия

Этот проект лицензирован под GNU GPL v3.