Coeus CI

Конкурентная разведка, которая видит всё.

Назван в честь Coeus (Си-ус), стоглазого греческого титана пытливого ума — чье имя буквально означает «вопрошающий». CI расшифровывается как Competitive Intelligence (Конкурентная разведка).

Инструмент бизнес-аналитики и OSINT, который строит профили компаний на основе бесплатных общедоступных источников данных. Дайте ему домен — получите оценённый отчёт, охватывающий стабильность, рост, зрелость технологий, финансовое здоровье, уровень безопасности и прозрачность.

Быстрый старт

# Clone and install
git clone https://github.com/Opfour/coeus-ci.git
cd coeus-ci
./setup.sh          # creates venv, installs everything

# Activate the environment
source venv/bin/activate

# Run a scan
coeus apple.com

# Compare companies
coeus apple.com microsoft.com

# Export HTML report
coeus apple.com --html

# Launch web dashboard
coeus --web

Использование

coeus [OPTIONS] [TARGETS]...

Options:
  --json                 Output as JSON
  --html                 Save HTML report to ./reports/
  -m, --modules TEXT     Comma-separated module list (e.g., whois,dns,edgar)
  -t, --timeout INTEGER  Per-module timeout in seconds (default: 30)
  --web                  Launch interactive web dashboard
  --port INTEGER         Web dashboard port (default: 8147)
  --help                 Show this message and exit

Примеры

# Single target
coeus acme.com

# JSON output (pipe to jq, save to file, etc.)
coeus acme.com --json

# Run only specific modules
coeus acme.com --modules whois,dns,ssl

# Side-by-side comparison
coeus apple.com microsoft.com

# HTML report saved to ./reports/
coeus apple.com --html

# Web dashboard on default port
coeus --web

# Web dashboard on custom port
coeus --web --port 9090

Конфигурация

Настройки по умолчанию заданы в одном месте для удобного изменения:

coeus/__init__.py

DEFAULT_WEB_PORT = 8147          # --port: web dashboard port
DEFAULT_TIMEOUT = 30             # --timeout: per-module timeout (seconds)
DEFAULT_HOST = "127.0.0.1"      # bind address for web dashboard

Измените эти значения, чтобы установить новые настройки по умолчанию для вашей среды. Параметры командной строки (--port, --timeout) переопределяют их для каждого запуска.

Источники данных (v0.1)

Все модули бесплатны и не требуют API-ключа.

Оценка

Каждая цель оценивается по шести параметрам (0-10):

Форматы вывода

• Терминал — Форматированная оценочная карта с цветными полосами, находками, деталями модулей
• JSON (--json) — Полный дамп модели Pydantic для передачи в конвейер или интеграции
• HTML (--html) — Автономный отчёт в тёмной теме, сохраняемый в ./reports/
• Веб-панель (--web) — Интерактивный интерфейс в браузере с отслеживанием хода сканирования в реальном времени

Архитектура

coeus-ci/
├── coeus/
│   ├── __init__.py          # Version + configurable defaults (port, timeout, host)
│   ├── __main__.py          # python -m coeus entry
│   ├── cli.py               # Click CLI with comparison mode
│   ├── core.py              # Two-wave async orchestrator
│   ├── models.py            # Pydantic data models
│   ├── scorer.py            # Weighted scoring engine
│   ├── report.py            # Terminal, JSON, HTML formatters
│   ├── matching.py          # Fuzzy company name matching
│   ├── web.py               # aiohttp web dashboard server
│   └── modules/
│       ├── base.py          # ABC base class for modules
│       ├── whois_mod.py     # WHOIS lookup
│       ├── dns_mod.py       # DNS analysis
│       ├── headers.py       # HTTP header analysis
│       ├── ssl_mod.py       # TLS certificate inspection
│       ├── tech.py          # Tech stack detection
│       ├── edgar.py         # SEC EDGAR filings
│       ├── nonprofit.py     # 501(c)(3) / ProPublica
│       └── dba.py           # DBA / OpenCorporates
├── templates/
│   ├── dashboard.html       # Web dashboard SPA
│   └── report.html          # Jinja2 HTML report template
├── setup.sh                 # One-time setup script
├── pyproject.toml           # Python packaging
├── LICENSE                  # AGPL-3.0
└── README.md

Как это работает

1. Волна 1 — WHOIS и SSL выполняются первыми для определения названия компании
2. Волна 2 — Все остальные модули запускаются параллельно, используя название компании из Волны 1
3. Оценка — Каждый модуль вносит взвешенные баллы в шесть параметров
4. Отчёт — Результаты объединяются в единый оценённый отчёт

Часто задаваемые вопросы

Как изменить порт веб-панели по умолчанию?

Отредактируйте coeus/__init__.py и измените DEFAULT_WEB_PORT, или используйте флаг --port:

coeus --web --port 9090

Как изменить таймаут по умолчанию?

Отредактируйте coeus/__init__.py и измените DEFAULT_TIMEOUT, или используйте флаг --timeout:

coeus apple.com --timeout 60

Нужны ли мне какие-либо API-ключи?

Нет. Все модули v0.1 используют бесплатные общедоступные источники данных и не требуют API-ключей.

Почему EDGAR показывает 0.0 для некоторых компаний?

Модуль EDGAR находит данные только для публичных компаний, зарегистрированных в SEC. Частные компании, некоммерческие организации и иностранные организации не будут иметь данных EDGAR — это ожидаемо, а не ошибка.

Почему модуль nonprofit иногда сопоставляет неправильную организацию?

Распространённые названия компаний (например, «Apple») могут совпадать с небольшими некоммерческими организациями с похожими названиями. Нечёткое сопоставление снижает ложные срабатывания, но очень общие названия по своей сути неоднозначны. Флаг --modules позволяет пропускать модули, которые не подходят.

Можно ли запускать только определённые модули?

Да:

coeus apple.com --modules whois,dns,ssl

Как добавить новый модуль?

1. Создайте новый файл в coeus/modules/, расширяющий BaseModule
2. Реализуйте метод execute(target, context)
3. Зарегистрируйте его в coeus/modules/__init__.py

План развития

v0.1 — Основа (текущая)

• Конвейер разведки из 8 модулей (whois, dns, headers, ssl, tech, edgar, nonprofit, dba)
• Движок оценки по шести параметрам
• Вывод в терминал, JSON и HTML
• Веб-панель с отслеживанием хода сканирования в реальном времени
• Режим сравнения для нескольких целей
• Нечёткое сопоставление названий компаний

v0.2 — Расширение

• Слой кэширования (не перезапрашивать в течение 24 часов)
• Пакетный режим (coeus --file targets.txt)
• Ограничение частоты запросов и логика повторных попыток
• Интеграция API-ключей для премиальных источников данных
• Модули Hunter.io, BuiltWith, Crunchbase, GitHub, Shodan

v0.3 — Полировка

• Экспорт отчёта в PDF
• История отслеживания (сравнение сканирований с течением времени)
• Система плагинов для сообщества
• Интеграция с CI/CD (коды выхода, основанные на пороговых значениях оценки)

Лицензия

AGPL-3.0 — смотрите LICENSE для подробностей.