SOCMIntelligence

Мультиплатформенный веб-инструмент SOCMINT / OSINT.
15 модулей-источников, кросс-платформенный граф идентичностей, оценка совпадения личности, управление кейсами и отчеты с защитой от подделки — в одном приложении FastAPI, запускаемом одной командой.

Что это такое

SOCMIntelligence собирает публичные данные с множества платформ, превращает каждый результат в графики, таблицы находок и граф связей, а затем объединяет всё в единый кросс-платформенный граф идентичностей. Поскольку один и тот же аккаунт везде получает одинаковый ID узла, email, домен или имя пользователя, встречающиеся в двух разных сканированиях, автоматически связываются — так вы видите, кто есть кто среди сервисов.

Модули

Каждый модуль читает только публичные данные (или официальный API, если предоставлен ключ). Никакого скрейпинга учетных данных/сессий приватных аккаунтов нет.

Возможности

• Граф связей — силовой граф D3, объединяющий каждое успешное сканирование. Кросс-платформенные совпадения (общий email, домен, имя пользователя), пивотинг (двойной клик по узлу для сканирования в нужном модуле), поиск, фильтры по типу, экспорт в PNG/JSON.
• Хронология — посты, комментарии, загрузки и события создания аккаунтов всех аккаунтов на одной оси, плюс тепловая карта пересечения по часам и таблица схожести по часам.
• Сопоставление идентичностей — оценка «тот же человек?» от 0 до 100 для каждой пары аккаунтов с обоснованиями (верифицированная/криптографическая связь, общий email, схожесть имени пользователя и отображаемого имени, общий личный домен, pHash аватара, часы активности). Пары с оценкой ≥ 40 отображаются на графе.
• Сравнение — сопоставление 2+ отсканированных аккаунтов одного модуля (таблица KPI + столбчатая диаграмма, наибольшее значение выделено).
• Пометки аналитика — отмечайте узлы графа как Verified / Suspicious / Dismissed, добавляйте заметки, добавляйте ручные узлы и связи. Всё сохраняется в кейс.
• Управление кейсами — создайте кейс, активируйте его, и сканирования/пометки/заметки сохраняются автоматически. Импорт/экспорт пакета .socmint.
• Отслеживание изменений (Мониторинг) — повторное сканирование целей по расписанию и запись того, что изменилось (поля, новые/удаленные связи).
• Целостность доказательств — необработанные данные каждого сканирования хешируются (SHA-256 по каноническому JSON) в момент сбора; кнопка проверки доказывает, были ли они изменены.
• Экспорт — отчет HTML / PDF, Excel (.xlsx), GraphML (Gephi/yEd), GEXF (Gephi), Maltego CSV, JSON.
• Двуязычный интерфейс — переключатель турецкий / английский (по умолчанию турецкий); отчеты, электронные таблицы, подписи графиков, форматы даты и чисел следуют выбранному языку.
• Страница настроек — ключи API, прокси / Tor / ротация списка прокси и ограничения скорости, всё управляется из интерфейса вместо .env.

Быстрый старт

python3 -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
uvicorn server:app --host 0.0.0.0 --port 8000

Затем откройте http://localhost:8000 — документация API по адресу http://localhost:8000/docs.

Для последующих запусков нужно только:

source .venv/bin/activate && uvicorn server:app --port 8000

Docker: docker compose up --build (один сервис).

Конфигурация

Вся конфигурация находится на странице Settings (сохраняется в data/settings.json; .env по-прежнему читается, но Settings имеет приоритет):

• Ключи API — хранятся на стороне сервера, никогда не возвращаются в браузер (показываются только «set» + последние 4 символа).
  • YOUTUBE_API_KEY — требуется для модуля YouTube.
  • X_BEARER_TOKEN — X (Twitter) API v2. Без него модуль X показывает четко помеченные образцовые данные, чтобы вы могли предварительно оценить вывод перед добавлением токена.
  • STEAM_API_KEY, STACKEXCHANGE_KEY, GRAVATAR_API_KEY, GITLAB_TOKEN — опционально, открывают дополнительные данные.
• Прокси / Tor — выключено, Tor, один пользовательский прокси или список прокси, который ротируется по кругу при каждом сканировании (распределяет ограничения скорости).
• Скорость — количество параллельных сканирований и задержка между запросами.

Примечания

• X (Twitter): бесплатный тариф X очень ограничен — даже с токеном история постов может возвращаться пустой на некоторых тарифах; модуль помечает такой случай.
• Telegram читает только публичный предпросмотр t.me/s/ (без входа).
• Gravatar получает только MD5/SHA-256 хеш email, никогда сам email.
• TikTok часто ограничивает скорость/блокирует ботов; модуль повторяет попытки и отличает настоящее «не найдено» от временной блокировки.
• Распределения по времени указаны в UTC. «Рост» подписчиков TikTok — это оценка (помечена как таковая), а не реальная история.
• backend/app/tools/youtube_osint.py поставляется с жестко закодированным резервным ключом API — замените его своим из Settings и удалите эту строку.

Лицензия

Apache License 2.0 — см. LICENSE.