Flowsint

Flowsint — это инструмент с открытым исходным кодом для исследования графов OSINT, предназначенный для этических расследований, прозрачности и верификации.

Этика: Пожалуйста, прочитайте ETHICS.md для ознакомления с правилами ответственного использования.

https://github.com/user-attachments/assets/eaabfa81-d7b3-414d-8cf7-f69b4e37bab6

https://github.com/user-attachments/assets/7457d94a-cf1d-4a97-949f-f9b1d8d92644

https://github.com/user-attachments/assets/65c3f26e-7132-4853-be45-21b8933688bd

Участие в разработке

Flowsint всё ещё находится на ранней стадии разработки и определённо нуждается в помощи сообщества! Не стесняйтесь создавать issues, предлагать функции и т.д.

Начало работы

Не хотите читать? Понял. Вот инструкции по установке:

Linux / macOS

1. Установите предварительные требования

• Docker
• Make

2. Запустите команду установки

git clone https://github.com/reconurge/flowsint.git
cd flowsint
make prod

Windows

Make не нужен. Работает как в Командной строке (cmd), так и в PowerShell.

1. Установите предварительные требования

• Docker Desktop (убедитесь, что он запущен перед следующим шагом)
• Git

2. Клонируйте и настройте файлы окружения

git clone https://github.com/reconurge/flowsint.git
cd flowsint

copy .env.example .env
copy .env.example flowsint-api\.env
copy .env.example flowsint-core\.env
copy .env.example flowsint-app\.env

3. Запуск

docker compose -f docker-compose.prod.yml up -d

Это загружает предварительно собранные образы из GitHub Container Registry — локальная сборка не требуется.

Первый вход

Затем перейдите по адресу http://localhost:5173/register и создайте аккаунт. По умолчанию нет учётных данных или аккаунта.

✅ Расследования OSINT требуют высокого уровня конфиденциальности. Все данные хранятся на вашем компьютере.

Развёртывание в сети (команда / сервер)

Та же настройка работает из коробки на сервере: фронтенд обслуживает UI и проксирует все вызовы API внутренне, поэтому для клиентов не требуется дополнительная настройка.

git clone https://github.com/reconurge/flowsint.git
cd flowsint
cp .env.example .env
# Отредактируйте .env — см. «Перед открытием доступа к сети» ниже
docker compose -f docker-compose.prod.yml up -d

Любой пользователь в сети сможет получить доступ к Flowsint по адресу http://<server-ip>:5173.

Перед открытием доступа к сети измените стандартные секреты в .env:

• AUTH_SECRET — подписывает токены аутентификации. Сгенерируйте: openssl rand -hex 32
• MASTER_VAULT_KEY_V1 — шифрует сохранённые ключи API. Сгенерируйте: python3 -c "import os, base64; print('base64:' + base64.b64encode(os.urandom(32)).decode())"
• NEO4J_PASSWORD — пароль базы данных Neo4j.

Также добавьте имя хоста/IP вашего сервера в белый заголовок Host в flowsint-app/nginx.conf (найдите map $http_host $is_flowsint_host). Белый список по умолчанию принимает только localhost / 127.0.0.1 / [::1], что защищает однопользовательские установки от DNS-перепривязки; LAN и публичные развёртывания должны добавить своё имя хоста. Две закомментированные строки-шаблона в том же блоке map показывают формат.

В сеть открыт только порт 5173. PostgreSQL, Redis, Neo4j и API привязаны к 127.0.0.1 на сервере и доступны только через прокси фронтенда.

Чтобы зафиксировать конкретную версию вместо latest, укажите FLOWSINT_VERSION в .env (например, FLOWSINT_VERSION=1.2.10).

HTTPS (рекомендуется за пределами доверенной LAN): поместите любой обратный прокси перед портом 5173. Пример с Caddy:

flowsint.example.com {
    reverse_proxy 127.0.0.1:5173
}

При использовании обратного прокси также привяжите порт приложения к localhost в docker-compose.prod.yml ("127.0.0.1:5173:8080"), чтобы клиенты могли подключаться только через HTTPS.

Что это такое?

Flowsint — это инструмент для графовых расследований, ориентированный на разведку и OSINT (открытые источники). Он позволяет исследовать взаимосвязи между сущностями через визуальный графовый интерфейс и автоматизированные обогатители.

Доступные обогатители

Обогатители доменов

• Обратное DNS-разрешение — Найти домены, указывающие на IP
• DNS-разрешение — Разрешить домен до IP-адресов
• Обнаружение поддоменов — Перечислить поддомены
• WHOIS-запрос — Получить информацию о регистрации домена
• Домен на веб-сайт — Преобразовать домен в сущность веб-сайта
• Домен на корневой домен — Извлечь корневой домен
• Домен на ASN — Найти ASN, связанный с доменом
• История домена — Получить исторические данные о домене

Обогатители IP

• Информация об IP — Получить геолокацию и сетевые данные
• IP в ASN — Найти ASN для IP-адреса

Обогатители ASN

• ASN в CIDR — Получить диапазоны IP для ASN

Обогатители CIDR

• CIDR в IP — Перечислить IP в диапазоне

Обогатители социальных сетей

• Maigret — Поиск имени пользователя по социальным платформам

Обогатители организаций

• Организация в ASN — Найти ASN, принадлежащие организации
• Информация об организации — Получить данные о компании
• Организация в домены — Найти домены, принадлежащие организации

Обогатители криптовалют

• Кошелёк в транзакции — Получить историю транзакций
• Кошелёк в NFT — Найти NFT, принадлежащие кошельку

Обогатители веб-сайтов

• Сканер веб-сайта — Сканировать и составить карту структуры сайта
• Веб-сайт в ссылки — Извлечь все ссылки
• Веб-сайт в домен — Извлечь домен из URL
• Веб-сайт в веб-трекеры — Определить скрипты отслеживания
• Веб-сайт в текст — Извлечь текстовое содержимое

Обогатители email

• Email в Gravatar — Найти профиль Gravatar
• Email в утечки — Проверить базы данных утечек
• Email в домены — Найти связанные домены

Обогатители телефонов

• Телефон в утечки — Проверить номер телефона в утечках

Обогатители личностей

• Личность в организацию — Найти организационные связи
• Личность в домены — Найти домены, связанные с человеком

Интеграционные обогатители

• N8n Connector — Подключение к рабочим процессам N8n

Структура проекта

Проект организован в автономные модули:

Основные модули

• flowsint-core: Основные утилиты, оркестратор, хранилище, задачи Celery и базовые классы
• flowsint-types: Модели Pydantic и определения типов
• flowsint-enrichers: Модули обогатителей, логика сканирования и инструменты
• flowsint-api: Сервер FastAPI, маршруты API и только схемы
• flowsint-app: Фронтенд-приложение

Зависимости модулей

flowsint-app (frontend)
    ↓
flowsint-api (API server)
    ↓
flowsint-core (orchestrator, tasks, vault)
    ↓
flowsint-enrichers (enrichers & tools)
    ↓
flowsint-types (types)

Настройка для разработки

Предварительные требования

• Docker

Запуск

Linux / macOS (требуется Make):

make dev

Windows (cmd или PowerShell, Make не нужен — сначала создайте файлы .env, см. Начало работы):

docker compose -f docker-compose.dev.yml up -d --build
docker compose -f docker-compose.dev.yml logs -f

Разработка

Приложение доступно по адресу http://localhost:5173.

Детали модулей

flowsint-core

Основные утилиты и базовые классы, используемые всеми другими модулями:

• Подключения к базам данных (PostgreSQL, Neo4j)
• Аутентификация и авторизация
• Логирование и обработка событий
• Управление конфигурацией
• Базовые классы для обогатителей и инструментов
• Вспомогательные функции

flowsint-types

Модели Pydantic для всех типов данных:

• Домен, IP, ASN, CIDR
• Личность, Организация, Email, Телефон
• Веб-сайт, Социальные профили, Учётные данные
• Криптокошельки, Транзакции, NFT
• И многие другие...

flowsint-enrichers

Модули обогатителей, которые обрабатывают данные:

• Обогатители доменов (поддомены, WHOIS, разрешение)
• Обогатители IP (геолокация, поиск ASN)
• Обогатители социальных сетей (Maigret, Sherlock)
• Обогатители email (утечки, Gravatar)
• Крипто-обогатители (транзакции, NFT)
• И многие другие...

flowsint-api

Сервер FastAPI, предоставляющий:

• REST API конечные точки
• Аутентификацию и управление пользователями
• Интеграцию с графовой базой данных
• Потоковую передачу событий в реальном времени

flowsint-app

Фронтенд-приложение.

• Современный и удобный интерфейс
• Оптимизировано для производительности (без задержек даже при тысячах узлов)

Рабочий процесс разработки

1. Добавление новых типов: Добавить в модуль flowsint-types
2. Добавление новых обогатителей: Добавить в модуль flowsint-enrichers
3. Добавление новых конечных точек API: Добавить в модуль flowsint-api
4. Добавление новых утилит: Добавить в модуль flowsint-core

Тестирование

У каждого модуля есть свой (неполный) набор тестов:

# Тестирование модуля core
cd flowsint-core
uv run pytest

# Тестирование модуля types
cd ../flowsint-types
uv run pytest

# Тестирование модуля enrichers
cd ../flowsint-enrichers
uv run pytest

# Тестирование модуля API
cd ../flowsint-api
uv run pytest

Участие в разработке

1. Соблюдайте модульную структуру
2. Используйте Poetry для управления зависимостями
3. Пишите тесты для новых функций
4. Обновляйте документацию по мере необходимости

⚖️ Правовое и этическое использование

Этика: Пожалуйста, прочитайте ETHICS.md для ознакомления с правилами ответственного использования.

Flowsint разработан строго для законных, этических расследований и исследовательских целей.

Он был создан для помощи:

• Исследователям и аналитикам в области кибербезопасности
• Журналистам и OSINT-исследователям
• Правоохранительным органам или командам по расследованию мошенничества
• Организациям, проводящим внутреннюю разведку угроз или анализ цифровых рисков

Flowsint не должен использоваться для:

• Несанкционированного вторжения, слежки или сбора данных
• Преследования, доксинга или нацеливания на отдельных лиц
• Политических манипуляций, дезинформации или нарушения законов о конфиденциальности

Любое неправомерное использование этого программного обеспечения строго запрещено и противоречит этическим принципам, определённым в ETHICS.md.

❤️ Поддержка