Flowsint

Flowsint — это инструмент с открытым исходным кодом для исследования графов OSINT, предназначенный для этических расследований, прозрачности и верификации.

Этика: Пожалуйста, ознакомьтесь с ETHICS.md для получения рекомендаций по ответственному использованию.

https://github.com/user-attachments/assets/eaabfa81-d7b3-414d-8cf7-f69b4e37bab6

https://github.com/user-attachments/assets/7457d94a-cf1d-4a97-949f-f9b1d8d92644

https://github.com/user-attachments/assets/65c3f26e-7132-4853-be45-21b8933688bd

Вклад в проект

Flowsint находится на ранней стадии разработки и определённо нуждается в помощи сообщества! Не стесняйтесь создавать issues, предлагать функции и т.д.

Начало работы

Не хотите читать? Понятно. Вот инструкции по установке:

Linux / macOS

1. Установите предварительные требования

• Docker
• Make

2. Выполните команду установки

git clone https://github.com/reconurge/flowsint.git
cd flowsint
make prod

Windows

Make не требуется. Работает как в Command Prompt (cmd), так и в PowerShell.

1. Установите предварительные требования

• Docker Desktop (убедитесь, что он запущен перед следующим шагом)
• Git

2. Клонируйте репозиторий и настройте файлы окружения

git clone https://github.com/reconurge/flowsint.git
cd flowsint

copy .env.example .env
copy .env.example flowsint-api\.env
copy .env.example flowsint-core\.env
copy .env.example flowsint-app\.env

3. Запуск

docker compose -f docker-compose.prod.yml up -d

Это загружает предварительно собранные образы из GitHub Container Registry — локальная сборка не требуется.

Первый вход

Затем перейдите на http://localhost:5173/register и создайте учётную запись. По умолчанию учётных данных или аккаунта нет.

✅ Расследования OSINT требуют высокого уровня конфиденциальности. Все данные хранятся на вашей машине.

Развёртывание в сети (команда / сервер)

Та же настройка работает из коробки на сервере: фронтенд обслуживает интерфейс и проксирует все API-вызовы внутри, поэтому для клиентов не требуется дополнительная настройка.

git clone https://github.com/reconurge/flowsint.git
cd flowsint
cp .env.example .env
# Отредактируйте .env — см. «Перед открытием доступа к сети» ниже
docker compose -f docker-compose.prod.yml up -d

Любой пользователь в сети сможет получить доступ к Flowsint по адресу http://<server-ip>:5173.

Перед открытием доступа к сети измените секреты по умолчанию в .env:

• AUTH_SECRET — подписывает токены аутентификации. Сгенерируйте: openssl rand -hex 32
• MASTER_VAULT_KEY_V1 — шифрует хранящиеся API-ключи. Сгенерируйте: python3 -c "import os, base64; print('base64:' + base64.b64encode(os.urandom(32)).decode())"
• NEO4J_PASSWORD — пароль базы данных Neo4j.

Также добавьте имя хоста/IP вашего сервера в список разрешённых Host-заголовков в flowsint-app/nginx.conf (найдите map $http_host $is_flowsint_host). Список по умолчанию принимает только localhost / 127.0.0.1 / [::1], что защищает однопользовательские установки от DNS-ребдинга; для LAN и публичных развёртываний необходимо добавить собственное имя хоста. Две закомментированные строки-шаблона в том же блоке map показывают формат.

В сети открыт только порт 5173. PostgreSQL, Redis, Neo4j и API привязаны к 127.0.0.1 на сервере и доступны только через прокси фронтенда.

Чтобы закрепить конкретную версию вместо latest, установите FLOWSINT_VERSION в .env (например, FLOWSINT_VERSION=1.2.10).

HTTPS (рекомендуется за пределами доверенной LAN): разместите любой обратный прокси перед портом 5173. Пример с Caddy:

flowsint.example.com {
    reverse_proxy 127.0.0.1:5173
}

При использовании обратного прокси также привяжите порт приложения к localhost в docker-compose.prod.yml ("127.0.0.1:5173:8080"), чтобы клиенты могли обращаться только через HTTPS.

Что это такое?

Flowsint — это инструмент для расследований на основе графов, ориентированный на разведку и OSINT (Open Source Intelligence — разведка по открытым источникам). Он позволяет исследовать связи между сущностями через визуальный графовый интерфейс и автоматизированные обогатители.

Доступные обогатители

Обогатители доменов

• Reverse DNS Resolution — поиск доменов, указывающих на IP
• DNS Resolution — разрешение домена в IP-адреса
• Subdomain Discovery — перечисление поддоменов
• WHOIS Lookup — получение информации о регистрации домена
• Domain to Website — преобразование домена в сущность веб-сайта
• Domain to Root Domain — извлечение корневого домена
• Domain to ASN — поиск ASN, связанного с доменом
• Domain History — получение исторических данных о домене

Обогатители IP

• IP Information — получение геолокации и сетевых данных
• IP to ASN — поиск ASN для IP-адреса

Обогатители ASN

• ASN to CIDRs — получение диапазонов IP для ASN

Обогатители CIDR

• CIDR to IPs — перечисление IP-адресов в диапазоне

Обогатители социальных сетей

• Maigret — поиск имени пользователя по социальным платформам

Обогатители организаций

• Organization to ASN — поиск ASN, принадлежащих организации
• Organization Information — получение данных о компании
• Organization to Domains — поиск доменов, принадлежащих организации

Обогатители криптовалют

• Wallet to Transactions — получение истории транзакций
• Wallet to NFTs — поиск NFT, принадлежащих кошельку

Обогатители веб-сайтов

• Website Crawler — обход и построение карты структуры сайта
• Website to Links — извлечение всех ссылок
• Website to Domain — извлечение домена из URL
• Website to Webtrackers — выявление скриптов отслеживания
• Website to Text — извлечение текстового содержимого

Обогатители email

• Email to Gravatar — поиск профиля Gravatar
• Email to Breaches — проверка баз данных утечек
• Email to Domains — поиск связанных доменов

Обогатители телефонов

• Phone to Breaches — проверка номера телефона в утечках

Обогатители физических лиц

• Individual to Organization — поиск организационных связей
• Individual to Domains — поиск доменов, связанных с человеком

Интеграционные обогатители

• N8n Connector — подключение к рабочим процессам N8n

Структура проекта

Проект организован в автономные модули:

Основные модули

• flowsint-core: основные утилиты, оркестратор, хранилище, задачи celery и базовые классы
• flowsint-types: модели Pydantic и определения типов
• flowsint-enrichers: модули обогатителей, логика сканирования и инструменты
• flowsint-api: сервер FastAPI, маршруты API и схемы
• flowsint-app: фронтенд-приложение

Зависимости модулей

flowsint-app (frontend)
    ↓
flowsint-api (API server)
    ↓
flowsint-core (orchestrator, tasks, vault)
    ↓
flowsint-enrichers (enrichers & tools)
    ↓
flowsint-types (types)

Настройка для разработки

Предварительные требования

• Docker

Запуск

Linux / macOS (требуется Make):

make dev

Windows (cmd или PowerShell, без Make — сначала создайте файлы .env, см. Начало работы):

docker compose -f docker-compose.dev.yml up -d --build
docker compose -f docker-compose.dev.yml logs -f

Разработка

Приложение доступно по адресу http://localhost:5173.

Детали модулей

flowsint-core

Основные утилиты и базовые классы, используемые всеми остальными модулями:

• Подключения к базам данных (PostgreSQL, Neo4j)
• Аутентификация и авторизация
• Логирование и обработка событий
• Управление конфигурацией
• Базовые классы для обогатителей и инструментов
• Вспомогательные функции

flowsint-types

Модели Pydantic для всех типов данных:

• Domain, IP, ASN, CIDR
• Individual, Organization, Email, Phone
• Website, Social profiles, Credentials
• Crypto wallets, Transactions, NFTs
• И многие другие...

flowsint-enrichers

Модули обогатителей, обрабатывающие данные:

• Обогатители доменов (поддомены, WHOIS, разрешение)
• Обогатители IP (геолокация, поиск ASN)
• Обогатители социальных сетей (Maigret, Sherlock)
• Обогатители email (утечки, Gravatar)
• Обогатители криптовалют (транзакции, NFT)
• И многие другие...

flowsint-api

Сервер FastAPI, предоставляющий:

• Конечные точки REST API
• Аутентификацию и управление пользователями
• Интеграцию с графовой базой данных
• Потоковую передачу событий в реальном времени

flowsint-app

Фронтенд-приложение.

• Современный и удобный интерфейс
• Оптимизировано для производительности (без задержек даже при тысячах узлов)

Рабочий процесс разработки

1. Добавление новых типов: добавьте в модуль flowsint-types
2. Добавление новых обогатителей: добавьте в модуль flowsint-enrichers
3. Добавление новых конечных точек API: добавьте в модуль flowsint-api
4. Добавление новых утилит: добавьте в модуль flowsint-core

Тестирование

Каждый модуль имеет собственный (неполный) набор тестов:

# Тестирование модуля core
cd flowsint-core
uv run pytest

# Тестирование модуля types
cd ../flowsint-types
uv run pytest

# Тестирование модуля enrichers
cd ../flowsint-enrichers
uv run pytest

# Тестирование модуля API
cd ../flowsint-api
uv run pytest

Вклад в проект

1. Следуйте модульной структуре
2. Используйте uv для управления зависимостями
3. Пишите тесты для нового функционала
4. Обновляйте документацию по мере необходимости
5. См. CONTRIBUTING.md для проверок, которые необходимо выполнить перед коммитом

⚖️ Правовое и этическое использование

Этика: Пожалуйста, ознакомьтесь с ETHICS.md для получения рекомендаций по ответственному использованию.

Flowsint предназначен строго для законных, этических расследований и исследовательских целей.

Он был создан для помощи:

• Исследователям и аналитикам в области кибербезопасности
• Журналистам и OSINT-исследователям
• Правоохранительным органам или командам по расследованию мошенничества
• Организациям, проводящим внутреннюю разведку угроз или анализ цифровых рисков

Flowsint не должен использоваться для:

• Несанкционированного вторжения, слежки или сбора данных
• Преследования, доксинга или нацеливания на отдельных лиц
• Политических манипуляций, дезинформации или нарушения законов о конфиденциальности

Любое неправомерное использование этого программного обеспечения строго запрещено и противоречит этическим принципам, определённым в ETHICS.md.

❤️ Поддержка