Flowsint

Flowsint — это инструмент с открытым исходным кодом для исследования графов OSINT, предназначенный для этических расследований, прозрачности и верификации.

Этика: Пожалуйста, ознакомьтесь с ETHICS.md для получения рекомендаций по ответственному использованию.

https://github.com/user-attachments/assets/eaabfa81-d7b3-414d-8cf7-f69b4e37bab6

https://github.com/user-attachments/assets/7457d94a-cf1d-4a97-949f-f9b1d8d92644

https://github.com/user-attachments/assets/65c3f26e-7132-4853-be45-21b8933688bd

Вклад в проект

Flowsint находится на ранней стадии разработки и определённо нуждается в помощи сообщества! Не стесняйтесь создавать issues, предлагать функции и т.д.

Начало работы

Не хотите читать? Понятно. Вот инструкции по установке:

Linux / macOS

1. Установите предварительные требования

• Docker
• Make

2. Выполните команду установки

git clone https://github.com/reconurge/flowsint.git
cd flowsint
make prod

Windows

Make не требуется. Работает как в Command Prompt (cmd), так и в PowerShell.

1. Установите предварительные требования

• Docker Desktop (убедитесь, что он запущен перед следующим шагом)
• Git

2. Клонируйте репозиторий и настройте файлы окружения

git clone https://github.com/reconurge/flowsint.git
cd flowsint

copy .env.example .env
copy .env.example flowsint-api\.env
copy .env.example flowsint-core\.env
copy .env.example flowsint-app\.env

3. Запуск

docker compose -f docker-compose.prod.yml up -d

Это загружает предварительно собранные образы из GitHub Container Registry — локальная сборка не требуется.

Первый вход

Затем перейдите на http://localhost:5173/register и создайте учётную запись. По умолчанию учётных данных или аккаунта нет.

✅ Расследования OSINT требуют высокого уровня конфиденциальности. Все данные хранятся на вашей машине.

Развёртывание в сети (команда / сервер)

Та же настройка работает из коробки на сервере: фронтенд обслуживает интерфейс и проксирует все API-вызовы внутри, поэтому для клиентов не требуется дополнительная настройка.

git clone https://github.com/reconurge/flowsint.git
cd flowsint
cp .env.example .env
# Отредактируйте .env — см. «Перед открытием доступа к сети» ниже
docker compose -f docker-compose.prod.yml up -d

Любой пользователь в сети сможет получить доступ к Flowsint по адресу http://<server-ip>:5173.

Перед открытием доступа к сети измените секреты по умолчанию в .env:

• AUTH_SECRET — подписывает токены аутентификации. Сгенерируйте: openssl rand -hex 32
• MASTER_VAULT_KEY_V1 — шифрует хранящиеся API-ключи. Сгенерируйте: python3 -c "import os, base64; print('base64:' + base64.b64encode(os.urandom(32)).decode())"
• NEO4J_PASSWORD — пароль базы данных Neo4j.

Также добавьте имя хоста/IP вашего сервера в список разрешённых Host-заголовков в flowsint-app/nginx.conf (найдите map $http_host $is_flowsint_host). Список по умолчанию принимает только localhost / 127.0.0.1 / [::1], что защищает однопользовательские установки от DNS-ребдинга; для LAN и публичных развёртываний необходимо добавить собственное имя хоста. Две закомментированные строки-шаблона в том же блоке map показывают формат.

В сети открыт только порт 5173. PostgreSQL, Redis, Neo4j и API привязаны к 127.0.0.1 на сервере и доступны только через прокси фронтенда.

Чтобы закрепить конкретную версию вместо latest, установите FLOWSINT_VERSION в .env (например, FLOWSINT_VERSION=1.2.10).

HTTPS (рекомендуется за пределами доверенной LAN): разместите любой обратный прокси перед портом 5173. Пример с Caddy:

flowsint.example.com {
    reverse_proxy 127.0.0.1:5173
}

При использовании обратного прокси также привяжите порт приложения к localhost в docker-compose.prod.yml ("127.0.0.1:5173:8080"), чтобы клиенты могли обращаться только через HTTPS.

Что это такое?

Flowsint — это инструмент для расследований на основе графов, ориентированный на разведку и OSINT (Open Source Intelligence — разведка по открытым источникам). Он позволяет исследовать связи между сущностями через визуальный графовый интерфейс и автоматизированные обогатители.

Доступные обогатители

Обогатители доменов

• Reverse DNS Resolution — поиск доменов, указывающих на IP
• DNS Resolution — разрешение домена в IP-адреса
• Subdomain Discovery — перечисление поддоменов
• WHOIS Lookup — получение информации о регистрации домена
• Domain to Website — преобразование домена в сущность веб-сайта
• Domain to Root Domain — извлечение корневого домена
• Domain to ASN — поиск ASN, связанного с доменом
• Domain History — получение исторических данных о домене

Обогатители IP

• IP Information — получение геолокации и сетевых данных
• IP to ASN — поиск ASN для IP-адреса

Обогатители ASN

• ASN to CIDRs — получение диапазонов IP для ASN

Обогатители CIDR

• CIDR to IPs — перечисление IP-адресов в диапазоне

Обогатители социальных сетей

• Maigret — поиск имени пользователя по социальным платформам

Обогатители организаций

• Organization to ASN — поиск ASN, принадлежащих организации
• Organization Information — получение данных о компании
• Organization to Domains — поиск доменов, принадлежащих организации

Обогатители криптовалют

• Wallet to Transactions — получение истории транзакций
• Wallet to NFTs — поиск NFT, принадлежащих кошельку

Обогатители веб-сайтов

• Website Crawler — обход и построение карты структуры сайта
• Website to Links — извлечение всех ссылок
• Website to Domain — извлечение домена из URL
• Website to Webtrackers — выявление скриптов отслеживания
• Website to Text — извлечение текстового содержимого

Обогатители email

• Email to Gravatar — поиск профиля Gravatar
• Email to Breaches — проверка баз данных утечек
• Email to Domains — поиск связанных доменов

Обогатители телефонов

• Phone to Breaches — проверка номера телефона в утечках

Обогатители физических лиц

• Individual to Organization — поиск организационных связей
• Individual to Domains — поиск доменов, связанных с человеком

Интеграционные обогатители

• N8n Connector — подключение к рабочим процессам N8n

Структура проекта

Проект организован в автономные модули:

Основные модули

• flowsint-core: основные утилиты, оркестратор, хранилище, задачи celery и базовые классы
• flowsint-types: модели Pydantic и определения типов
• flowsint-enrichers: модули обогатителей, логика сканирования и инструменты
• flowsint-api: сервер FastAPI, маршруты API и схемы
• flowsint-app: фронтенд-приложение

Зависимости модулей

flowsint-app (frontend)
    ↓
flowsint-api (API server)
    ↓
flowsint-core (orchestrator, tasks, vault)
    ↓
flowsint-enrichers (enrichers & tools)
    ↓
flowsint-types (types)

Настройка для разработки

Предварительные требования

• Docker

Запуск

Linux / macOS (требуется Make):

make dev