Hermes OSINT v3.0 🏛️🧠

Агентный OSINT-аналитик
Расследования на основе разговорного ИИ. Естественный язык. Экспертные результаты. 🤖✨

Что нового в v3.0 🎉

Hermes 3.0 представляет собой полную смену парадигмы: от оркестрации инструментов на основе конвейеров к платформе для расследований на базе разговорного ИИ. Работая на локальных LLM через Ollama, Hermes теперь понимает запросы на естественном языке, автономно выбирает и выполняет инструменты и синтезирует результаты в связные аналитические отчёты.

🧠 Агентный интеллект

• Интерфейс на естественном языке — задавайте вопросы вроде «Найди всё о @johndoe» вместо запоминания флагов CLI
• Паттерн ReAct — цикл «Думай → Действуй → Наблюдай» для интеллектуальных итеративных расследований
• Автономный выбор инструментов — LLM решает, какие инструменты запускать, исходя из контекста
• Отчёты с цитированием — каждый результат привязан к источнику-инструменту

💬 Интерактивный TUI

• Диалоговый REPL — общайтесь с Hermes в терминале в стиле пентестера
• Сохранение сессий — сохраняйте и возобновляйте расследования командами /save и /load
• Управление контекстом — автоматическое суммаризирование предотвращает переполнение токенов в длинных сессиях
• Строка состояния в реальном времени — модель, использование контекста и stealth-режим на виду

🔄 Гибкие режимы выполнения

• Режим TUI (по умолчанию) — полноценный диалоговый интерфейс с Ollama
• Головной режим — --headless --query "..." для скриптов и автоматизации
• Устаревший режим — hermes sherlock <user> для прямого доступа к инструментам без LLM

Обзор 🎯

Hermes — это универсальная платформа оркестрации OSINT, объединяющая лучшие opensource-инструменты разведки в единый рабочий процесс на базе ИИ. Вместо того чтобы вручную запускать Sherlock, TheHarvester, Holehe и другие инструменты по отдельности, тратя драгоценное время на расследование ⏰—агентное ядро Hermes понимает вашу цель, интеллектуально оркеструет инструменты, коррелирует результаты из разных источников и формирует профессиональные отчёты. 📊

Что делает Hermes особенным: 🌟

• 🧠 Агентный ИИ с паттерном ReAct — позвольте LLM управлять вашим расследованием
• 💬 Запросы на естественном языке — никаких флагов, просто опишите, что вам нужно
• 🔒 Безопасная плагинная архитектура со статическим анализом кода — доверие нужно заслужить
• 🐳 Изоляция Docker для выполнения инструментов с нулевым доверием — песочница для всего
• ⚡ Параллельная обработка с интеллектуальным управлением ресурсами — в 2 раза быстрее последовательного
• 🧩 Движок кросс-инструментальной корреляции для построения связей — соединяйте точки автоматически
• 🔧 Расширяемый дизайн — добавляйте новые инструменты без изменения основного кода

Возможности 💎

Агентное ядро 🤖

• Цикл агента ReAct с циклом «Думай → Действуй → Наблюдай»
• Интеграция с Ollama для вывода локальных LLM (Llama 3, Mistral и др.)
• Реестр инструментов с определениями схем JSON для вызова функций
• Менеджер контекста с прокручивающимися сводками (лимит 24k символов для моделей 8B)
• Хранилище сессий для сохранения/загрузки состояния расследования

Интерактивный TUI 💻

• REPL на prompt_toolkit с постоянной историей (~/.hermes_history)
• Стилизация в стиле пентестера с зелёными/голубыми/оранжевыми акцентами
• Динамическая строка состояния с отображением модели, % контекста и режима
• Слэш-команды: /help, /tools, /status, /save, /load, /export, /clear, /exit

Оркестрация инструментов 🎼

• 6 встроенных OSINT-инструментов из коробки (Sherlock, TheHarvester, h8mail, Holehe, PhoneInfoga, Subfinder) 🛠️
• Плагинная архитектура для бесшовной интеграции сторонних инструментов 🔌
• Статический сканер безопасности проверяет код плагина перед выполнением — никаких сюрпризов! 🛡️
• Многомодовое выполнение: контейнеры Docker, нативные бинарники или гибридное автоопределение 🎭
• Принудительный stealth-режим — блокирует активные инструменты зондирования, когда включен 🥷

Производительность 🚀

• Параллельное выполнение даёт 2-кратное ускорение по сравнению с последовательным запуском ⚡
• Умное масштабирование ресурсов автоматически определяет ядра CPU и память 💻
• Эфемерные контейнеры создаются, выполняются и уничтожаются автоматически 🌪️
• Настраиваемые воркеры через флаг --workers для точной настройки конкурентности 🎛️

Интеллект 🧠

• Кросс-инструментальная корреляция выявляет связи между разнородными источниками данных 🔍
• Нечёткая дедупликация интеллектуально удаляет повторяющиеся результаты 🎯
• Унифицированная схема сущностей нормализует вывод всех инструментов 📐
• Атрибуция источника отслеживает, какой инструмент обнаружил каждый результат 📝
• Оценка достоверности количественно определяет надёжность результатов ⭐

Быстрый старт 🏃‍♂️💨

Предварительные требования ✅

• Python 3.10 или выше 🐍
• Docker (для выполнения инструментов в контейнерах) 🐳
• Ollama с установленной моделью (для TUI/агентного режима) 🧠

Установка 📦

# Клонирование и установка
git clone https://github.com/Expert21/hermes-osint.git
cd hermes-osint
pip install -r requirements.txt
pip install .

# Установка Ollama и загрузка модели
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b

# Проверка работоспособности
hermes --doctor  # 🏥 Убедитесь, что всё готово!

Базовое использование 🎮

# 🧠 Режим TUI (по умолчанию) — диалоговый интерфейс ИИ
hermes
# Затем общайтесь естественно: "Найди соцсети для johndoe"

# 📜 Головной режим — для скриптов и автоматизации
hermes --headless --query "Исследуй домен example.com"

# 🔧 Устаревший режим — прямой доступ к инструментам (LLM не требуется)
hermes sherlock johndoe
hermes theharvester example.com
hermes holehe [email protected]

Команды TUI 💬

/help          # Показать все команды
/tools         # Список доступных инструментов расследования
/status        # Показать статус текущей сессии
/save          # Сохранить сессию в файл
/load          # Загрузить предыдущую сессию
/sessions      # Список всех сохранённых сессий
/export FILE   # Экспорт отчёта (md, pdf, html, csv, stix)
/stealth       # Переключить stealth-режим
/clear         # Очистить диалог
/exit          # Выйти из Hermes

Продвинутое использование 🎯

# Stealth-режим — только пассивные инструменты
hermes --stealth
# Блокирует: sherlock, holehe, phoneinfoga
# Разрешает: theharvester, subfinder, h8mail

# Выбор конкретной модели
hermes --model mistral:7b

# Головной режим с выводом
hermes --headless --query "Найди поддомены для target.com" --output report.md

Доступные инструменты 🛠️

Архитектура 🏗️

Агентная архитектура v3.0

Ввод пользователя → CLI (cli.py)
                ├── Режим TUI → AgentLoop → Ollama → ToolExecutor → Адаптеры
                ├── Головной → AgentLoop → Одиночный запрос → Отчёт
                └── Устаревший → ToolExecutor напрямую (без LLM)

Поток компонентов

┌─────────────┐
│ Запрос      │ 💬 "Найди информацию о johndoe"
│ пользователя│
└──────┬──────┘
       │
       ▼
┌─────────────────┐
│   AgentLoop     │ 🧠 ReAct: Думай → Действуй → Наблюдай
│  (agent_loop.py)│
└────────┬────────┘
         │
         ├──────────────────┬────────────────┐
         ▼                  ▼                ▼
┌──────────────┐   ┌───────────────┐  ┌─────────────┐
│ ToolRegistry │   │ContextManager │  │ SessionStore│
│(tool_registry)│  │(context_mgr.py)│ │(session_store)│
└──────┬───────┘   └───────────────┘  └─────────────┘
       │
       ▼
┌──────────────────────┐
│   ToolExecutor       │ 🔧 Проверяет + Выполняет
│  (tool_executor.py)  │
└──────────┬───────────┘
           │
           ▼
┌─────────────────────────┐
│ ExecutionStrategy       │ 🎭 Docker/Нативный/Гибрид
│ (execution_strategy.py) │
└──────────┬──────────────┘
           │
           ▼
    ┌──────────────┐
    │ Адаптеры     │ 🔌 Sherlock, TheHarvester и т.д.
    └──────┬───────┘
           │
           ▼
    ┌─────────────┐      ┌──────────────┐
    │ Сырые       │─────▶│ Дедупликация │ ✨
    │ результаты  │      └──────┬───────┘
    └─────────────┘             │
                                │
                                ▼
                         ┌─────────────┐
                         │   Отчёт     │ 📊
                         │ (exporter)  │
                         └─────────────┘

Ключевые компоненты 🔑

Слой агента (src/agent/)

• AgentLoop 🧠: паттерн ReAct с вызовом функций Ollama
• ToolRegistry 📋: определения схем JSON для использования инструментов LLM
• ToolExecutor 🔧: проверяет входные данные, применяет stealth, связывает с адаптерами
• ContextManager 📊: прокручивающиеся сводки, предотвращает переполнение токенов
• SessionStore 💾: JSON-сохранение для функциональности save/load
• TUI 💻: REPL на prompt_toolkit в стиле пентестера

Слой оркестрации (src/orchestration/)

• ExecutionStrategy 🎭: выбор режима Docker/нативный/гибрид
• DockerManager 🐳: эфемерные контейнеры с верификацией SHA256
• TaskManager ⚡: параллельное выполнение с ограничением ресурсов

Слой безопасности (src/security/)

• PluginSecurityScanner 🛡️: статический анализ на основе AST
• InputValidator ✅: предотвращение инъекций, защита от path traversal
• SecretsManager 🔐: зашифрованное хранение учётных данных

Безопасность 🔐

Безопасность агента 🛡️

• Правила привязки предотвращают спекуляции LLM — цитируйте источники или молчите
• Принудительный stealth-режим блокирует активные инструменты зондирования, когда включен
• Проверка ввода всех параметров инструментов перед выполнением
• Лимиты контекста предотвращают инъекции через переполнение токенов

Изоляция контейнеров 🐳🔒

• Фиксация дайджеста SHA256 предотвращает подмену образа ✅
• Эфемерный жизненный цикл — контейнеры уничтожаются сразу после выполнения 🌪️
• Лимиты ресурсов (768 МБ RAM, 50% CPU, 64 PID) 🚦
• Сетевая изоляция с настраиваемой поддержкой DNS и прокси 🌐
• Выполнение не от root (UID/GID 65534:65534) 👥

Безопасность плагинов 🛡️

• Статический анализ обнаруживает eval(), exec(), os.system() и инъекции в shell 🚨
• Двухуровневая модель доверия разделяет плагины инструментов и плагины ядра 🏛️
• Объявления возможностей явно определяют необходимые разрешения 📋

Форматы вывода 📄

Hermes генерирует отчёты в нескольких форматах через /export — ваши данные, как вам удобно! 🎨

📦 JSON — структурированные данные для программного использования

📝 Markdown — чистый, совместимый с GitHub формат с таблицами

🌐 HTML — адаптивный дизайн со встроенными CSS и статистикой

📄 PDF — профессиональное форматирование с исполнительным резюме

📊 CSV — простой табличный формат для импорта в электронные таблицы

🔒 STIX 2.1 — отраслевой стандарт формата киберразведки

Лицензия ⚖️

AGPL-3.0 (Community Edition) 🆓

Hermes OSINT распространяется под лицензией GNU Affero General Public License v3.0.

Что это значит: 💡

• ✅ Бесплатно для личного и коммерческого использования
• ✅ Открытый исходный код — просматривайте, изменяйте и распространяйте код
• ✅ Copyleft — модификации также должны быть с открытым исходным кодом под AGPL-3.0
• ⚠️ Использование в сети = Распространение — если вы запускаете Hermes как сервис, вы должны делиться своим исходным кодом

Полные условия см. в файле LICENSE.

Варианты использования 💼

🔍 Исследования в области безопасности — расследуйте угрозы с помощью запросов на естественном языке

🤝 Дью-дилидженс — «Расскажи мне всё об этом человеке/компании»

👣 Анализ цифрового следа — поймите, насколько ваша организация раскрыта

📈 Конкурентная разведка — изучайте конкурентов в диалоге

🎯 Киберразведка — собирайте индикаторы с помощью ИИ-триажа

📰 Журналистские расследования — пусть Hermes соединяет точки

Юридическое и этическое предупреждение ⚖️

Только для авторизованной OSINT-деятельности. ⚠️ Пользователи несут полную ответственность за получение надлежащего разрешения, соблюдение применимых законов и этичное использование этого инструмента.

Разрешённое использование: ✅

• Сбор общедоступной информации
• Авторизованные оценки безопасности
• Анализ личного цифрового следа
• Соблюдение местных законов и нормативных актов

Запрещённое использование: 🚫

• Преследование, слежка или запугивание
• Попытки несанкционированного доступа
• Нарушение законов о конфиденциальности
• Нарушение условий использования платформ

Разработчики не несут ответственности за неправомерное использование этого инструмента. 🙅‍♂️

Вклад 🤝

Вклад приветствуется! 🎉 Пожалуйста, ознакомьтесь с PLUGIN_DEVELOPMENT.md для получения рекомендаций по созданию плагинов и USAGE.md для подробной документации по использованию.

Есть идеи? Нашли баги? Хотите добавить инструмент? Откройте issue или отправьте PR! 💪

Автор ✍️

Isaiah Myles (@Expert21)

Начинающий специалист по кибербезопасности | Мышление пентестера | Создатель значимых инструментов 🛠️⚡

• 🐛 Проблемы: GitHub Issues
• 📧 Email: [email protected]