inquest/omnibusOSINT Omnibus (бета-версия)
Omnibus определяется как «сборник, содержащий несколько романов или других произведений, ранее опубликованных по отдельности» – именно таким и должен быть проект InQuest Omnibus для сбора разведданных из открытых источников, исследований и управления артефактами.
Предоставляя простое в использовании интерактивное консольное приложение, пользователи могут создавать сессии для исследования различных артефактов, таких как IP-адреса, доменные имена, адреса электронной почты, имена пользователей, хеши файлов, биткойн-адреса и другие (список постоянно расширяется).
Этот проект черпал вдохновение из замечательных инструментов, созданных ранее: SpiderFoot, Harpoon и DataSploit. Большое спасибо авторам этих проектов за их вклад в мир открытого кода.
Приложение написано на Python 2.7 и успешно протестировано в средах OSX и Ubuntu 16.04.
Это бета-версия финального приложения, поэтому возможны некоторые ошибки или неожиданное поведение при использовании. В целом Omnibus полностью функционален и может быть немедленно использован для проведения OSINT-расследований.
Omnibus построен модульным образом, что позволяет легко добавлять модули источников OSINT-данных и модули импорта/экспорта. Каждый модуль определённой категории помещается в отдельный каталог, и, добавив несколько строк кода, ваш модуль может стать следующим!
По мере расширения Wiki будут появляться полные примеры написания собственных плагинов.
Если вы заметили какие-либо ошибки или другие проблемы, пожалуйста, создайте Issue и/или Pull Request. Мы также будем рады помощи сообщества в создании новых модулей и расширении вариантов использования Omnibus. Форки и Pull Requests для новых функций приветствуются!
Этот README-файл служит кратким обзором Omnibus и его возможностей. Полная документация находится в папке docs этого репозитория.
Прежде чем мы начнём, необходимо разобраться с некоторыми терминами, используемыми Omnibus.
new или обнаружены в ходе выполнения модуля.Запуск Omnibus для исследования так же прост, как клонирование этого GitHub-репозитория, установка Python-зависимостей с помощью pip install -r requirements.txt и выполнение python omnibus-cli.py.
Оболочка Omnibus – главный экран запуска
Для визуального ознакомления с CLI на изображении выше показана консоль Omnibus после запуска новой сессии, добавления 2 артефактов в сессию и отображения меню help.
Вы должны указать все ключи API, которые планируете использовать в модулях, в файле omnibus/etc/apikeys.json.
Этот файл представляет собой JSON-документ с заполнителями для всех сервисов, требующих ключи API. Omnibus обращается к нему для каждого модуля, чтобы получить конкретный ключ API, необходимый модулю для выполнения.
Следует отметить, что большинство сервисов, требующих ключи API, предоставляют бесплатные аккаунты и ключи. Бесплатные аккаунты могут иметь низкие лимиты ресурсов, но это не было проблемой при небольших ежедневных исследованиях или тестировании приложения.
Полезный совет: Используйте команду cat apikeys, чтобы просмотреть, какие ключи у вас сохранены.
Если модули не работают или не возвращают результаты, сначала проверьте здесь, чтобы убедиться, что ваш API-ключ правильно сохранён.
При первом запуске CLI вас встретит меню помощи с базовой информацией.
Omnibus старается использовать команды, напоминающие распространённые команды Linux, для удобства и простоты. Например, команда cat для отображения информации об артефакте, rm для удаления артефакта из базы данных, ls для просмотра текущих артефактов сессии, а также поддержка перенаправления вывода для любой команды с помощью символа >.
В качестве примера перенаправления вывода: если вы хотите получить подробную информацию об артефакте с именем "inquest.net" и сохранить её в JSON-файл на локальном диске, просто выполните команду:
cat inquest.net > inquest-report.json – и готово!
Эта функция также работает с полными путями к файлам вместо относительных.
Наиболее часто используемые команды высокого уровня в Omnibus:
session
new <имя артефакта>
modules
open <путь к файлу>
ls
rm
wipe
cat <имя артефакта | ID сессии>
<имя модуля> <имя артефакта | ID сессии>
<имя машины> <имя артефакта | ID сессии>
Если вам когда-либо понадобится быстрая справка по различным командам для разных областей приложения, существуют подменю помощи именно для этой цели. Использование этих команд покажет только те команды, которые доступны для конкретной области:
general
artifacts
sessions
modules
Большинство киберрасследований начинаются с одного или нескольких технических индикаторов, таких как IP-адрес, хеш файла или адрес электронной почты. После поиска и анализа начинают формироваться взаимосвязи, и вы можете переключаться между связанными точками данных. Эти точки данных называются артефактами в Omnibus и представляют собой любой элемент, который вы хотите исследовать.