nightHawk Response

Пользовательское приложение для асинхронного представления криминалистических данных на базе Elasticsearch.
Это приложение предназначено для загрузки файла "коллекций" Mandiant Redline и предоставления гибкости в поиске/накоплении и тегировании.

Приложение родилось из-за невозможности контролировать несколько расследований (или сотен конечных точек) в едином окне.

Для загрузки аудитов Redline мы создали nightHawkResponse — полноценное приложение на GOpher, созданное для работы с этим фреймворком. Исходный код приложения доступен в этом репозитории, скомпилированный бинарник уже запущен внутри ISO и готов к загрузке с первого запуска.

Версия 2.0 — ориентировочно март 2020

В настоящее время мы разрабатываем новую крупную версию и планируем выпустить её к марту 2020 года. Новая версия нацелена на выполнение следующих задач.

• Установка на основе Docker (с руководствами/конфигами для развёртывания в Kubernetes/Cloud/Local) (в работе)
• Переписанный UI на React. Упрощён до основных функций и ничего лишнего. (в работе)
• Прогрессивная и возобновляемая загрузка триажа (ГОТОВО)
• Плагин nightHawkResponse для Kibana (в работе)
• Упрощённая кодовая база с модульными тестами (в работе)
• Упрощённая среда разработки CI/CD (в работе)

Мы поняли, что для эффективной работы всего репозитория, управления сущностями и поддержания всего в актуальном состоянии было слишком много движущихся частей. Мы также считаем, что основные данные, хранящиеся в Elastic, должны более эффективно использоваться Kibana, поэтому мы решили воплотить это в реальность, разработав плагин, который делает это вместе с удивительным рабочим процессом Kibana.

Версия 1.0.4

Установка

• Версия 1.0.4 работает на любой Ubuntu x64 (мы тестировали на Ubuntu 16.04LTS)
  
• Обновите Ubuntu до последнего патча
  
• Скачайте релиз nhr-1.0.4.tar.gz
  
• Распакуйте nhr-1.0.4.tar.gz
  
• Перейдите в каталог nhr-1.0.4
  
• Сделайте nhr-setup.sh исполняемым (chmod +x nhr-setup.sh)
  
• Установите зависимости и пакеты nightHawk Response (sudo ./nhr-setup.sh install)
  Примечание: Во время установки требуется доступ в интернет.
  
• Первоначальная установка может не создать индекс Elasticsearch. Если это произойдёт, повторите (sudo ./nhr-setup.sh install)
  
• Проверьте, что все компоненты запущены
  ---- sudo systemctl status elasticsearch
  ---- sudo systemctl status kibana
  ---- sudo systemctl status rabbitmq-server
  ---- sudo systemctl status nginx
  ---- sudo systemctl status nighthawk-api
  ---- sudo systemctl status nighthawk-worker
  
• Вы можете получить доступ, перейдя по ссылке https://ipaddress
  
• Имя пользователя и пароль по умолчанию: admin/admin
  
  

Документация по API будет позже в Wiki

01/09/2016: Версия 1.0.3

• Добавлен контекст пользователя и учётные записи (вход с nighthawk/nighthawk), см. статью в wiki
  
• Добавлена статистика платформы и информация о загрузке через websockets
  
• Добавлено удаление случаев, удаление конечных точек, удаление конечных точек из случаев
  
• Добавлен раздел workflow задач через websocket, см. руководство в wiki
  
• Комментарии/Теги теперь являются расширяемыми объектами с подсветкой
  
• Комментарии теперь являются оповещениями через websocket, см. заметки в wiki
  
• Исправлена ошибка CaseName = имя конечной точки
  
• Исправлены заархивированные аудиты с Mac/Windows/Linux
  
• Улучшен адаптивный дизайн
  
• Добавлен w32system как тип аудита
  

Возможности:

Видеодемонстрация: Платформа nightHawk Response

1. Криминалистика конечных точек в едином представлении (несколько типов аудита).
   
2. Глобальный поиск.
   
3. Построение временной шкалы.
   
4. Накопление (stacking).
   
5. Тегирование.
   
6. Интерактивное дерево процессов.
   
7. Загрузка нескольких файлов и именованные расследования.
   

ISO nightHawk

Чтобы упростить использование nightHawk, мы создали ISO со всем предварительно настроенным. То есть вы получаете следующее:

1. Последний исходный код nightHawk.
   
2. CentOS 7 Minimal с основными библиотеками, необходимыми для работы nightHawk.
   
3. Nginx и UWSGI, настроенные в reverse proxy (сокеты и оптимизация), включён SSL.
   
4. Последние Elasticsearch/Kibana (Kibana доступна и может использоваться при желании).
   
5. Sysctrl для всех основных служб.
   
6. Логирование (ротация) для всех основных служб.
   
7. Настраиваемые параметры системы, список которых можно найти в файле /opt/nighthawk/etc/nightHawk.json.
   

Запуск системы:

Перед созданием виртуальной машины с предоставленным ISO учтите следующее:

1. CPU/RAM.

Ожидается: Настройка службы Elastic в виде двух узлов с 1/4 выделенной системной памяти на узел. Это означает, что если вы дадите 2 ГБ ОЗУ, каждый узел ES получит 512 МБ, а в системе останется 1 ГБ для работы.

Если вы хотите настроить иначе, зайдите по SSH и настройте как вам удобно.

2. HDD.

Минимум 20 ГБ. Файл аудита может быть большим, поэтому рекомендуется выделить много места для обработки большого количества коллекций.

Ожидается: Настройка хранилища на основе пользователя для крупномасштабных инсталляций. Если вы хотите создать дополнительные разделы, вы можете сделать это самостоятельно, внеся изменения в конфигурацию для указания хранилища данных ES на новый раздел.

Установка:

Скачать ISO: nightHawk v1.0.3

Настройте оборудование, смонтируйте ISO в виртуальную машину, запустите скрипт установки.

После завершения в вашем браузере (Chrome/FireFox) перейдите по адресу https://192.168.42.173.

Войдите в систему с 'nighthawk/nighthawk' - нажмите "goto site", чтобы войти в приложение.

Если вам нужен доступ к Kibana, перейдите по адресу https://192.168.42.173:8443.

Если вам нужно подключиться по SSH, данные для входа: admin/nightHawk.

Если вы хотите изменить IP-адрес (отражается во всём приложении): /opt/nighthawk/bin/nighthawkctl set-ip <новый_ip_адрес>

Скрипт сбора аудитов Redline можно найти в корне этого репозитория. Используйте его при использовании автономного сборщика Redline, так как он вернёт документы, необходимые для правильного заполнения nightHawk.

Загрузка:

ВАЖНО: Создание zip-файла аудита для загрузки (Автономный сборщик Redline):
шаг_1: Перейдите в Sessions\AnalysisSessionX\Audits<ComputerName>, где X — номер анализа, обычно 1.
шаг_2: Создайте zip-архив папки, содержащей файлы аудита, например 20160708085733
шаг_3: Загрузите 20160708085733.zip

ВАЖНО: Используйте существующий аудит HX (Сборщик HX): Аудиты FireEye HX имеют расширение .mans. Аудит от HX отличается от сборщика Redline, потому что возвращаемый файл .mans на самом деле является zip-архивом. Это означает, что его можно загрузить напрямую, в отличие от аудита Redline, для которого нужно следовать инструкциям выше.

Перейдите к иконке "Upload" на панели навигации, выберите один или несколько zip-файлов аудита, укажите имя случая (иначе система предложит своё) и отправьте. Если вы использовали наш скрипт аудита Redline для создания коллекции, следуйте инструкциям "Redline Collector" чуть выше.

После обработки конечная точка появится в узле дерева "Current Investigations". Под конечной точкой будут представлены все доступные типы аудита для этой конечной точки. Функция загрузки этого веб-приложения запускает подпроцессы pOpen, которые вызывают приложение GO для разбора аудита Redline и отправки данных в Elasticsearch. Есть два варианта загрузки: последовательный и параллельный.