RITA (Real Intelligence Threat Analytics) в Jupyter Notebook

RITA — это фреймворк с открытым исходным кодом для анализа сетевого трафика, спонсируемый Active Countermeasures

RITA-J — это реализация функций RITA в Jupyter Notebook. Цель — поддержка всех типов журналов Firewall/Proxy/DNS в форматах CSV, TSV или JSON, а также упрощение анализа, охоты и обнаружения потенциальной C2-активности без установки дополнительного оборудования и других компонентов для обслуживания.

---

Пример набора данных был предоставлен Али Альвашали (@ali_alwashali). Он содержит:

• логи Zeek из PCAP-файлов malware-traffic-analysis.net, с 2013 по 2021 год
• оповещения Suricata, сработавшие при анализе PCAP

Возможности

• Обнаружение Beaconing: поиск признаков beacon-поведения внутри и за пределами вашей сети
• Обнаружение DNS-туннелирования: поиск признаков скрытых каналов на основе DNS (В ПЛАНАХ)
• Проверка по черным спискам: запросы к черным спискам для поиска подозрительных доменов и хостов (В ПЛАНАХ)
• Будет добавлено больше функций

Требования

Журналы Firewall/Proxy в формате CSV или JSON. Если журналы не распарсены, перед анализом требуется их разбор.
Ноутбук(и) поддерживают CSV-файлы. JSON требует ручного сопоставления. Некоторые полезные ресурсы для чтения и разбора JSON-файлов:

• https://www.w3schools.com/python/pandas/pandas_json.asp
• https://towardsdatascience.com/how-to-parse-json-data-with-python-pandas-f84fbd0b1025
• https://towardsdatascience.com/how-to-convert-json-into-a-pandas-dataframe-100b2ae1e0d8
• https://www.scaler.com/topics/how-to-open-json-file-in-python/

Получение журналов и работа с различными форматами журналов

Существует несколько способов получения журналов.

• Чтение из SIEM / БД / API
  • https://infosecjupyterthon.com/workshops/day1/day1-2-Acquiring-data.html
• Экспорт журналов из SIEM в CSV/JSON
• Отправка журналов на сервер/коннектор Syslog -> разбор -> экспорт в CSV/JSON файл
• Экспорт журналов напрямую в файл с последующим преобразованием в CSV/JSON

Пример преобразования журналов Fortinet:
https://github.com/lucky-luk3/Infosec_Notebooks/blob/main/Forti_VPN_Logs_Analysis-Public.ipynb

Конвертер CSV-журналов Fortinet

Приведенный ниже скрипт может работать со всеми файлами журналов, в которых используется ведение журнала в формате «ключ-значение».
https://github.com/N4SOC/fortilogcsv

Установка

Будет добавлено

Как использовать

Будет добавлено