logdata-anomaly-miner

Этот инструмент анализирует журналы (логи) и позволяет задавать конвейеры анализа для обнаружения аномалий. Он разработан для выполнения анализа с ограниченными ресурсами и минимально возможными правами доступа, что делает его подходящим для использования на производственных серверах.

Требования

Для установки logdata-anomaly-miner требуется система Linux с python >= 3.6. Рекомендуются все версии Ubuntu и Debian, которые используются в тестах. Поддержка Fedora носит экспериментальный характер. Более конкретно, протестированные системы включают Debian Buster, Debian Bullseye, Debian Bookworm, Ubuntu 20.04, Ubuntu 22.04, Fedora (docker-образ fedora:latest) и RedHat (docker-образ redhat/ubi9).

См. requirements.txt для зависимостей дополнительных модулей

Установка

Debian

Пакеты Debian для logdata-anomaly-miner доступны в официальных репозиториях Debian/Ubuntu.

apt-get update && apt-get install logdata-anomaly-miner

Из исходного кода

Следующая команда установит последний стабильный релиз:

cd $HOME
wget https://raw.githubusercontent.com/ait-aecid/logdata-anomaly-miner/main/scripts/aminer_install.sh
chmod +x aminer_install.sh
./aminer_install.sh

Docker

Для установки с помощью Docker см.: Deployment with Docker

Начало работы

Вот некоторые ресурсы для чтения, чтобы начать работу с конфигурациями:

• Начало работы
• Некоторые доступные конфигурации
• Документация
• Вики

Публикации

Публикации и доклады:

• Landauer M., Wurzenberger M., Skopik F., Hotwagner W., Höld G. (2023): AMiner: A Modular Log Data Analysis Pipeline for Anomaly-based Intrusion Detection. Digital Threats: Research and Practice, Volume 4, Issue 1. March 2023, pp. 1–16, ACM. [PDF]
• Wurzenberger M., Skopik F., Settanni G., Fiedler R. (2018): AECID: A Self-learning Anomaly Detection Approach Based on Light-weight Log Parser Models. 4th International Conference on Information Systems Security and Privacy (ICISSP 2018), January 22-24, 2018, Funchal, Madeira - Portugal. INSTICC. [PDF]
• Wurzenberger M., Landauer M., Skopik F., Kastner W. (2019): AECID-PG: AECID-PG: A Tree-Based Log Parser Generator To Enable Log Analysis. 4th IEEE/IFIP International Workshop on Analytics for Network and Service Management (AnNet 2019) in conjunction with the IFIP/IEEE International Symposium on Integrated Network Management (IM), April 8, 2019, Washington D.C., USA. IEEE. [PDF]
• Landauer M., Skopik F., Wurzenberger M., Hotwagner W., Rauber A. (2019): A Framework for Cyber Threat Intelligence Extraction from Raw Log Data. International Workshop on Big Data Analytics for Cyber Threat Hunting (CyberHunt 2019) in conjunction with the IEEE International Conference on Big Data 2019, December 9-12, 2019, Los Angeles, CA, USA. IEEE. [PDF]

Полный список публикаций можно найти на https://aecid.ait.ac.at/further-information/.

Вклад

Мы с радостью принимаем патчи и другие вклады. Ознакомьтесь со следующими ссылками, чтобы начать:

• Как установить среду разработки
• Рабочий процесс разработки Git

Ошибки

Если вы обнаружили ошибки, пожалуйста, создайте issue на Github.

Безопасность

Если вы обнаружили проблемы, связанные с безопасностью, сначала прочитайте SECURITY.md и сообщите о них.

Лицензия

GPL-3.0

Финансовая поддержка

Этот проект получил финансовую поддержку в рамках исследовательских проектов CAIS (832345), CIIS (840842) и CISA (850199) в ходе австрийской программы исследований в области безопасности KIRAS, исследовательских проектов synERGY (855457) и DECEPT (873980) в рамках программы ICT of the future Австрийского агентства по продвижению исследований (FFG), исследовательского проекта PANDORA (SI2.835928) в рамках Европейской программы развития оборонной промышленности (EDIDP), а также исследовательских проектов ECOSSIAN (607577) и GUARD (833456) в рамках Седьмой рамочной программы Европейского союза (FP7) и Horizon 2020.