logdata-anomaly-miner

Dieses Tool analysiert Logdaten und ermöglicht die Definition von Analyse-Pipelines zur Anomalieerkennung. Es wurde entwickelt, um die Analyse mit begrenzten Ressourcen und möglichst niedrigen Berechtigungen durchzuführen, damit es für den Einsatz auf Produktionsservern geeignet ist.

Anforderungen

Zur Installation von logdata-anomaly-miner wird ein Linux-System mit Python >= 3.6 benötigt. Alle Ubuntu- und Debian-Versionen, die wir in den Tests haben, werden derzeit empfohlen. Es gibt nur experimentelle Unterstützung für Fedora. Genauer gesagt umfassen die getesteten Systeme Debian Buster, Debian Bullseye, Debian Bookworm, Ubuntu 20.04, Ubuntu 22.04, Fedora (Docker-Image fedora:latest) und RedHat (Docker-Image redhat/ubi9).

Siehe requirements.txt für weitere Modulabhängigkeiten

Installation

Debian

Es gibt Debian-Pakete für logdata-anomaly-miner in den offiziellen Debian/Ubuntu-Repositorien.

apt-get update && apt-get install logdata-anomaly-miner

Aus dem Quellcode

Der folgende Befehl installiert die neueste stabile Version:

cd $HOME
wget https://raw.githubusercontent.com/ait-aecid/logdata-anomaly-miner/main/scripts/aminer_install.sh
chmod +x aminer_install.sh
./aminer_install.sh

Docker

Für die Installation mit Docker siehe: Bereitstellung mit Docker

Erste Schritte

Hier sind einige Ressourcen, die Sie lesen können, um mit der Konfiguration zu beginnen:

• Erste Schritte (Tutorial)
• Einige verfügbare Konfigurationen
• Dokumentation
• Wiki

Veröffentlichungen

Veröffentlichungen und Vorträge:

• Landauer M., Wurzenberger M., Skopik F., Hotwagner W., Höld G. (2023): AMiner: A Modular Log Data Analysis Pipeline for Anomaly-based Intrusion Detection. Digital Threats: Research and Practice, Volume 4, Issue 1. March 2023, pp. 1–16, ACM. [PDF]
• Wurzenberger M., Skopik F., Settanni G., Fiedler R. (2018): AECID: A Self-learning Anomaly Detection Approach Based on Light-weight Log Parser Models. 4th International Conference on Information Systems Security and Privacy (ICISSP 2018), January 22-24, 2018, Funchal, Madeira - Portugal. INSTICC. [PDF]
• Wurzenberger M., Landauer M., Skopik F., Kastner W. (2019): AECID-PG: AECID-PG: A Tree-Based Log Parser Generator To Enable Log Analysis. 4th IEEE/IFIP International Workshop on Analytics for Network and Service Management (AnNet 2019) in conjunction with the IFIP/IEEE International Symposium on Integrated Network Management (IM), April 8, 2019, Washington D.C., USA. IEEE. [PDF]
• Landauer M., Skopik F., Wurzenberger M., Hotwagner W., Rauber A. (2019): A Framework for Cyber Threat Intelligence Extraction from Raw Log Data. International Workshop on Big Data Analytics for Cyber Threat Hunting (CyberHunt 2019) in conjunction with the IEEE International Conference on Big Data 2019, December 9-12, 2019, Los Angeles, CA, USA. IEEE. [PDF]

Eine vollständige Liste der Veröffentlichungen finden Sie unter https://aecid.ait.ac.at/further-information/.

Beitrag

Wir freuen uns über Patches und andere Beiträge. Bitte lesen Sie die folgenden Links für einen Einstieg:

• Einrichtung einer Entwicklungsumgebung
• Git-Entwicklungsworkflow

Fehler

Wenn Sie auf Fehler stoßen, erstellen Sie bitte ein Issue auf Github.

Sicherheit

Wenn Sie sicherheitsrelevante Probleme entdecken, lesen Sie zuerst die SECURITY.md und melden Sie die Probleme.

Lizenz

GPL-3.0

Finanzielle Unterstützung

Dieses Projekt erhielt finanzielle Unterstützung durch die Forschungsprojekte CAIS (832345), CIIS (840842) und CISA (850199) im Rahmen des österreichischen KIRAS-Sicherheitsforschungsprogramms, die Forschungsprojekte synERGY (855457) und DECEPT (873980) im Rahmen des Programms „IKT der Zukunft“ der Österreichischen Forschungsförderungsgesellschaft (FFG), das Forschungsprojekt PANDORA (SI2.835928) im Rahmen des Europäischen Programms für die Entwicklung der Verteidigungsindustrie (EDIDP) sowie die Forschungsprojekte ECOSSIAN (607577) und GUARD (833456) im Rahmen des Siebten Rahmenprogramms (FP7) und Horizont 2020 der Europäischen Union.