CORE-Emulator

Der Common Open Research Emulator CORE ist ein Werkzeug zum Emulieren von Netzwerken auf einer oder mehreren Maschinen. Sie können diese emulierten Netzwerke mit Live-Netzwerken verbinden. CORE besteht aus einer GUI zum Zeichnen von Topologien aus leichtgewichtigen virtuellen Maschinen und Python-Modulen zum Skripten der Netzwerkemulation.

Netzwerktopologie

Der Datensatz wurde basierend auf der GEANT-2012-Netzwerktopologie erstellt, die von The Internet Topology Zoo bezogen wurde. Diese reale Topologie repräsentiert eine großflächige Netzwerkinfrastruktur ähnlich der von Internetdienstanbietern (ISPs) mit 40 Knoten, die jeweils primäre Router darstellen, die bestimmte Standorte oder Funktionen bedienen. Die Topologie wurde im Common Open Research Emulator (CORE) repliziert, wo Netzwerkverkehrsdaten von zehn strategisch ausgewählten Routerknoten gesammelt wurden, bezeichnet als {D1, D2, D3, ..., D10}, wie in der folgenden Abbildung zu sehen. Diese Knoten decken verschiedene Teile des Netzwerks ab und wurden ausgewählt, um einen vielfältigen und realistischen Datensatz zu liefern.

Netzwerkangriff und Simulation

FLNET2023 enthält eine breite Mischung aus normalem und bösartigem Netzwerkverkehr und bietet eine realistische Sicht auf Netzwerkinteraktionen. Der Datensatz erstreckt sich über mehrere Arten gängiger Netzwerkprotokolle wie HTTP, TCP, UDP und ICMP.

Beschrifteter Datensatz

Jede Instanz in FLNET2023 ist sorgfältig beschriftet und bietet wertvolle Informationen über den Netzwerkfluss, den sie repräsentiert. Die Beschriftungen geben nicht nur an, ob eine bestimmte Instanz normal oder bösartig ist, sondern auch spezifische Details zur Art des Angriffs, falls vorhanden. Diese Beschriftungen vereinfachen die Aufgabe des Trainings und Testens von Intrusion-Detection-Modellen erheblich.

Angriffsvielfalt

Der FLNET2023-Datensatz enthält prominent vier Arten von DDoS-Angriffen – DDoS-dyn, DDoS-stomp, DDoS-bot und DDoS-tcp – die häufig in realen Netzwerkszenarien beobachtet werden. In dem Bewusstsein, dass Bedrohungen in einer Netzwerkumgebung über DDoS hinausgehen, enthält unser Datensatz eine Vielzahl anderer Angriffsarten wie DoS-slowhttp und Infiltration-mitm. Er umfasst auch webbasierte Angriffe, darunter Command Injection, XSS und SQL Injection. Die Einbeziehung dieser verschiedenen Angriffsarten erhöht die Realitätsnähe des Datensatzes und stellt seine Übereinstimmung mit tatsächlichen Netzwerkbedrohungslandschaften sicher.

Merkmalssatz

Der FLNET2023-Datensatz bietet einen umfangreichen Merkmalssatz, der detaillierte Informationen zu jedem Netzwerkfluss liefert. Diese Merkmale umfassen unter anderem Quell- und Ziel-IP-Adressen, Portnummern, Paketlängen und Zeitstempel. Die Merkmale werden mit dem CICFLOWMeter-Tool extrahiert. Zusätzlich haben wir die PCAP-Dateien bereitgestellt, falls Sie Ihr eigenes Merkmalsextraktionstool verwenden möchten.

Metadaten

FLNET2023 enthält umfangreiche Metadaten zu jeder Instanz, die zusätzlichen Kontext bieten und bei der Dateninterpretation helfen. Die Metadaten umfassen Details zu den Routern und ihren IP-Adressen, die entscheidende Informationen für ein umfassendes Verständnis des Datensatzes sowie für die effektive Entwicklung und Evaluierung von Intrusion-Detection-Modellen sind.

Datensatzorganisation

Der Datensatz ist in Ordner unterteilt, die auf verschiedenen Arten von Netzwerkangriffen und normalem Verkehr basieren. Jede Angriffsart sowie der normale Verkehr haben einen eigenen Ordner, der entsprechend benannt ist: DDoS, DoS, Infiltration, Normal, Web und TEST.

Innerhalb jedes dieser Ordner gibt es zwei Unterordner: CSV und PCAP.

• CSV-Ordner: Dieser Ordner enthält die für jeden Client im CSV-Format gesammelten Daten. Jede Datei ist nach dem Schema Dataset-<ClientNumber>-<TrafficType>.csv benannt. Zum Beispiel:

  • Dataset-10-TCP.csv: Diese Datei enthält die TCP-Verkehrsdaten für Client 10.
  • Dataset-1-BOT.csv: Diese Datei enthält die BOT-Verkehrsdaten für Client 1.

  In einigen Ordnern, in denen es nur eine Angriffsart gibt, wird der Datensatz nach dem Schema Dataset-<ClientNumber>.csv ohne Angabe der Verkehrsart benannt. Zum Beispiel:

  • /Infiltration/CSV/Dataset-1.csv: Diese Datei enthält die Infiltrationsangriffsdaten für Client 1.

• PCAP-Ordner: Dieser Ordner enthält die entsprechenden Paketerfassungsdateien (PCAP) für jeden Client, die ähnlich wie die CSV-Dateien benannt sind. Zum Beispiel:

  • Dataset-10-TCP.pcap: Diese Datei enthält die Paketerfassungsdaten für den TCP-Verkehr von Client 10.
  • Dataset-1-BOT.pcap: Diese Datei enthält die Paketerfassungsdaten für den BOT-Verkehr von Client 1.

Datenerfassungspunkte

Die Datenpunkte im FLNET2023-Datensatz werden von mehreren eindeutigen Knoten innerhalb der Netzwerktopologie gesammelt, was eine abgerundete Perspektive der Netzwerkaktivität bietet. Diese Erfassungspunkte umfassen verschiedene Serverknoten und Routerknoten, die jeweils zur Vielfalt und Tiefe des Datensatzes beitragen. Die Erfassungspunkte wurden mit der Absicht ausgewählt, einen Datensatz zu generieren, der ein breites Spektrum an Netzwerkinteraktionen widerspiegelt. Die IP-Adressen der Datenerfassungspunkte sind in der folgenden Tabelle aufgeführt.

Andere Routerknoten

Zusätzlich zu den Datenerfassungspunkten enthält FLNET2023 eine Vielzahl weiterer Routerknoten, die die Realitätsnähe und Komplexität der Netzwerktopologie erhöhen. Diese Routerknoten spielen eine entscheidende Rolle bei der Lenkung des Netzwerkverkehrs und der Simulation realer Netzwerküberlastungs- und Routing-Szenarien. Ihre Einbeziehung in die Topologie hilft, eine authentischere Netzwerkumgebung darzustellen, und führt zu zusätzlichen Herausforderungen für die Intrusion Detection. Die IP-Adressen der anderen Routerknoten sind in der folgenden Tabelle aufgeführt.

So verwenden Sie den Datensatz

Befolgen Sie die nachstehenden Schritte, um den Datensatz effektiv zum Trainieren und Testen Ihrer Maschinenlernmodelle zu verwenden:

1. Laden Sie den Datensatz herunter: Laden Sie den Datensatz von dem oben bereitgestellten Link herunter.
2. Navigieren in den Ordnern: Wählen Sie den Ordner, der der Verkehrs- oder Angriffsart entspricht, die Sie interessiert (z.B. DDoS, DoS, Infiltration, Normal, Web, TEST).
3. Vorbereiten der Trainingsdaten:
   • Navigieren Sie zum CSV-Ordner innerhalb der ausgewählten Verkehrsart.
   • Wählen Sie die entsprechenden CSV-Dateien für die Clients aus, die Sie in den Trainingssatz aufnehmen möchten.
   • Um beispielsweise TCP-Verkehrsdaten für Client 10 im Ordner DDoS einzubeziehen, navigieren Sie zu DDoS/CSV/Dataset-10-TCP.csv.
   • Um normalen Verkehr einzubeziehen, navigieren Sie zu Normal/CSV/Dataset-10.csv.
   • Laden Sie die CSV-Dateien in Ihr bevorzugtes Datenanalysetool (z.B. Python mit pandas).
   • Kombinieren Sie bei Bedarf Daten von mehreren Clients. Beispielsweise können Sie lokale Daten für die Clients 1 bis 10 kombinieren.
4. Trainieren des Modells:
   • Trainieren Sie Ihr Maschinenlernmodell mit dem Trainingssatz.
   • In einem Föderierten-Lernen-Setup werden lokale Modelle auf den Daten jedes Clients trainiert, und dann werden die Modelle aggregiert, um ein globales Modell zu bilden.
5. Testen des globalen Modells:
   • Wir haben die Testdaten für jede Beschriftung bereitgestellt.
   • Kombinieren Sie diese Daten, um Ihren Testsatz für das globale Modell zu bilden.
   • Navigieren Sie zum Ordner TEST.
   • Gehen Sie innerhalb von TEST zum Ordner CSV und wählen Sie die Test-CSV-Dateien aus.
   • Zum Beispiel enthält TEST/CSV/slowHTTP.csv die Slow-HTTP-Testdaten.
   • Laden Sie die Test-CSV-Dateien in Ihr Datenanalysetool.
   • Evaluieren Sie das globale Modell mit dem kombinierten Testsatz.

Lizenz

Der FLNET2023-Datensatz besteht aus beschrifteten Netzwerkflüssen einschließlich der vollständigen Paketnutzlast im pcap-Format. Darüber hinaus sind zugehörige Profile, beschriftete Flüsse und CSV-Dateien, die für Föderiertes Lernen optimiert sind, öffentlich für Forscher zugänglich. Er ist öffentlich verfügbar, um weitere Fortschritte im Bereich der Intrusion Detection zu ermöglichen. Wenn Sie beabsichtigen, unseren Datensatz in Ihrer Arbeit zu verwenden, bitten wir Sie, unser zugehöriges Paper zu zitieren.