nsol-nmsu/fml-network
FLNET2023 ist ein Datensatz, der für die Intrusion Detection in Federated-Learning-Szenarien entwickelt wurde. Er wurde mit dem CORE-Emulator erstellt und simuliert ein realistisches Netzwerk mit vielfältigem Datenverkehr und Angriffen. Er dient als Benchmark für die Forschung im Bereich der Federated-Learning-basierten Intrusion Detection.
FLNET2023 ist ein hochmoderner Benchmark-Datensatz für Intrusion-Detection-Systeme, speziell für Anwendungen des Föderierten Lernens. Erzeugt mit dem CORE-Emulator, umfasst er eine realistische Netzwerktopologie und eine vielfältige Palette von Verkehrs- und Angriffsarten. FLNET2023 soll robuste Forschung im Bereich der netzwerkbasierten Intrusion Detection auf Basis von Föderiertem Lernen fördern.
Der Common Open Research Emulator CORE ist ein Werkzeug zum Emulieren von Netzwerken auf einer oder mehreren Maschinen. Sie können diese emulierten Netzwerke mit Live-Netzwerken verbinden. CORE besteht aus einer GUI zum Zeichnen von Topologien aus leichtgewichtigen virtuellen Maschinen und Python-Modulen zum Skripten der Netzwerkemulation.
Der Datensatz wurde basierend auf der GEANT-2012-Netzwerktopologie erstellt, die von The Internet Topology Zoo bezogen wurde. Diese reale Topologie repräsentiert eine großflächige Netzwerkinfrastruktur ähnlich der von Internetdienstanbietern (ISPs) mit 40 Knoten, die jeweils primäre Router darstellen, die bestimmte Standorte oder Funktionen bedienen. Die Topologie wurde im Common Open Research Emulator (CORE) repliziert, wo Netzwerkverkehrsdaten von zehn strategisch ausgewählten Routerknoten gesammelt wurden, bezeichnet als {D1, D2, D3, ..., D10}, wie in der folgenden Abbildung zu sehen. Diese Knoten decken verschiedene Teile des Netzwerks ab und wurden ausgewählt, um einen vielfältigen und realistischen Datensatz zu liefern.
FLNET2023 enthält eine breite Mischung aus normalem und bösartigem Netzwerkverkehr und bietet eine realistische Sicht auf Netzwerkinteraktionen. Der Datensatz erstreckt sich über mehrere Arten gängiger Netzwerkprotokolle wie HTTP, TCP, UDP und ICMP.
| Angriff | Dauer | PPS | Größe |
|---|---|---|---|
| Normal-D1 | 278.38 min | 6.23 pk/s | 257 MB |
| Normal-D2 | 278.85 min | 5.41 pk/s | 222 MB |
| Normal-D3 | 304.44 min | 10.68 pk/s | 46.4 MB |
| Normal-D4 | 295.77 min | 2.17 pk/s | 305 MB |
| Normal-D5 | 262.38 min | 8.06 pk/s | 225 MB |
| Normal-D6 | 284.33 min | 12.16 pk/s | 388 MB |
| Normal-D7 | 294.77 min | 19.02 pk/s | 665 MB |
| Normal-D8 | 294.77 min | 13.43 pk/s | 507 MB |
| Normal-D9 | 286.45 min | 8.08 pk/s | 464 MB |
| Normal-D10 | 313.83 min | 23.71 pk/s | 1.23 GB |
| DoS-hulk-D2 | 11.38 min | 576 pk/s | 8.2 GB |
| DoS-hulk-D4 | 10.36 min | 622 pk/s | 8.4 GB |
| DoS-hulk-D6 | 10 min | 674 pk/s | 8.5 GB |
| DoS-hulk-D7 | 10 min | 375 pk/s | 4.6 GB |
| DoS-hulk-D8 | 8.73 min | 376 pk/s | 4.6 GB |
| DoS-slowhttp-D1 | 4.02 min | 43 pk/s | 23.4 MB |
| DoS-slowhttp-D2 | 4.37 min | 21 pk/s | 8.8 MB |
| DoS-slowhttp-D3 | 8.02 min | 49 pk/s | 48.7 MB |
| DoS-slowhttp-D4 | 8.02 min | 40.5 pk/s | 44.1 MB |
| DoS-slowhttp-D8 | 4.42 min | 28 pk/s | 10.0 MB |
| DoS-slowhttp-D9 | 4.02 min | 31 pk/s | 19.7 MB |
| DoS-slowhttp-D10 | 4.27 min | 44 pk/s | 19.7 MB |
| DDoS-bot-D1 | 5 min | 292 pk/s | 16.4 GB |
| DDoS-stomp-D5 | 5 min | 1298 pk/s | 41.2 GB |
| DDoS-dyn-D9 | 10 min | 538 pk/s | 25.2 GB |
| DDoS-tcp-D10 | 5 min | 3102 pk/s | 76.6 GB |
| Web-sql-injection-D3 | 25.2 sec | 8 pk/s | 4.7 MB |
| Web-sql-injection-D4 | 22.2 sec | 10 pk/s | 4.7 MB |
| Web-command-injection-D1 | 2.00 min | 2 pk/s | 1.4 MB |
| Web-xss-D2 | 45 sec | 34 pk/s | 3.0 MB |
| Web-xss-D4 | 4.98 sec | 305 pk/s | 6.1 MB |
| Infiltration-mitm-D1 | 25.47 min | 1.53 pk/s | 33.3 MB |
| Infiltration-mitm-D2 | 52.35 min | 1.53 pk/s | 22.3 MB |
| Infiltration-mitm-D3 | 24.93 min | 1.53 pk/s | 31.3 MB |
| Infiltration-mitm-D4 | 24.08 min | 1.53 pk/s | 10.9 MB |
| Infiltration-mitm-D5 | 52.47 min | 1.53 pk/s | 78.8 MB |
| Infiltration-mitm-D7 | 31.98 min | 2.48 pk/s | 79.9 MB |
| Infiltration-mitm-D9 | 51.78 min | 1.53 pk/s | 80.9 MB |
| Infiltration-mitm-D10 | 22.95 min | 1.53 pk/s | 35.3 MB |
Jede Instanz in FLNET2023 ist sorgfältig beschriftet und bietet wertvolle Informationen über den Netzwerkfluss, den sie repräsentiert. Die Beschriftungen geben nicht nur an, ob eine bestimmte Instanz normal oder bösartig ist, sondern auch spezifische Details zur Art des Angriffs, falls vorhanden. Diese Beschriftungen vereinfachen die Aufgabe des Trainings und Testens von Intrusion-Detection-Modellen erheblich.
Der FLNET2023-Datensatz enthält prominent vier Arten von DDoS-Angriffen – DDoS-dyn, DDoS-stomp, DDoS-bot und DDoS-tcp – die häufig in realen Netzwerkszenarien beobachtet werden. In dem Bewusstsein, dass Bedrohungen in einer Netzwerkumgebung über DDoS hinausgehen, enthält unser Datensatz eine Vielzahl anderer Angriffsarten wie DoS-slowhttp und Infiltration-mitm. Er umfasst auch webbasierte Angriffe, darunter Command Injection, XSS und SQL Injection. Die Einbeziehung dieser verschiedenen Angriffsarten erhöht die Realitätsnähe des Datensatzes und stellt seine Übereinstimmung mit tatsächlichen Netzwerkbedrohungslandschaften sicher.
Der FLNET2023-Datensatz bietet einen umfangreichen Merkmalssatz, der detaillierte Informationen zu jedem Netzwerkfluss liefert. Diese Merkmale umfassen unter anderem Quell- und Ziel-IP-Adressen, Portnummern, Paketlängen und Zeitstempel. Die Merkmale werden mit dem CICFLOWMeter-Tool extrahiert. Zusätzlich haben wir die PCAP-Dateien bereitgestellt, falls Sie Ihr eigenes Merkmalsextraktionstool verwenden möchten.
FLNET2023 enthält umfangreiche Metadaten zu jeder Instanz, die zusätzlichen Kontext bieten und bei der Dateninterpretation helfen. Die Metadaten umfassen Details zu den Routern und ihren IP-Adressen, die entscheidende Informationen für ein umfassendes Verständnis des Datensatzes sowie für die effektive Entwicklung und Evaluierung von Intrusion-Detection-Modellen sind.
Der Datensatz ist in Ordner unterteilt, die auf verschiedenen Arten von Netzwerkangriffen und normalem Verkehr basieren. Jede Angriffsart sowie der normale Verkehr haben einen eigenen Ordner, der entsprechend benannt ist: DDoS, DoS, Infiltration, Normal, Web und TEST.
Innerhalb jedes dieser Ordner gibt es zwei Unterordner: CSV und PCAP.
CSV-Ordner: Dieser Ordner enthält die für jeden Client im CSV-Format gesammelten Daten. Jede Datei ist nach dem Schema Dataset-<ClientNumber>-<TrafficType>.csv benannt. Zum Beispiel:
Dataset-10-TCP.csv: Diese Datei enthält die TCP-Verkehrsdaten für Client 10.Dataset-1-BOT.csv: Diese Datei enthält die BOT-Verkehrsdaten für Client 1.In einigen Ordnern, in denen es nur eine Angriffsart gibt, wird der Datensatz nach dem Schema Dataset-<ClientNumber>.csv ohne Angabe der Verkehrsart benannt. Zum Beispiel:
/Infiltration/CSV/Dataset-1.csv: Diese Datei enthält die Infiltrationsangriffsdaten für Client 1.PCAP-Ordner: Dieser Ordner enthält die entsprechenden Paketerfassungsdateien (PCAP) für jeden Client, die ähnlich wie die CSV-Dateien benannt sind. Zum Beispiel:
Dataset-10-TCP.pcap: Diese Datei enthält die Paketerfassungsdaten für den TCP-Verkehr von Client 10.Dataset-1-BOT.pcap: Diese Datei enthält die Paketerfassungsdaten für den BOT-Verkehr von Client 1.