Émulateur CORE

Common Open Research Emulator CORE est un outil permettant d'émuler des réseaux sur une ou plusieurs machines. Vous pouvez connecter ces réseaux émulés à des réseaux réels. CORE se compose d'une interface graphique pour dessiner des topologies de machines virtuelles légères et de modules Python pour scripter l'émulation réseau.

Topologie réseau

L'ensemble de données a été généré sur la base de la topologie réseau GEANT-2012, obtenue à partir de The Internet Topology Zoo. Cette topologie réelle représente une infrastructure réseau à grande échelle similaire à celles des fournisseurs d'accès Internet (FAI), avec 40 nœuds représentant chacun des routeurs principaux desservant des emplacements ou fonctions spécifiques. La topologie a été reproduite dans Common Open Research Emulator (CORE), où les données de trafic réseau ont été collectées à partir de dix nœuds de routeurs stratégiquement sélectionnés, étiquetés {D1, D2, D3, ..., D10}, comme vous pouvez le voir dans la figure ci-dessous. Ces nœuds couvrent différentes parties du réseau et ont été choisis pour fournir un ensemble de données diversifié et réaliste.

Attaque réseau et simulation

FLNET2023 comprend un large éventail de trafic réseau à la fois normal et malveillant, offrant une vue réaliste des interactions réseau. L'ensemble de données couvre plusieurs types de protocoles réseau courants, comme HTTP, TCP, UDP et ICMP.

Ensemble de données étiqueté

Chaque instance dans FLNET2023 est méticuleusement étiquetée, offrant des informations précieuses sur le flux réseau qu'elle représente. Les étiquettes ne désignent pas seulement si une instance donnée est normale ou malveillante, mais fournissent également des détails spécifiques sur le type d'attaque impliqué, le cas échéant. Ces étiquettes simplifient considérablement la tâche d'entraînement et de test des modèles de détection d'intrusions.

Diversité des attaques

L'ensemble de données FLNET2023 présente principalement quatre types d'attaques DDoS - DDoS-dyn, DDoS-stomp, DDoS-bot et DDoS-tcp - couramment observées dans des scénarios réseau réels. Reconnaissant que les menaces dans un environnement réseau ne se limitent pas aux DDoS, notre ensemble de données inclut une variété d'autres types d'attaques tels que DoS-slowhttp et Infiltration-mitm. Il englobe également des attaques basées sur le Web, notamment l'injection de commandes, XSS et l'injection SQL. L'inclusion de ces divers types d'attaques améliore le réalisme de l'ensemble de données et garantit son alignement avec les paysages réels de menaces réseau.

Ensemble de caractéristiques

L'ensemble de données FLNET2023 fournit un ensemble étendu de caractéristiques, offrant des détails complets sur chaque flux réseau. Ces caractéristiques incluent les adresses IP source et destination, les numéros de port, les longueurs de paquets et les horodatages, entre autres. Les caractéristiques sont extraites à l'aide de l'outil CICFLOWMeter. De plus, nous avons fourni les fichiers PCAP si vous souhaitez utiliser votre propre outil d'extraction de caractéristiques.

Métadonnées

FLNET2023 comprend des métadonnées riches sur chaque instance, qui fournissent un contexte supplémentaire et aident à l'interprétation des données. Les métadonnées comprennent des détails sur les routeurs et leurs adresses IP, informations cruciales pour une compréhension complète de l'ensemble de données et pour le développement et l'évaluation efficaces de modèles de détection d'intrusions.

Organisation de l'ensemble de données

L'ensemble de données est divisé en dossiers basés sur différents types d'attaques réseau et de trafic normal. Chaque type d'attaque, ainsi que le trafic normal, possède son propre dossier dédié nommé en conséquence : DDoS, DoS, Infiltration, Normal, Web et TEST.

Dans chacun de ces dossiers, il y a deux sous-dossiers : CSV et PCAP.

• Dossier CSV : Ce dossier contient les données collectées pour chaque client au format CSV. Chaque fichier est nommé selon la convention Dataset-<NuméroClient>-<TypeTrafic>.csv. Par exemple :

  • Dataset-10-TCP.csv : Ce fichier contient les données de trafic TCP pour le client 10.
  • Dataset-1-BOT.csv : Ce fichier contient les données de trafic BOT pour le client 1.

  Dans certains dossiers où il n'y a qu'un seul type d'attaque, l'ensemble de données est nommé selon la convention Dataset-<NuméroClient>.csv sans spécifier le type de trafic. Par exemple :

  • /Infiltration/CSV/Dataset-1.csv : Ce fichier contient les données d'attaque par infiltration pour le client 1.

• Dossier PCAP : Ce dossier contient les fichiers de capture de paquets (PCAP) correspondants pour chaque client, nommés de manière similaire aux fichiers CSV. Par exemple :

  • Dataset-10-TCP.pcap : Ce fichier contient les données de capture de paquets pour le trafic TCP du client 10.
  • Dataset-1-BOT.pcap : Ce fichier contient les données de capture de paquets pour le trafic BOT du client 1.

Points de collecte de données

Les points de données dans l'ensemble de données FLNET2023 sont collectés à partir de plusieurs nœuds uniques au sein de la topologie réseau, offrant une perspective équilibrée de l'activité réseau. Ces points de collecte comprennent divers nœuds serveurs et nœuds routeurs, chacun contribuant à la diversité et à la profondeur de l'ensemble de données. Les points de collecte ont été sélectionnés dans l'intention de générer un ensemble de données qui reflète un large éventail d'interactions réseau. Les adresses IP des points de collecte de données sont fournies dans le tableau ci-dessous.

Autres nœuds routeurs

En plus des points de collecte de données, FLNET2023 intègre une multitude d'autres nœuds routeurs, améliorant le réalisme et la complexité de la topologie réseau. Ces nœuds routeurs jouent des rôles essentiels dans l'orientation du trafic réseau et la simulation de scénarios de congestion réseau et de routage réels. Leur inclusion dans la topologie aide à représenter un environnement réseau plus authentique et induit des défis supplémentaires pour la détection d'intrusions. Les adresses IP des autres nœuds routeurs sont fournies dans le tableau ci-dessous.

Comment utiliser l'ensemble de données

Suivez les étapes ci-dessous pour utiliser efficacement l'ensemble de données pour entraîner et tester vos modèles d'apprentissage automatique :

1. Télécharger l'ensemble de données : Téléchargez l'ensemble de données à partir du lien fourni ci-dessus.
2. Naviguer dans les dossiers : Choisissez le dossier correspondant au type de trafic ou d'attaque qui vous intéresse (par exemple, DDoS, DoS, Infiltration, Normal, Web, TEST).
3. Préparer les données d'entraînement :
   • Accédez au dossier CSV dans le type de trafic sélectionné.
   • Sélectionnez les fichiers CSV appropriés pour les clients que vous souhaitez inclure dans l'ensemble d'entraînement.
   • Par exemple, pour inclure les données de trafic TCP pour le client 10 dans le dossier DDoS, accédez à DDoS/CSV/Dataset-10-TCP.csv.
   • Pour inclure le trafic normal, accédez à Normal/CSV/Dataset-10.csv.
   • Chargez les fichiers CSV dans votre outil d'analyse de données préféré (par exemple, Python avec pandas).
   • Combinez les données de plusieurs clients si nécessaire. Par exemple, vous pouvez combiner les données locales pour les clients 1 à 10.
4. Entraîner le modèle :
   • Entraînez votre modèle d'apprentissage automatique en utilisant l'ensemble d'entraînement.
   • Dans une configuration d'apprentissage fédéré, les modèles locaux sont entraînés sur les données de chaque client, puis les modèles sont agrégés pour former un modèle global.
5. Tester le modèle global :
   • Nous avons fourni les données de test pour chaque étiquette.
   • Combinez ces données pour former votre ensemble de test pour le modèle global.
   • Accédez au dossier TEST.
   • Dans TEST, allez dans le dossier CSV et sélectionnez les fichiers CSV de test.
   • Par exemple, TEST/CSV/slowHTTP.csv contient les données de test Slow HTTP.
   • Chargez les fichiers CSV de test dans votre outil d'analyse de données.
   • Évaluez le modèle global en utilisant l'ensemble de test combiné.

Licence

L'ensemble de données FLNET2023 se compose de flux réseau étiquetés incluant la charge utile complète des paquets au format pcap. De plus, les profils associés, les flux étiquetés et les fichiers CSV optimisés pour l'apprentissage fédéré sont accessible publiquement pour les chercheurs. Il est accessible publiquement aux chercheurs pour faciliter de nouvelles avancées dans le domaine de la détection d'intrusions. Si vous avez l'intention d'utiliser notre ensemble de données dans vos travaux, nous vous prions de citer notre article associé.