Emulatore CORE

Common Open Research Emulator CORE è uno strumento per emulare reti su una o più macchine. È possibile connettere queste reti emulate a reti reali. CORE è composto da un'interfaccia grafica per disegnare topologie di macchine virtuali leggere e moduli Python per script di emulazione di rete.

Topologia di rete

Il dataset è stato generato basandosi sulla topologia di rete GEANT-2012, ottenuta da The Internet Topology Zoo. Questa topologia del mondo reale rappresenta un'infrastruttura di rete su larga scala simile a quelle dei fornitori di servizi Internet (ISP), con 40 nodi ciascuno rappresentante router primari che servono specifiche località o funzioni. La topologia è stata replicata all'interno del Common Open Research Emulator (CORE), dove i dati del traffico di rete sono stati raccolti da dieci nodi router strategicamente selezionati, etichettati come {D1, D2, D3, ..., D10}, come si vede nella figura sottostante. Questi nodi coprono diverse parti della rete e sono stati scelti per fornire un set di dati diversificato e realistico.

Attacco e simulazione di rete

FLNET2023 include una vasta miscela di traffico di rete normale e dannoso, fornendo una visione realistica delle interazioni di rete. Il dataset copre diversi tipi di protocolli di rete comuni, come HTTP, TCP, UDP e ICMP.

Dataset etichettato

Ogni istanza in FLNET2023 è meticolosamente etichettata, offrendo informazioni preziose sul flusso di rete che rappresenta. Le etichette non solo indicano se una data istanza è normale o dannosa, ma forniscono anche dettagli specifici sul tipo di attacco coinvolto, se presente. Queste etichette semplificano notevolmente il compito di addestrare e testare i modelli di rilevamento delle intrusioni.

Diversità degli attacchi

Il dataset FLNET2023 presenta in modo prominente quattro tipi di attacchi DDoS - DDoS-dyn, DDoS-stomp, DDoS-bot e DDoS-tcp - comunemente osservati in scenari di rete reali. Riconoscendo che le minacce in un ambiente di rete vanno oltre il DDoS, il nostro dataset include una varietà di altri tipi di attacco come DoS-slowhttp e Infiltration-mitm. Include anche attacchi basati sul web, tra cui Command Injection, XSS e SQL Injection. L'inclusione di questi diversi tipi di attacco migliora il realismo del dataset e garantisce il suo allineamento con i reali scenari di minaccia di rete.

Set di caratteristiche

Il dataset FLNET2023 fornisce un ampio set di caratteristiche, offrendo dettagli completi su ogni flusso di rete. Queste caratteristiche includono indirizzi IP di origine e destinazione, numeri di porta, lunghezze dei pacchetti e timestamp, tra gli altri. Le caratteristiche vengono estratte utilizzando lo strumento CICFLOWMeter. Inoltre, abbiamo fornito i file PCAP nel caso si desideri utilizzare il proprio strumento di estrazione delle caratteristiche.

Metadati

FLNET2023 include ricchi metadati su ogni istanza, che forniscono ulteriore contesto e aiutano nell'interpretazione dei dati. I metadati includono dettagli sui router e i loro indirizzi IP, informazioni cruciali per una comprensione completa del dataset e per lo sviluppo e la valutazione efficaci dei modelli di rilevamento delle intrusioni.

Organizzazione del dataset

Il dataset è diviso in cartelle basate su diversi tipi di attacchi di rete e traffico normale. Ogni tipo di attacco, insieme al traffico normale, ha una cartella dedicata denominata di conseguenza: DDoS, DoS, Infiltration, Normal, Web e TEST.

All'interno di ciascuna di queste cartelle, ci sono due sottocartelle: CSV e PCAP.

• Cartella CSV: Questa cartella contiene i dati raccolti per ogni cliente in formato CSV. Ogni file è denominato utilizzando la convenzione Dataset-<ClientNumber>-<TrafficType>.csv. Ad esempio:

  • Dataset-10-TCP.csv: Questo file contiene i dati del traffico TCP per il cliente 10.
  • Dataset-1-BOT.csv: Questo file contiene i dati del traffico BOT per il cliente 1.

  In alcune cartelle dove c'è un solo tipo di attacco, il dataset è denominato usando la convenzione Dataset-<ClientNumber>.csv senza specificare il tipo di traffico. Ad esempio:

  • /Infiltration/CSV/Dataset-1.csv: Questo file contiene i dati dell'attacco di infiltrazione per il cliente 1.

• Cartella PCAP: Questa cartella contiene i corrispondenti file di cattura dei pacchetti (PCAP) per ogni cliente, denominati in modo simile ai file CSV. Ad esempio:

  • Dataset-10-TCP.pcap: Questo file contiene i dati di cattura dei pacchetti per il traffico TCP del cliente 10.
  • Dataset-1-BOT.pcap: Questo file contiene i dati di cattura dei pacchetti per il traffico BOT del cliente 1.

Punti di raccolta dati

I punti dati nel dataset FLNET2023 sono raccolti da diversi nodi unici all'interno della topologia di rete, fornendo una prospettiva completa dell'attività di rete. Questi punti di raccolta includono vari nodi server e nodi router, ciascuno contribuendo alla diversità e profondità del dataset. I punti di raccolta sono stati selezionati con l'intenzione di generare un dataset che rifletta un'ampia gamma di interazioni di rete. Gli indirizzi IP dei punti di raccolta dati sono forniti nella tabella seguente.

Altri nodi router

Oltre ai punti di raccolta dati, FLNET2023 incorpora una moltitudine di altri nodi router, migliorando il realismo e la complessità della topologia di rete. Questi nodi router svolgono ruoli fondamentali nel dirigere il traffico di rete e nel simulare scenari reali di congestione e routing della rete. La loro inclusione nella topologia aiuta a ritrarre un ambiente di rete più autentico e induce ulteriori sfide per il rilevamento delle intrusioni. Gli indirizzi IP degli altri nodi router sono forniti nella tabella seguente.

Come utilizzare il dataset

Segui i passaggi seguenti per utilizzare efficacemente il dataset per addestrare e testare i tuoi modelli di apprendimento automatico:

1. Scarica il Dataset: Scarica il dataset dal link fornito sopra.
2. Naviga tra le Cartelle: Scegli la cartella corrispondente al tipo di traffico o attacco di tuo interesse (ad es., DDoS, DoS, Infiltration, Normal, Web, TEST).
3. Preparazione dei Dati di Addestramento:
   • Naviga fino alla cartella CSV all'interno del tipo di traffico selezionato.
   • Seleziona i file CSV appropriati per i clienti che desideri includere nel set di addestramento.
   • Ad esempio, per includere i dati del traffico TCP per il cliente 10 nella cartella DDoS, naviga fino a DDoS/CSV/Dataset-10-TCP.csv.
   • Per includere il traffico normale, naviga fino a Normal/CSV/Dataset-10.csv.
   • Carica i file CSV nel tuo strumento di analisi dati preferito (ad es., Python con pandas).
   • Combina i dati di più clienti se necessario. Ad esempio, puoi combinare i dati locali per i clienti da 1 a 10.
4. Addestramento del Modello:
   • Addestra il tuo modello di apprendimento automatico utilizzando il set di addestramento.
   • In un setup di apprendimento federato, i modelli locali vengono addestrati sui dati di ciascun cliente, e poi i modelli vengono aggregati per formare un modello globale.
5. Test del Modello Globale:
   • Abbiamo fornito i dati di test per ogni etichetta.
   • Combina questi dati per formare il tuo set di test per il modello globale.
   • Naviga fino alla cartella TEST.
   • All'interno di TEST, vai alla cartella CSV e seleziona i file CSV di test.
   • Ad esempio, TEST/CSV/slowHTTP.csv contiene i dati di test Slow HTTP.
   • Carica i file CSV di test nel tuo strumento di analisi dati.
   • Valuta il modello globale utilizzando il set di test combinato.

Licenza

Il dataset FLNET2023 consiste in flussi di rete etichettati che includono il payload completo dei pacchetti in formato pcap. Inoltre, profili associati, flussi etichettati e file CSV ottimizzati per l'apprendimento federato sono accessibili pubblicamente ai ricercatori. È disponibile pubblicamente per i ricercatori per facilitare ulteriori progressi nel campo del rilevamento delle intrusioni. Se intendi utilizzare il nostro dataset nel tuo lavoro, ti chiediamo gentilmente di citare il nostro articolo associato.