FLNET2023: Conjunto de datos realista de detección de intrusiones en redes para aprendizaje federado

Paper: FLNET2023: Realistic Network Intrusion Detection Dataset for Federated Learning

Dataset: FLNET2023

Introducción

FLNET2023 es un conjunto de datos de referencia de última generación para sistemas de detección de intrusiones, específicamente para aplicaciones de aprendizaje federado. Generado utilizando el emulador CORE, representa una topología de red realista y una amplia gama de tipos de tráfico y ataques. FLNET2023 tiene como objetivo fomentar una investigación sólida en la detección de intrusiones en redes basada en aprendizaje federado.

Emulador CORE

Common Open Research Emulator CORE es una herramienta para emular redes en una o más máquinas. Puede conectar estas redes emuladas a redes en vivo. CORE consiste en una interfaz gráfica para dibujar topologías de máquinas virtuales ligeras y módulos Python para scripting de emulación de redes.

Topología de red

El conjunto de datos se generó basándose en la topología de red GEANT-2012, obtenida de The Internet Topology Zoo. Esta topología del mundo real representa una infraestructura de red a gran escala similar a la de los proveedores de servicios de Internet (ISP), con 40 nodos, cada uno representando routers principales que sirven a ubicaciones o funciones específicas. La topología se replicó dentro del Common Open Research Emulator (CORE), donde se recopilaron datos de tráfico de red de diez nodos router seleccionados estratégicamente, etiquetados como {D1, D2, D3, ..., D10}, como se muestra en la figura siguiente. Estos nodos cubren diferentes partes de la red y fueron elegidos para proporcionar un conjunto de datos diverso y realista.

Ataques y simulación de red

FLNET2023 incluye una mezcla amplia de tráfico de red tanto normal como malicioso, proporcionando una visión realista de las interacciones de red. El conjunto de datos abarca varios tipos de protocolos de red comunes, como HTTP, TCP, UDP e ICMP.

Conjunto de datos etiquetado

Cada instancia en FLNET2023 está meticulosamente etiquetada, proporcionando información valiosa sobre el flujo de red que representa. Las etiquetas no solo designan si una instancia dada es normal o maliciosa, sino que también proporcionan detalles específicos sobre el tipo de ataque involucrado, si lo hay. Estas etiquetas simplifican significativamente la tarea de entrenar y probar modelos de detección de intrusiones.

Diversidad de ataques

El conjunto de datos FLNET2023 presenta prominentemente cuatro tipos de ataques DDoS - DDoS-dyn, DDoS-stomp, DDoS-bot y DDoS-tcp - comúnmente observados en escenarios de red del mundo real. Reconociendo que las amenazas en un entorno de red van más allá de DDoS, nuestro conjunto de datos incluye una variedad de otros tipos de ataque como DoS-slowhttp e Infiltration-mitm. También abarca ataques basados en web, incluyendo Command Injection, XSS y SQL Injection. La inclusión de estos diversos tipos de ataque mejora el realismo del conjunto de datos y asegura su alineación con los panoramas reales de amenazas de red.

Conjunto de características

El conjunto de datos FLNET2023 proporciona un conjunto extenso de características, ofreciendo detalles completos sobre cada flujo de red. Estas características incluyen direcciones IP de origen y destino, números de puerto, longitudes de paquetes y marcas de tiempo, entre otras. Las características se extraen utilizando la herramienta CICFLOWMeter. Además, hemos proporcionado los archivos PCAP si desea utilizar su propia herramienta extractora de características.

Metadatos

FLNET2023 incluye metadatos enriquecidos sobre cada instancia, que proporcionan contexto adicional y ayudan en la interpretación de los datos. Los metadatos incluyen detalles sobre los routers y sus direcciones IP, información crucial para una comprensión completa del conjunto de datos y para el desarrollo y evaluación efectivos de modelos de detección de intrusiones.

Organización del conjunto de datos

El conjunto de datos está dividido en carpetas basadas en diferentes tipos de ataques de red y tráfico normal. Cada tipo de ataque, junto con el tráfico normal, tiene su propia carpeta dedicada con el nombre correspondiente: DDoS, DoS, Infiltration, Normal, Web y TEST.

Dentro de cada una de estas carpetas, hay dos subcarpetas: CSV y PCAP.

• Carpeta CSV: Esta carpeta contiene los datos recopilados para cada cliente en formato CSV. Cada archivo se nombra usando la convención Dataset-<NúmeroCliente>-<TipoTráfico>.csv. Por ejemplo:

  • Dataset-10-TCP.csv: Este archivo contiene los datos de tráfico TCP para el cliente 10.
  • Dataset-1-BOT.csv: Este archivo contiene los datos de tráfico BOT para el cliente 1.

  En algunas carpetas donde solo hay un tipo de ataque, el conjunto de datos se nombra usando la convención Dataset-<NúmeroCliente>.csv sin especificar el tipo de tráfico. Por ejemplo:

  • /Infiltration/CSV/Dataset-1.csv: Este archivo contiene los datos del ataque de infiltración para el cliente 1.

• Carpeta PCAP: Esta carpeta contiene los archivos de captura de paquetes (PCAP) correspondientes para cada cliente, nombrados de manera similar a los archivos CSV. Por ejemplo:

  • Dataset-10-TCP.pcap: Este archivo contiene los datos de captura de paquetes para el tráfico TCP del cliente 10.
  • Dataset-1-BOT.pcap: Este archivo contiene los datos de captura de paquetes para el tráfico BOT del cliente 1.

Puntos de recolección de datos

Los puntos de datos en el conjunto de datos FLNET2023 se recopilan de varios nodos únicos dentro de la topología de red, proporcionando una perspectiva completa de la actividad de la red. Estos puntos de recolección incluyen varios nodos servidor y nodos router, cada uno contribuyendo a la diversidad y profundidad del conjunto de datos. Los puntos de recolección fueron seleccionados con la intención de generar un conjunto de datos que refleje una amplia gama de interacciones de red. Las direcciones IP de los puntos de recolección de datos se indican en la siguiente tabla.

Otros nodos router

Además de los puntos de recolección de datos, FLNET2023 incorpora una multitud de otros nodos router, mejorando el realismo y la complejidad de la topología de red. Estos nodos router juegan roles fundamentales en la dirección del tráfico de red y en la simulación de escenarios reales de congestión de red y enrutamiento. Su inclusión en la topología ayuda a retratar un entorno de red más auténtico e induce desafíos adicionales para la detección de intrusiones. Las direcciones IP de los otros nodos router se indican en la siguiente tabla.

Cómo usar el conjunto de datos

Siga los pasos a continuación para usar eficazmente el conjunto de datos para entrenar y probar sus modelos de aprendizaje automático:

1. Descargar el conjunto de datos: Descargue el conjunto de datos desde el enlace proporcionado arriba.
2. Navegar por las carpetas: Elija la carpeta correspondiente al tipo de tráfico o ataque que le interese (por ejemplo, DDoS, DoS, Infiltration, Normal, Web, TEST).
3. Preparar los datos de entrenamiento:
   • Navegue a la carpeta CSV dentro del tipo de tráfico seleccionado.
   • Seleccione los archivos CSV apropiados para los clientes que desee incluir en el conjunto de entrenamiento.
   • Por ejemplo, para incluir datos de tráfico TCP para el cliente 10 en la carpeta DDoS, navegue a DDoS/CSV/Dataset-10-TCP.csv.
   • Para incluir tráfico normal, navegue a Normal/CSV/Dataset-10.csv.
   • Cargue los archivos CSV en su herramienta de análisis de datos preferida (por ejemplo, Python usando pandas).
   • Combine datos de múltiples clientes si es necesario. Por ejemplo, puede combinar datos locales de los clientes 1 a 10.
4. Entrenar el modelo:

Licencia

El conjunto de datos FLNET2023 consiste en flujos de red etiquetados que incluyen la carga útil completa de paquetes en formato pcap. Además, los perfiles asociados, los flujos etiquetados y los archivos CSV optimizados para aprendizaje federado son de acceso público para investigadores. Está disponible públicamente para que los investigadores faciliten nuevos avances en el campo de la detección de intrusiones. Si tiene la intención de utilizar nuestro conjunto de datos en su trabajo, le solicitamos amablemente que cite nuestro artículo asociado.