FLNET2023: Conjunto de Dados Realista de Detecção de Intrusão em Rede para Aprendizado Federado

Artigo: FLNET2023: Realistic Network Intrusion Detection Dataset for Federated Learning

Conjunto de Dados: FLNET2023

Introdução

FLNET2023 é um conjunto de dados de referência de última geração para sistemas de detecção de intrusão, especificamente para aplicações de Aprendizado Federado. Gerado usando o emulador CORE, ele incorpora uma topologia de rede realista e uma gama diversificada de tipos de tráfego e ataques. O FLNET2023 visa incentivar pesquisas robustas em detecção de intrusão em rede baseada em aprendizado federado.

Emulador CORE

Common Open Research Emulator CORE é uma ferramenta para emular redes em uma ou mais máquinas. Você pode conectar essas redes emuladas a redes reais. O CORE consiste em uma GUI para desenhar topologias de máquinas virtuais leves e módulos Python para scripting de emulação de rede.

Topologia de Rede

O conjunto de dados foi gerado com base na topologia de rede GEANT-2012, obtida do The Internet Topology Zoo. Esta topologia do mundo real representa uma infraestrutura de rede de grande escala semelhante à de Provedores de Serviços de Internet (ISPs), com 40 nós, cada um representando roteadores primários que atendem a locais ou funções específicas. A topologia foi replicada dentro do Common Open Research Emulator (CORE), onde os dados de tráfego de rede foram coletados de dez nós de roteadores estrategicamente selecionados, rotulados como {D1, D2, D3, ..., D10}, como mostrado na figura abaixo. Esses nós cobrem diferentes partes da rede e foram escolhidos para fornecer um conjunto de dados diversificado e realista.

Ataque e Simulação de Rede

FLNET2023 inclui uma ampla mistura de tráfego de rede normal e malicioso, fornecendo uma visão realista das interações de rede. O conjunto de dados abrange vários tipos de protocolos de rede comuns, como HTTP, TCP, UDP e ICMP.

Conjunto de Dados Rotulado

Cada instância no FLNET2023 é meticulosamente rotulada, oferecendo informações valiosas sobre o fluxo de rede que representa. Os rótulos não apenas designam se uma determinada instância é normal ou maliciosa, mas também fornecem detalhes específicos sobre o tipo de ataque envolvido, se houver. Esses rótulos simplificam significativamente a tarefa de treinar e testar modelos de detecção de intrusão.

Diversidade de Ataques

O conjunto de dados FLNET2023 apresenta proeminentemente quatro tipos de ataques DDoS - DDoS-dyn, DDoS-stomp, DDoS-bot e DDoS-tcp - comumente observados em cenários de rede do mundo real. Reconhecendo que as ameaças em um ambiente de rede vão além do DDoS, nosso conjunto de dados inclui uma variedade de outros tipos de ataque, como DoS-slowhttp e Infiltration-mitm. Também abrange ataques baseados na web, incluindo Command Injection, XSS e SQL Injection. A inclusão desses diversos tipos de ataque aumenta o realismo do conjunto de dados e garante seu alinhamento com os cenários reais de ameaças de rede.

Conjunto de Recursos

O conjunto de dados FLNET2023 fornece um conjunto extenso de recursos, oferecendo detalhes abrangentes sobre cada fluxo de rede. Esses recursos incluem endereços IP de origem e destino, números de porta, comprimentos de pacotes e carimbos de data/hora, entre outros. Os recursos são extraídos usando a ferramenta CICFLOWMeter. Além disso, fornecemos os arquivos PCAP caso você deseje usar sua própria ferramenta de extração de recursos.

Metadados

FLNET2023 inclui metadados ricos sobre cada instância, que fornecem contexto adicional e auxiliam na interpretação dos dados. Os metadados incluem detalhes sobre os roteadores e seus endereços IP, informações cruciais para uma compreensão abrangente do conjunto de dados e para o desenvolvimento e avaliação eficazes de modelos de detecção de intrusão.

Organização do Conjunto de Dados

O conjunto de dados é dividido em pastas com base em diferentes tipos de ataques de rede e tráfego normal. Cada tipo de ataque, juntamente com o tráfego normal, possui sua própria pasta dedicada nomeada de acordo: DDoS, DoS, Infiltration, Normal, Web e TEST.

Dentro de cada uma dessas pastas, existem duas subpastas: CSV e PCAP.

• Pasta CSV: Esta pasta contém os dados coletados para cada cliente no formato CSV. Cada arquivo é nomeado usando a convenção Dataset-<NúmeroDoCliente>-<TipoDeTráfego>.csv. Por exemplo:

  • Dataset-10-TCP.csv: Este arquivo contém os dados de tráfego TCP do cliente 10.
  • Dataset-1-BOT.csv: Este arquivo contém os dados de tráfego BOT do cliente 1.

  Em algumas pastas onde há apenas um tipo de ataque, o conjunto de dados é nomeado usando a convenção Dataset-<NúmeroDoCliente>.csv sem especificar o tipo de tráfego. Por exemplo:

  • /Infiltration/CSV/Dataset-1.csv: Este arquivo contém os dados de ataque de infiltração do cliente 1.

• Pasta PCAP: Esta pasta contém os arquivos de captura de pacotes (PCAP) correspondentes para cada cliente, nomeados de forma semelhante aos arquivos CSV. Por exemplo:

  • Dataset-10-TCP.pcap: Este arquivo contém os dados de captura de pacotes para tráfego TCP do cliente 10.
  • Dataset-1-BOT.pcap: Este arquivo contém os dados de captura de pacotes para tráfego BOT do cliente 1.

Pontos de Coleta de Dados

Os pontos de dados no conjunto de dados FLNET2023 são coletados de vários nós exclusivos dentro da topologia de rede, fornecendo uma perspectiva abrangente da atividade da rede. Esses pontos de coleta incluem vários nós de servidor e nós de roteador, cada um contribuindo para a diversidade e profundidade do conjunto de dados. Os pontos de coleta foram selecionados com a intenção de gerar um conjunto de dados que reflita uma ampla gama de interações de rede. Os endereços IP dos pontos de coleta de dados são fornecidos na tabela abaixo.

Outros Nós Roteadores

Além dos pontos de coleta de dados, o FLNET2023 incorpora uma infinidade de outros nós roteadores, aumentando o realismo e a complexidade da topologia de rede. Esses nós roteadores desempenham papéis fundamentais na direção do tráfego de rede e na simulação de cenários reais de congestionamento e roteamento de rede. Sua inclusão na topologia ajuda a retratar um ambiente de rede mais autêntico e induz desafios adicionais para a detecção de intrusão. Os endereços IP dos outros nós roteadores são fornecidos na tabela abaixo.

Como usar o conjunto de dados

Siga as etapas abaixo para usar efetivamente o conjunto de dados para treinar e testar seus modelos de aprendizado de máquina:

1. Baixe o Conjunto de Dados: Baixe o conjunto de dados do link fornecido acima.
2. Navegando pelas Pastas: Escolha a pasta correspondente ao tipo de tráfego ou ataque de seu interesse (por exemplo, DDoS, DoS, Infiltration, Normal, Web, TEST).
3. Preparando os Dados de Treinamento:
   • Navegue até a pasta CSV dentro do tipo de tráfego selecionado.
   • Selecione os arquivos CSV apropriados para os clientes que você deseja incluir no conjunto de treinamento.
   • Por exemplo, para incluir dados de tráfego TCP do cliente 10 na pasta DDoS, navegue até DDoS/CSV/Dataset-10-TCP.csv.
   • Para incluir tráfego normal, navegue até Normal/CSV/Dataset-10.csv.
   • Carregue os arquivos CSV em sua ferramenta de análise de dados preferida (por exemplo, Python usando pandas).
   • Combine dados de vários clientes, se necessário. Por exemplo, você pode combinar dados locais dos clientes 1 a 10.
4. Treinando o Modelo:

Licença

O conjunto de dados FLNET2023 consiste em fluxos de rede rotulados, incluindo payload completo de pacotes no formato pcap. Além disso, perfis associados, fluxos rotulados e arquivos CSV otimizados para aprendizado federado estão publicamente acessíveis para pesquisadores. Ele está disponível publicamente para pesquisadores para facilitar novos avanços no campo da detecção de intrusão. Se você pretende utilizar nosso conjunto de dados em seu trabalho, solicitamos gentilmente que cite nosso artigo associado.