FLNET2023：用于联邦学习的真实网络入侵检测数据集

论文：FLNET2023：用于联邦学习的真实网络入侵检测数据集

数据集：FLNET2023

引言

FLNET2023 是一个用于入侵检测系统的最先进基准数据集，专门针对联邦学习应用。它使用 CORE 模拟器生成，体现了真实的网络拓扑以及多样化的流量和攻击类型。FLNET2023 旨在鼓励针对基于联邦学习的网络入侵检测开展稳健的研究。

CORE 模拟器

通用开放研究模拟器 CORE 是一种在一台或多台机器上模拟网络的工具。您可以将这些模拟网络连接到真实网络。CORE 由一个用于绘制轻量级虚拟机拓扑的 GUI 和用于编写网络模拟脚本的 Python 模块组成。

网络拓扑

该数据集基于从 The Internet Topology Zoo 获取的 GEANT-2012 网络拓扑生成。这种真实世界的拓扑代表了类似于互联网服务提供商 (ISP) 的大规模网络基础设施，包含 40 个节点，每个节点代表服务于特定位置或功能的主要路由器。该拓扑在通用开放研究模拟器 (CORE) 中进行了复制，网络流量数据从十个策略性选择的路由器节点收集，标记为 {D1, D2, D3, ..., D10}，如下图所示。这些节点覆盖了网络的不同部分，并被选来提供多样且真实的数据集。

网络攻击与模拟

FLNET2023 包含广泛的正常和恶意网络流量组合，提供了网络交互的真实视图。该数据集涵盖了几种常见的网络协议，如 HTTP、TCP、UDP 和 ICMP。

标签数据集

FLNET2023 中的每个实例都经过精心标记，提供了关于其所代表网络流的有价值信息。标签不仅指明给定实例是正常还是恶意，还提供有关所涉及攻击类型的具体细节（如果有）。这些标签显著简化了训练和测试入侵检测模型的任务。

攻击多样性

FLNET2023 数据集突出展示了四种类型的 DDoS 攻击——DDoS-dyn、DDoS-stomp、DDoS-bot 和 DDoS-tcp——这些在真实网络场景中常见。考虑到网络环境中的威胁不仅限于 DDoS，我们的数据集还包含多种其他攻击类型，如 DoS-slowhttp 和 Infiltration-mitm。它还涵盖了基于 Web 的攻击，包括命令注入、XSS 和 SQL 注入。包含这些多样化的攻击类型增强了数据集的真实性，并确保其与实际网络威胁态势保持一致。

特征集

FLNET2023 数据集提供了广泛的特征集，给出了每个网络流的全面细节。这些特征包括源和目标 IP 地址、端口号、数据包长度、时间戳等。特征使用 CICFLOWMeter 工具提取。此外，我们还提供了 PCAP 文件，以防您希望使用自己的特征提取工具。

元数据

FLNET2023 包含每个实例的丰富元数据，提供了额外的上下文并有助于数据解释。元数据包括关于路由器及其 IP 地址的详细信息，这对于全面理解数据集以及有效开发和评估入侵检测模型至关重要。

数据集组织

数据集根据不同类型的网络攻击和正常流量分为不同的文件夹。每种攻击类型以及正常流量都有其专用文件夹，命名如下：DDoS、DoS、Infiltration、Normal、Web 和 TEST。

在每个文件夹内，有两个子文件夹：CSV 和 PCAP。

• CSV 文件夹：此文件夹包含以 CSV 格式为每个客户端收集的数据。每个文件使用约定 Dataset-<客户端编号>-<流量类型>.csv 命名。例如：

  • Dataset-10-TCP.csv：此文件包含客户端 10 的 TCP 流量数据。
  • Dataset-1-BOT.csv：此文件包含客户端 1 的 BOT 流量数据。

  在某些只有一种攻击类型的文件夹中，数据集使用约定 Dataset-<客户端编号>.csv 命名，而不指定流量类型。例如：

  • /Infiltration/CSV/Dataset-1.csv：此文件包含客户端 1 的渗透攻击数据。

• PCAP 文件夹：此文件夹包含每个客户端对应的数据包捕获 (PCAP) 文件，命名方式与 CSV 文件类似。例如：

  • Dataset-10-TCP.pcap：此文件包含客户端 10 的 TCP 流量数据包捕获数据。
  • Dataset-1-BOT.pcap：此文件包含客户端 1 的 BOT 流量数据包捕获数据。

数据采集点

FLNET2023 数据集中的数据点从网络拓扑中的多个唯一节点收集，提供了网络活动的全面视角。这些采集点包括各种服务器节点和路由器节点，每个节点都为数据集的多样性和深度做出了贡献。选择采集点的目的是生成一个反映广泛网络交互的数据集。下表给出了数据采集点的 IP 地址。

其他路由器节点

除了数据采集点之外，FLNET2023 还整合了大量其他路由器节点，增强了网络拓扑的真实性和复杂性。这些路由器节点在引导网络流量和模拟真实世界的网络拥塞及路由场景中发挥着关键作用。将它们包含在拓扑中有助于描绘更真实的网络环境，并为入侵检测带来额外挑战。下表给出了其他路由器节点的 IP 地址。

如何使用数据集

请按照以下步骤有效使用数据集来训练和测试您的机器学习模型：

1. 下载数据集：从上面提供的链接下载数据集。
2. 浏览文件夹：选择您感兴趣的流量或攻击类型对应的文件夹（例如 DDoS、DoS、Infiltration、Normal、Web、TEST）。
3. 准备训练数据：
   • 进入所选流量类型文件夹内的 CSV 文件夹。
   • 选择您希望在训练集中包含的客户端的相应 CSV 文件。
   • 例如，要在 DDoS 文件夹中包含客户端 10 的 TCP 流量数据，请导航到 DDoS/CSV/Dataset-10-TCP.csv。
   • 要包含正常流量，请导航到 Normal/CSV/Dataset-10.csv。
   • 将 CSV 文件加载到您偏好的数据分析工具中（例如，使用 pandas 的 Python）。
   • 如有需要，合并来自多个客户端的数据。例如，您可以合并客户端 1 到 10 的本地数据。
4. 训练模型：
   • 使用训练集训练您的机器学习模型。
   • 在联邦学习设置中，本地模型在每个客户端的数据上进行训练，然后将模型聚合以形成全局模型。
5. 测试全局模型：
   • 我们为每个标签提供了测试数据。
   • 将这些数据合并以形成全局模型的测试集。
   • 导航到 TEST 文件夹。
   • 在 内部，进入 文件夹并选择测试 CSV 文件。

许可

FLNET2023 数据集包含标记的网络流，包括 pcap 格式的完整数据包载荷。此外，相关的配置文件、标记流以及为联邦学习优化的 CSV 文件均可供研究人员公开访问。该数据集公开可用，以促进入侵检测领域的进一步进展。如果您打算在您的工作中使用我们的数据集，我们恳请您引用我们相关的论文。