Эмулятор CORE

Common Open Research Emulator CORE — это инструмент для эмуляции сетей на одной или нескольких машинах. Вы можете подключать эти эмулированные сети к реальным сетям. CORE состоит из графического интерфейса для рисования топологий легковесных виртуальных машин и модулей Python для написания сценариев сетевой эмуляции.

Сетевая топология

Набор данных был сгенерирован на основе сетевой топологии GEANT-2012, полученной из The Internet Topology Zoo. Эта реальная топология представляет собой крупномасштабную сетевую инфраструктуру, аналогичную используемой интернет-провайдерами (ISP), с 40 узлами, каждый из которых представляет основной маршрутизатор, обслуживающий определенные местоположения или функции. Топология была воспроизведена в эмуляторе Common Open Research Emulator (CORE), где данные сетевого трафика были собраны с десяти стратегически выбранных узлов-маршрутизаторов, обозначенных как {D1, D2, D3, ..., D10}, как показано на рисунке ниже. Эти узлы охватывают различные части сети и были выбраны для обеспечения разнообразного и реалистичного набора данных.

Сетевые атаки и симуляция

FLNET2023 включает широкий спектр как нормального, так и вредоносного сетевого трафика, обеспечивая реалистичное представление сетевых взаимодействий. Набор данных охватывает несколько типов распространенных сетевых протоколов, таких как HTTP, TCP, UDP и ICMP.

Размеченный набор данных

Каждый экземпляр в FLNET2023 тщательно размечен, предоставляя ценную информацию о сетевом потоке, который он представляет. Метки не только указывают, является ли данный экземпляр нормальным или вредоносным, но также предоставляют подробную информацию о типе атаки, если таковая имеется. Эти метки значительно упрощают задачу обучения и тестирования моделей обнаружения вторжений.

Разнообразие атак

Набор данных FLNET2023 содержит четыре типа DDoS-атак — DDoS-dyn, DDoS-stomp, DDoS-bot и DDoS-tcp — часто встречающихся в реальных сетевых сценариях. Признавая, что угрозы в сетевой среде не ограничиваются DDoS, наш набор данных включает множество других типов атак, таких как DoS-slowhttp и Infiltration-mitm. Он также охватывает веб-атаки, включая внедрение команд, XSS и SQL-инъекции. Включение этих разнообразных типов атак повышает реалистичность набора данных и обеспечивает его соответствие реальным угрозам в сети.

Набор признаков

Набор данных FLNET2023 предоставляет обширный набор признаков, предлагая всесторонние сведения о каждом сетевом потоке. Эти признаки включают IP-адреса источника и назначения, номера портов, длины пакетов, временные метки и другие. Признаки извлекаются с помощью инструмента CICFLOWMeter. Кроме того, мы предоставили файлы PCAP, если вы хотите использовать собственный инструмент извлечения признаков.

Метаданные

FLNET2023 включает богатые метаданные о каждом экземпляре, которые предоставляют дополнительный контекст и помогают в интерпретации данных. Метаданные содержат сведения о маршрутизаторах и их IP-адресах, что является важной информацией для полного понимания набора данных и эффективной разработки и оценки моделей обнаружения вторжений.

Организация набора данных

Набор данных разделен на папки в соответствии с различными типами сетевых атак и нормальным трафиком. Каждый тип атаки, а также нормальный трафик, имеет свою собственную папку с соответствующим названием: DDoS, DoS, Infiltration, Normal, Web и TEST.

Внутри каждой из этих папок есть две подпапки: CSV и PCAP.

• Папка CSV: Эта папка содержит данные, собранные для каждого клиента в формате CSV. Каждый файл назван в соответствии с соглашением Dataset-<НомерКлиента>-<ТипТрафика>.csv. Например:

  • Dataset-10-TCP.csv: Этот файл содержит данные TCP-трафика для клиента 10.
  • Dataset-1-BOT.csv: Этот файл содержит данные BOT-трафика для клиента 1.

  В некоторых папках, где есть только один тип атаки, набор данных называется в соответствии с соглашением Dataset-<НомерКлиента>.csv без указания типа трафика. Например:

  • /Infiltration/CSV/Dataset-1.csv: Этот файл содержит данные атаки типа Infiltration для клиента 1.

• Папка PCAP: Эта папка содержит соответствующие файлы захвата пакетов (PCAP) для каждого клиента, названные аналогично файлам CSV. Например:

  • Dataset-10-TCP.pcap: Этот файл содержит данные захвата пакетов для TCP-трафика клиента 10.
  • Dataset-1-BOT.pcap: Этот файл содержит данные захвата пакетов для BOT-трафика клиента 1.

Точки сбора данных

Точки данных в наборе данных FLNET2023 собираются с нескольких уникальных узлов в сетевой топологии, обеспечивая всесторонний взгляд на сетевую активность. Эти точки сбора включают различные узлы-серверы и узлы-маршрутизаторы, каждый из которых вносит вклад в разнообразие и глубину набора данных. Точки сбора были выбраны с целью создания набора данных, отражающего широкий спектр сетевых взаимодействий. IP-адреса точек сбора данных приведены в таблице ниже.

Другие узлы-маршрутизаторы

В дополнение к точкам сбора данных, FLNET2023 включает множество других узлов-маршрутизаторов, что повышает реалистичность и сложность сетевой топологии. Эти узлы-маршрутизаторы играют ключевую роль в направлении сетевого трафика и моделировании реальных сценариев перегрузки сети и маршрутизации. Их включение в топологию помогает создать более аутентичную сетевую среду и создает дополнительные проблемы для обнаружения вторжений. IP-адреса других узлов-маршрутизаторов приведены в таблице ниже.

Как использовать набор данных

Следуйте инструкциям ниже, чтобы эффективно использовать набор данных для обучения и тестирования ваших моделей машинного обучения:

1. Загрузите набор данных: Загрузите набор данных по ссылке, указанной выше.
2. Навигация по папкам: Выберите папку, соответствующую интересующему вас типу трафика или атаки (например, DDoS, DoS, Infiltration, Normal, Web, TEST).
3. Подготовка обучающих данных:
   • Перейдите в папку CSV внутри выбранного типа трафика.
   • Выберите соответствующие CSV-файлы для клиентов, которых вы хотите включить в обучающий набор.
   • Например, чтобы включить данные TCP-трафика для клиента 10 в папке DDoS, перейдите в DDoS/CSV/Dataset-10-TCP.csv.
   • Чтобы включить нормальный трафик, перейдите в Normal/CSV/Dataset-10.csv.
   • Загрузите CSV-файлы в предпочитаемый инструмент анализа данных (например, Python с использованием pandas).
   • При необходимости объедините данные от нескольких клиентов. Например, вы можете объединить локальные данные для клиентов 1–10.
4. Обучение модели:
   • Обучите вашу модель машинного обучения, используя обучающий набор.
   • В конфигурации федеративного обучения локальные модели обучаются на данных каждого клиента, а затем модели агрегируются для формирования глобальной модели.
5. Тестирование глобальной модели:
   • Мы предоставили тестовые данные для каждой метки.
   • Объедините эти данные, чтобы сформировать тестовый набор для глобальной модели.
   • Перейдите в папку TEST.
   • Внутри TEST перейдите в папку CSV и выберите тестовые CSV-файлы.
   • Например, TEST/CSV/slowHTTP.csv содержит тестовые данные Slow HTTP.
   • Загрузите тестовые CSV-файлы в ваш инструмент анализа данных.
   • Оцените глобальную модель, используя объединенный тестовый набор.

Лицензия

Набор данных FLNET2023 состоит из размеченных сетевых потоков, включая полные полезные нагрузки пакетов в формате pcap. Кроме того, соответствующие профили, размеченные потоки и CSV-файлы, оптимизированные для федеративного обучения, находятся в открытом доступе для исследователей. Он общедоступен для исследователей, чтобы способствовать дальнейшему прогрессу в области обнаружения вторжений. Если вы планируете использовать наш набор данных в своей работе, мы любезно просим вас процитировать нашу соответствующую статью.