Фреймворк для анализа сетевого трафика и извлечения признаков.
LUCX (LUCID network traffic parser eXtended) — это анализатор сетевого трафика, который работает как с предварительно записанными трассировками трафика в формате pcap, так и с живым сетевым трафиком, захватываемым с сетевого интерфейса. LUCX является расширенной версией анализатора набора данных LUCID (https://github.com/doriguzzi/lucid-ddos). Как и оригинальная версия, LUCX формирует наблюдения за трафиком, согласующиеся с теми, что собираются в существующих онлайн-системах, где алгоритмы обнаружения должны справляться с сегментами потоков трафика, собранными за заранее заданные временные окна.
Кроме того, LUCX извлекает больше признаков (например, признаки, специфичные для TLS) в двух различных форматах: Packet-Level и Statistical, описанных ниже в этом README.
Операции предварительной обработки трафика разделены на два различных этапа: первый извлекает признаки из пакетов и организует их в потоки и временные окна, второй выполняет нормализацию признаков, дополнение (или выравнивание, в зависимости от желаемого формата вывода) и сохраняет обучающий, валидационный и тестовый наборы в формате hdf5.
Пример системы обнаружения вторжений (NIDS), предоставленный в этом репозитории в виде Jupyter notebook, может использоваться для обучения и оценки моделей глубокого обучения (в частности, многослойного перцептрона (MLP) или свёрточной нейронной сети (CNN)) с использованием как пакетных, так и статистических представлений сетевого трафика, сгенерированных LUCX.
LUCX реализован на Python v3.X, Numpy и Pyshark. LUCX требует установки ряда инструментов и библиотек Python. Это можно сделать с помощью программной среды conda (https://docs.conda.io/projects/conda/en/latest/).
Мы рекомендуем установить miniconda — облегчённую версию conda. miniconda доступна для MS Windows, MacOSX и Linux и может быть установлена в соответствии с рекомендациями, доступными по адресу https://docs.conda.io/en/latest/miniconda.html#.
Требуется MS Windows 10 версии 2004 и выше (сборка 19041 и выше) или Windows 11.
В MS Windows сначала установите подсистему Windows для Linux из командной строки: wsl.exe —install (см. здесь для получения дополнительной информации). Эта команда установит операционную систему Ubuntu Linux на ваш компьютер. Вы можете получить доступ к командной строке Linux, запустив приложение WSL из меню Windows, затем следуйте рекомендациям для ОС Linux, приведённым ниже.
Откройте терминал, выполните одну из следующих команд (в зависимости от вашей операционной системы) и следуйте инструкциям на экране:
bash Miniconda3-latest-Linux-x86_64.sh (on Linux operating systems)
bash Miniconda3-latest-MacOSX-x86_64.sh (on macOS)
Затем создайте новое окружение conda (с именем python313) на основе Python 3.13.5:
conda create -n python313 python=3.13.5
Активируйте новое окружение python313:
conda activate python313
И настройте окружение, установив ещё несколько пакетов:
(python39)$ pip install scikit-learn h5py pyshark matplotlib graphviz pandas scikeras pydot seaborn
Pyshark используется для предварительной обработки данных. Это всего лишь обёртка Python для tshark, что означает, что tshark также должен быть установлен. В ОС на базе Ubuntu используйте следующую команду:
sudo apt install tshark
В macOS просто скачайте Wireshark здесь и установите его.
Обратите внимание, что текущий код парсера работает с wireshark/tshark версии 4.4.9 или выше.
LUCX рассматривает двунаправленные сетевые потоки трафика, определяемые как группы пакетов, которые имеют одинаковый идентификатор 5‑кортежа или его транспонированный 5‑кортеж. 5‑кортеж — это распространённый способ однозначной характеристики потока связи в IP-сетях, и он состоит из:
Когда пакеты имеют идентичные значения для этих пяти полей, они считаются частью одного потока. Концепция транспонированного 5‑кортежа учитывает двунаправленную связь: если адреса/порты источника и назначения поменяны местами, но протокол остаётся тем же, пакеты по-прежнему считаются частью одного потока. Это гарантирует, что оба направления обмена (клиент → сервер и сервер → клиент) группируются вместе.
Пример: Предположим, клиент с IP 192.168.1.10 отправляет TCP-запрос веб-серверу с IP 203.0.113.5 на порт 80. Клиент использует порт источника 54321.
Оба набора пакетов принадлежат одному и тому же потоку трафика, поскольку обратное направление соответствует транспонированному 5‑кортежу прямого направления. Кроме того, LUCX разбивает каждый поток трафика, извлечённый из трассировок сетевого трафика набора данных (или входящего сетевого трафика), на субпотоки на основе временных окон. Эта сегментация имитирует реальные сценарии, в которых трафик собирается в пределах статических или динамических временных окон, а затем передаётся классификатору для анализа. Таким образом система отражает операционные практики систем обнаружения вторжений (IDS), которые часто полагаются на ограниченную по времени агрегацию пакетов для выявления краткосрочного поведения и обнаружения атак.
После того как пакеты сгруппированы в потоки, а потоки дополнительно разбиты на субпотоки, LUCX преобразует субпотоки в выборки, которые можно использовать для обучения, валидации и тестирования классификаторов на основе машинного обучения. Возможны два формата вывода: массивы (как в LUCID) или векторы. Первый формат сохраняет признаки, извлечённые непосредственно из пакетов, а второй создаёт статистические представления признаков уровня пакетов. Эти два режима работы называются признаками уровня пакетов и статистическими признаками соответственно.