В деталях теги работают следующим образом:

- `<petabi_rules> </petabi_rules>`: Определяет все правила для этого файла правил. Должен быть только один набор открывающих и закрывающих тегов, охватывающих все указанные потоки трафика.
    - `<rule > </rule>`: Обозначает одно правило. Одно правило может генерировать произвольное количество потоков трафика или пакетов. В одном файле может быть любое количество правил.
        - Параметры:
            - name: Имя для этого правила. В основном для документации, реальной функции не имеет.
        - `<traffic_stream> </traffic_stream>`: Поток трафика определяет трафик между двумя конечными точками. Все пакеты, указанные в одном потоке трафика, будут использовать одни и те же конечные точки. Для данного правила может быть указано любое количество потоков трафика. Разные потоки трафика в одном правиле могут иметь разные конечные точки или нет, в зависимости от настроек ниже.
            - Параметры:
                - typets: Указывает, какой тип потока трафика мы будем использовать для генерации пакетов. В настоящее время доступны Standard, ScanAttack и BackgroundTraffic.
                - scantype: 1 == Syn scan (по умолчанию), 2 == Connection scan. Используется с ScanAttack.
                - target: Указывает целевой IP-адрес для атаки сканирования.
                - targetports: Для атаки сканирования. Укажите список возможных портов через запятую или один начальный порт. В противном случае порты будут сканироваться случайным образом. Если указан один начальный порт, порты будут сканироваться по порядку от этой точки до 65535, после чего вернутся к начальной точке. Этот параметр используется вместе с typets равным 'ScanAttack'.
                - srcport: Указывает исходный порт для атаки сканирования. По умолчанию случайный.
                - duration: Окно или продолжительность (в секундах) атаки сканирования, если typets равен 'ScanAttack'.
                - intensity: Интенсивность атаки сканирования, если typets равен 'ScanAttack'.
                - offset: Смещение перед началом атаки сканирования. Также используется при вставке нескольких сканирований в трафик.
                - replychance: Вероятность того, что сканирование получит ответ. Другими словами, вероятность того, что целевой порт открыт (по умолчанию 20%). Используется с ScanAttack.
                - proto: Указывает протокол этого потока трафика. Должен быть TCP или UDP, или ICMP (не тестировалось).
                - src: Исходный IP-адрес. Может быть адресом в формате xxx.xxx.xxx.xxx, $EXTERNAL_NET (для внешнего адреса — предполагает, что домашняя сеть задана), $HOME_NET или any (случайный выбор IP-адреса).
                - dst: IP-адрес назначения. Аналогично исходному IP-адресу.
                - sport: Исходный порт (предполагается TCP или UDP). Можно использовать формат port из Snort, который может быть списком, разделенным запятыми в скобках (например, [80,88,89]), диапазоном (например, [10:1000]) или any (случайный выбор от 0 до 65535).
                - dport: Порт назначения, аналогично sport.
                - handshake: Будет генерировать TCP-рукопожатие в начале потока. Если исключен, рукопожатия не будет. Допустимые значения: true или false. По умолчанию false.
                - latency: Устанавливает среднюю задержку между пакетами (в микросекундах).
                - teardown: Закроет поток после отправки всего трафика, добавляя TCP-завершение в конце потока трафика. Допустимые значения: true или false. По умолчанию false.
                - synch: Потоки трафика синхронны или нет. Если true, один поток трафика должен завершиться до начала следующего. Если false, все смежные потоки, для которых установлено false (т.е. асинхронные), будут выполняться одновременно.
                - tcp_overlap: Значение по умолчанию false. Если true, начиная со второго пакета будет добавлено дополнительное содержимое, а порядковый номер TCP будет уменьшен на единицу для имитации перекрытия порядковых номеров TCP.
                - ipv: Указывает IPv4 или IPv6. Допустимые значения: 4 или 6. По умолчанию 4.
                - out_of_order: Случайным образом пакеты приходят не по порядку. Обратите внимание, это работает только с пакетами, использующими параметр 'times'. Кроме того, этот параметр следует использовать с ack, чтобы в трассе трафика появились правильные дублирующие ACK. Допустимые значения: true или false. По умолчанию false.
                - out_of_order_prob: Задает вероятность того, что пакеты придут не по порядку. Например, 10 означает 10% вероятность для каждого пакета прийти не по порядку. Пакеты, пришедшие не по порядку, прибывают после всех пакетов, пришедших по порядку. Кроме того, они также случайным образом перемешиваются. Таким образом, если первые пакеты 2 и 5 из 10 пакетов определены как не по порядку, они прибудут последними из 10 пакетов (слоты 9 и 10) и будут в произвольном порядке (например, 5 может прийти перед 2 или наоборот). Значение должно быть от 1 до 99. По умолчанию 50.
                - packet_loss: Случайным образом пакеты теряются (т.е. не прибывают). Это работает только с параметром 'times'. Кроме того, этот параметр следует использовать с ack, установленным в true, чтобы в трассе трафика появились дублирующие ACK. Допустимые значения от 1 до 99, представляющие вероятность потери пакета. Обратите внимание, потеря пакета происходит только для пакетов, несущих данные, а не для ACK.
                - ack: За каждым пакетом данных в этом потоке будет следовать ACK от сервера. Допустимые значения: true или false. По умолчанию false.
                - percentage: Применяется только для BackgroundTraffic, и в файле правил или каталоге должно быть только одно правило BackgroundTraffic. Процент указывает процент потока фонового трафика, который будет создан в общем потоке трафика.
                - http: Процентное распределение протоколов приложений http в потоке фонового трафика.
                - ftp: Процентное распределение протоколов приложений ftp в потоке фонового трафика.
                - pop: Процентное распределение протоколов приложений pop в потоке фонового трафика.
                - smtp: Процентное распределение протоколов приложений smtp в потоке фонового трафика.
                - imap: Процентное распределение протоколов приложений imap в потоке фонового трафика.
            - `<pkt > </pkt>`: Эта директива обозначает либо отдельный пакет, либо серию пакетов. Функция times может использоваться, чтобы одна директива `<pkt> </pkt>` генерировала несколько пакетов. В противном случае необходимо явно указывать каждый пакет в каждом направлении.
                - Параметры:
                    - dir: Направление пакета. Допустимые значения: to server или to client. Начальный исходный IP считается клиентом, а начальный IP назначения — сервером. Таким образом, 'to server' отправляет пакет от клиента к серверу, а 'to client' — от сервера к клиенту. По умолчанию to server.
                    - content: Регулярное выражение, указывающее содержимое для этого пакета. Размер пакета будет зависеть от регулярного выражения.
                    - fragment: Фрагментировать ли этот пакет. Работает только с ipv4. Должен иметь значение больше 2. Создаст столько фрагментов, сколько допустимо или указано (в зависимости от того, что меньше). Значение по умолчанию 0 означает отсутствие фрагментов.
                    - ack: Отправить ACK на этот пакет или нет. Допустимые значения: true или false. По умолчанию false.
                    - split: Разделить содержимое между указанным количеством пакетов. По умолчанию все содержимое отправляется в одном пакете (фрагменты являются небольшим исключением из этого правила).
                    - times: Отправить этот пакет x раз. Значение по умолчанию 1, положительное значение отправит ровно x пакетов (возможно, с ACK, если ack равно true), а отрицательное число отправит случайное количество пакетов от 1 до abs(-x).
                    - ttl: Устанавливает значение TTL для пакета. По умолчанию Sniffles генерирует случайное значение TTL.
                    - ttl_expiry: Имитирует атаку с истечением TTL, разбивая пакеты на несколько пакетов с одним вредоносным пакетом между двумя хорошими пакетами. По умолчанию значение 0 (нет вредоносных пакетов). Если значение ненулевое, будет вставлен вредоносный пакет с TTL, равным значению ttl_expiry. Если установлено значение ttl, хороший пакет получит новое значение ttl

Заключительные примечания: Новый формат правил — это лишь начало и может содержать проблемы. Пожалуйста, сообщайте мне о любых несоответствиях или ошибках. Кроме того, предполагается расширить возможности, чтобы обеспечить все больше и больше функциональности по мере необходимости. Пожалуйста, свяжитесь со мной для добавления желаемых функций. Наконец, этот продукт предоставляется «как есть». Нет никаких гарантий функциональности или точности. Не стесняйтесь форкать этот проект для своих нужд.

Благодарности:
--------------

Это приложение было создано компанией Petabi, Inc., где мы создаем надежные, реалистичные и быстрые решения для безопасности.

Авторы:

- Victor C. Valgenti
- Min Sik Kim
- Tu Le
- Moosuk Pyun

Новые функции:
--------------

- 21.11.2014: Версия 1.4.0. Добавлено разделение трафика и traffobot для двунаправленной генерации трафика. Исправлена ошибка, когда исключение выбрасывалось при объеме генерируемого трафика, который мог поместиться в один вызов записи трафика. Переформатировано и включено использование. Наконец, добавлены модульные тесты для traffobot и разбора XML.

- 03.02.2015: Версия 2.0. Полностью переработана работа потоков для снижения требований к памяти при генерации больших потоков с использованием специальных правил. В настоящее время может обрабатывать около 2–3 миллионов одновременных потоков до замедления. Добавлены некоторые функции для помощи при создании больших потоков. Во-первых, генерируйте с чем-то вроде параллелизма в 2–3 миллиона потоков. Кроме того, не используйте teardown для этих потоков. Часть потоков будет длиться от начала до конца захвата, в то время как остальные будут закрываться каждый период пакетной обработки. Я буду работать над повышением эффективности, но управление всеми сложными опциями в Sniffles теперь невозможно дешево реализовать в памяти. Единственное другое решение — получить более мощную машину с большим объемом ОЗУ. Эта версия также содержит множество исправлений.

- 11.02.2015: Добавлена вероятность для пакетов, приходящих не по порядку, чтобы можно было настроить частоту таких пакетов.

- 05.03.2015: Изменено завершение TCP на стандартную последовательность завершения. Теперь содержимое может быть распределено по нескольким пакетам без использования фрагментов.

- 09.04.2015: Исправлен трафик сканирования, который был частично сломан во время одного из предыдущих изменений. Временная метка начала pcap теперь по умолчанию равна текущему времени и может быть установлена с помощью опции -g. Наконец, третий пакет в трехстороннем рукопожатии TCP теперь будет нести данные, если клиент должен отправлять данные первым.

- 22.05.2015: Переписан парсинг правил для упрощения расширения парсера правил для поддержки большего количества форматов. Встроен обход NFA и pcre непосредственно в Sniffles. Очищен код и подготовлен к публикации.

- 27.05.2015: Обновлена документация, добавлены библиотеки pcre и построение NFA, чтобы сделать Sniffles автономным пакетом. Добавлены Генератор регулярных выражений и Генератор случайных правил как часть пакета Sniffles. Обновлена версия до 3.0.0 и опубликована на GitHub.

- 12.08.2015: Реализовано большое количество исправлений ошибок и новых функций. Принципиально изменена обработка потоков и потоков для улучшения расширяемости. Добавлена задержка на поток. Обновлена документация.

Генератор регулярных выражений
==============================

Это простой генератор регулярных выражений.
Он создает регулярные выражения либо полностью случайным образом, либо на основе серии распределений.
Управление способом генерации регулярных выражений является структурным, а не контекстуальным. Другими словами, не предпринимается попыток сделать определенные строковые токены присутствующими в генерируемых регулярных выражениях. Однако распределения вероятностей могут быть настроены, чтобы влиять на типы функций, встречающихся в правилах, такие как классы символов, альтернативы, повторения и т.д.

Установка
---------

Будет автоматически установлен вместе с остальными компонентами Sniffles.

Параметры
---------

regexgen — Генератор случайных регулярных выражений.

    usage: regexgen [-C char distribution] [-c number regex]
    [-D class distribution] [-f output re file]
    [-l lambda for length generation] [-M maximum regex length]
    [-m minimum regex length] [-n negation probability]
    [-o options chance] [-R repetition chance] [-r repetition distribution]
    [-t re structural type distribution] [-?] [-g]

- -C Распределение символов: Задает возможность появления определенных символов или типов символов. См. краткое объяснение распределений ниже, чтобы узнать, как это использовать. По умолчанию это равномерное распределение. Это распределение имеет пять слотов: ASCII-символы, двоичные символы в формате \x00, алфавитные буквы (верхний или нижний регистр), цифры и подстановочные классы (например, \w). Пример ввода: «10,20,10,40,20» означает, что 10% шанс, что любой сгенерированный символ будет из 10% ASCII, 20% двоичных, 10% букв и т.д. Одно предостережение: ASCII-символы, которые могут вызвать проблемы с регулярными выражениями (например, `[` или `{`), преобразуются в шестнадцатеричное представление (например, \x3b).
- -c Количество генерируемых регулярных выражений. По умолчанию одно.
- -D Распределение классов: Имеет только два слота. Первый слот — вероятность того, что класс состоит из некоторого количества случайно сгенерированных символов. Второй слот — вероятность того, что класс состоит из диапазонов (например, a-z).
- -f Имя выходного файла. Задает имя файла, в котором сохраняются регулярные выражения. По умолчанию файл с именем rand.re в текущем рабочем каталоге.
- -g Группы: Все регулярные выражения будут иметь общий префикс, как минимум с одним или несколькими другими регулярными выражениями (при условии, что выражений больше одного). Общий префикс — это просто регулярное выражение, которое одинаково для некоторого набора регулярных выражений. Общее количество возможных общих префиксов составляет от 1 до 1/2 от общего количества генерируемых регулярных выражений. Значение по умолчанию для этой опции — false. Эта опция не принимает параметров.
- -l Лямбда для длины: Средняя длина для экспоненциального распределения длины регулярных выражений. Значение по умолчанию — 10.
- -M Максимальная длина регулярного выражения: Регулярные выражения будут не длиннее этой структурной длины. По умолчанию максимальная длина не ограничена.
- -m Минимальная длина регулярного выражения: Регулярные выражения будут не короче этой длины. По умолчанию 3, и автоматически устанавливается значение 1, если ввод меньше или равен нулю.
- -n Вероятность отрицания: Вероятность того, что класс символов будет классом отрицания ([^xyz]), а не обычным классом символов ([xyz]). Вероятность по умолчанию — 50%.
- -o Вероятность опции: Вероятность добавления опции к регулярному выражению. Текущие опции: 'i', 'm' и 's'. Случайное количество опций добавляется в список, при этом опции выбираются равномерно.
- -R Вероятность повторения: Вероятность появления повторения после добавления любого структурного компонента в регулярное выражение.
- -r Распределение повторений: Распределение структур повторения. Слоты: «ноль или один» (?), «ноль или более» (*), «один или более» (+) и «счет» ({x,y}).
- -t Распределение структурных типов RE: Распределение основных структурных компонентов регулярного выражения. Состоит из трех слотов (категорий): символы, классы и альтернативы. Обратите внимание, альтернатива просто генерирует более короткое регулярное выражение вплоть до размера оставшейся длины RE. Другими словами, альтернатива приведет к объединению нескольких более коротких регулярных выражений в общее. Альтернатива использует ту же методологию при создании этих более коротких регулярных выражений.
- -? Вывод этой справки.

    Этот генератор создает случайные регулярные выражения. Можно настроить структуры внутри регулярных выражений до распределения вероятностей, но в настоящее время не содержимое. Это желательно для исследования максимального разнообразия возможных регулярных выражений (хотя не обязательно реалистичных). Распределения обрабатываются путем создания списка вероятностей для различных возможностей (слотов) для конкретного распределения. Они добавляются как аргументы командной строки с помощью простого строкового списка, например: «10,30,40,20». Список должен содержать столько значений, сколько слотов. Сумма всех значений в списке должна быть 100, и не должно быть дробей. Значение в каждом слоте — это вероятность того, что этот слот будет выбран. Например, базовое распределение структурных типов RE имеет три слота. Первый слот — вероятность того, что следующим структурным типом будет символ (где символ может быть буквой, цифрой, двоичным, ASCII или подстановочным классом (например, \w)). Второй слот — для классов символов, таких как [ab@%], [^123] или [a-z]. Третий слот — вероятность появления альтернативы, такой как (ab|cd). С помощью этих трех слотов можно настроить, как часто структуры будут появляться в ваших регулярных выражениях. Например, regexgen -c 10 -t "80,10,10" создаст 10 регулярных выражений, где 80% используемых структур будут символами, 10% — классами символов и 10% — альтернативами.

Генератор случайных правил
==========================

Генератор случайных правил предоставляет средство для создания нескольких случайно сгенерированных правил для тестирования конкретной платформы. В настоящее время сгенерированные правила соответствуют либо формату правил Snort, либо представляют собой просто строки текста. Для работы Генератора случайных правил необходимо иметь набор определенных признаков. Примеры признаков можно найти в папке example_features и они описаны ниже.

Установка
---------

Автоматически устанавливается вместе с Sniffles

Примечание: Генератор случайных правил использует Генератор случайных регулярных выражений для создания содержимого любого вида.Опции
-------

Генератор случайных правил

usage: rulegen -c [number of rules] -f [feature set]
        -o [outfile] [-s]

- -c  Количество правил: количество правил для генерации.
      По умолчанию — одно.
- -f  Набор признаков: файл, содержащий описание набора признаков.
      Пожалуйста, обратитесь к документации за дальнейшими разъяснениями о
      наборах признаков и о том, как их описывать.
- -o  Выходной файл: выходной файл, в который записываются правила.
      По умолчанию — rules.txt
- -s  Формат правил Snort: запись правил в формат правил Snort.
      Без параметров, по умолчанию выключено.  Когда выключено, правила просто
      преобразуются в строковый формат, каким бы он ни был на основе
      анализатора признаков.

Набор признаков
---------------

Признаки используются для описания потенциальных аспектов правил,
используемых в IDS.  Например, фильтр пакетов может использовать правила,
нацеленные на исходный и целевой IP-адреса.  В этом случае можно
создать набор признаков, описывающий, как должны генерироваться эти
исходные и целевые IP-адреса.  Более конкретно, мы различаем
простые и сложные правила.  Разница
между ними заключается в наличии неоднозначных обозначений.  Например,
если у нас есть неоднозначное обозначение * для обозначения любого
IP-адреса, то можно сказать, что * представляет собой неоднозначное обозначение.
Далее мы знаем, что правило может также использовать неоднозначное обозначение,
например 192.168.1.1.  Это будет представлять простой IP-адрес, так как
это единственный фиксированный IP-адрес без каких-либо возможных неоднозначных
обозначений.  Затем мы дополнительно определяем диапазон конкретных
признаков (например, IP-адреса по всем более чем 4 миллиардам
возможных IPv4-адресов или только некоторое подмножество из них).

Признаки в конечном итоге определяют все аспекты для
произвольного правила.  Имея набор признаков и корректный формат правила,
становится возможным случайным образом генерировать произвольное количество
правил, использующих эти признаки.  Таким образом можно
сгенерировать тестовые наборы правил, которые будут проверять IDS в
векторе, который часто упускается из виду.

Признаки определяются в списке, разделённом точкой с запятой, по одному признаку на строку
type=feature; список аргументов в виде пар ключ=значение, списки с использованием форматирования
Python (т.е. [a, ..., z]).  Признаки определяют конкретные части
целевого формата правил.  Признаки могут быть расширены для добавления дополнительных функций.
Опционально можно расширить возможности признаков, создав новый
формат правил.

Текущие типы признаков:

1. Feature — общий признак
2. Content — признак содержимого
3. IP — IP-признак
4. Protocol — признак протокола

Неоднозначные списки следует записывать как списки вида [x:y]
для диапазона, [x,y] для списка, {x1,x2,x3} для множества
или просто * для подстановочного знака или аналогичного одиночного варианта.

Пример неоднозначного списка:```
ambiguity_list=[[2:9]]
it will generate [3:4], [5:6], etc (any [x:y] such that
x <= y and x >= 2 and y > x and y <= 9).

ambiguity_list=[[3,20]]
it will generate [3,9,10], [3,4,8,12], etc (any list [x1,x2,x3,..]
such that all values falling between 3 and 20.

ambiguity_list=[{5,6,10}]
it will generate a subset of {5,6,10} such as {5,10}, {5}.

ambiguity_list=[[2:9],[3,20],{5,6,11}]
it will pick one of [2:9], [3,20], and {5,6,11} and
generate a corresponding instance (see above)

вышеописанное определяет две характеристики: характеристику протокола и исходного
IP-адреса. Протокол называется proto, что важно
только для форматировщика правил, и допустимыми протоколами являются:
IP, TCP, UDP и ICMP. Характеристика IP определена как IPv4,
и все правила будут сложными. Сложность IP уже
является частью класса и не должна добавляться в определение характеристики.
Это будет создавать IP-адреса с использованием нотации CIDR.

Generic Feature Attributes:

- Feature_name: Информационный атрибут, потенциально ценный для
                форматировщика правил.
- lower_bound: Нижняя граница возможных значений. Предполагается,
               что характеристика является числом.
- upper_bound: Противоположность lower_bound.
- complexity_prob: Вероятность использования сложных характеристик для
                   правила. От 0 до 100. По умолчанию 0.
                   Когда используются сложные характеристики, неоднозначная нотация
                   случайным образом выбирается из списка неоднозначностей, или,
                   если характеристика определяет конкретную неоднозначность (например,
                   IP-адреса), то используется она. Когда сложные
                   характеристики не используются, значение генерируется с использованием
                   границ, или, в случае Content,
                   с использованием набора значений распределения, которые
                   ограничивают генерируемую строку рядом
                   ASCII-символов.
- ambiguity_list: Список возможных неоднозначных нотаций.
                  Список, разделённый запятыми, в формате Python
                  (т.е. [a, b, c]).
- toString(): Выводит экземпляр правила для данного набора
              характеристик.

Content Feature -- Inherits from Feature:
- regex: True или False. Если True, будет использовать форматирование PCRE для
         regex, а также возможно добавить опции i, s или
         m к regex.
- length: Определяет среднюю длину генерируемого
          содержимого.
-  min_regex_length: Определяет минимальную длину regex.

Protocol Feature -- Inherits from Feature:
- proto_list: Определяет список возможных протоколов,
                 в виде списка, разделённого запятыми (т.е. [TCP,
                 UDP]).

IP Feature -- Inherits from Feature:
- version: 4 для IP версии 4, 6 для IP версии 6.
           По умолчанию версия 4.

Ambigous notation for ranges, lists, sets:

Range Notation:
  [x:y]  означает от x до y (включительно).

List notation:
  [x,y] означает список из некоторого случайно определённого количества значений,
  где каждое значение больше или равно x
  и меньше или равно y.

Set notation:
  {x1,x2,x3,x4} означает множество значений x1, x2, x3, x4. Оно
  будет генерировать подмножество исходного множества.

Пожалуйста, посмотрите примеры наборов характеристик в папке
example_features для получения дополнительных примеров.
Более подробная информация, а также академическая теория,
лежащая в основе этого, будут добавлены позже.