詳細には、タグは次のように機能します:

- `<petabi_rules> </petabi_rules>`: このルールファイルのすべてのルールを定義します。指定されたトラフィックストリームを開閉するタグのセットは1つだけであるべきです。
    - `<rule > </rule>`: 単一のルールを指定します。1つのルールは任意の数のトラフィックストリームまたはパケットを生成できます。1つのファイルに任意の数のルールを含めることができます。
        - オプション:
            - name: このルールの名前。主にドキュメント用で、実際の機能はありません。
        - `<traffic_stream> </traffic_stream>`: トラフィックストリームは2つのエンドポイント間のトラフィックを定義します。1つのトラフィックストリーム内で指定されたすべてのパケットは同じエンドポイントを共有します。特定のルールに対して任意の数のトラフィックストリームを指定できます。同じルール内の異なるトラフィックストリームは、以下の設定に応じて異なるエンドポイントを持つ場合と持たない場合があります。
            - オプション:
                - typets: パケット生成に使用するトラフィックストリームのタイプを指定します。現在、Standard、ScanAttack、BackgroundTrafficがあります。
                - scantype: 1==Synスキャン（デフォルト）2==コネクションスキャン。ScanAttackで使用します。
                - target: スキャン攻撃の対象IPアドレスを指定します。
                - targetports: スキャン攻撃用。カンマ区切りのポートリスト、または単一の開始ポートを指定します。指定しない場合、ポートはランダムにスキャンされます。単一の開始ポートが指定された場合、そのポートから65535まで順にスキャンされ、その後開始ポートに戻ります。このオプションはtypetsが'ScanAttack'の場合に使用します。
                - srcport: スキャン攻撃の送信元ポートを指定します。デフォルトはランダムです。
                - duration: typetsが'ScanAttack'の場合のスキャン攻撃のウィンドウ、つまり持続時間（秒単位）。
                - intensity: typetsが'ScanAttack'の場合のスキャン攻撃の強度。
                - offset: スキャン攻撃を開始する前のオフセット。トラフィックに複数のスキャンを挿入する場合にも使用します。
                - replychance: スキャンに応答がある確率。つまり、ターゲットポートが開いている確率（デフォルト20%）。ScanAttackで使用します。
                - proto: このトラフィックストリームのプロトコルを指定します。TCP、UDP、ICMP（未テスト）のいずれかであるべきです。
                - src: 送信元IPアドレス。xxx.xxx.xxx.xxx形式のアドレス、$EXTERNAL_NET（外部アドレス—ホームネットワークが指定されていることを前提）、$HOME_NET、またはany（ランダムにIPアドレスを選択）の場合があります。
                - dst: 宛先IPアドレス。送信元IPアドレスと同じです。
                - sport: 送信元ポート（TCPまたはUDPを想定）。Snortポート形式を使用できます。これは、角括弧内のカンマ区切りリスト（例：[80,88,89]）、範囲（例：[10:1000]）、またはany（例：0-65535からランダム選択）です。
                - dport: 宛先ポート（sportと同様）。
                - handshake: ストリームの開始時にTCPハンドシェイクを生成します。除外するとハンドシェイクはありません。有効な値はtrueまたはfalseです。デフォルトはfalseです。
                - latency: パケット間の平均レイテンシー（マイクロ秒単位）を設定します。
                - teardown: すべてのトラフィックが送信された後に、トラフィックストリームの末尾にTCPティアダウンを追加してストリームを閉じます。有効な値はtrueまたはfalseです。デフォルトはfalseです。
                - synch: トラフィックストリームが同期するかどうか。trueの場合、1つのトラフィックストリームが完了してから次のトラフィックストリームが開始する必要があります。falseの場合、false（非同期）の連続するストリームはすべて同時に実行されます。
                - tcp_overlap: デフォルト値はfalseです。trueの場合、2番目のパケットから余分なコンテンツが追加され、TCPシーケンス番号が1つ減らされて、TCPオーバーラッピングシーケンス番号をシミュレートします。
                - ipv: IPv4またはIPv6を指定します。有効なオプションは4または6です。デフォルトは4です。
                - out_of_order: パケットをランダムに順序不同で到着させます。これは'times'オプションを使用するパケットでのみ機能することに注意してください。さらに、このオプションは適切な重複ACKがトラフィックトレースに表示されるように、ackオプションと併用する必要があります。有効な値はtrueまたはfalseです。デフォルトはfalseです。
                - out_of_order_prob: パケットが順序不同で到着する確率を設定します。たとえば、10は各パケットが順序不同で到着する確率が10%であることを意味します。順序不同のパケットは、すべての順序通りのパケットの後に到着します。さらに、それらもランダムに混合されます。したがって、10個のパケットのうち最初のパケット2と5が順序不同と判断された場合、それらは10個のパケットの最後（スロット9と10）に到着し、任意の順序（つまり、5が2の前に来るか、その逆）になります。この値は1から99の間でなければなりません。デフォルトは50です。
                - packet_loss: パケットをランダムにドロップ（つまり、到着しない）させます。これは'times'オプションでのみ機能します。さらに、このオプションは、重複ACKがトラフィックトレースに表示されるように、ackオプションをtrueに設定して使用する必要があります。有効な値は1から99で、パケットがドロップされる確率を表します。パケットドロップはデータを含むパケットにのみ発生し、ACKには発生しないことに注意してください。
                - ack: このフローのすべてのデータパケットの後にサーバーからのACKが続くようにします。有効な値はtrueまたはfalseです。デフォルトはfalseです。
                - percentage: これはBackgroundTrafficにのみ適用され、ルールファイルまたはディレクトリ内にBackgroundTrafficのルールは1つだけであるべきです。パーセンテージは、全トラフィックストリーム内で作成されるバックグラウンドトラフィックストリームの割合を示します。
                - http: バックグラウンドトラフィックストリーム内のHTTPアプリケーションプロトコルの割合分布。
                - ftp: バックグラウンドトラフィックストリーム内のFTPアプリケーションプロトコルの割合分布。
                - pop: バックグラウンドトラフィックストリーム内のPOPアプリケーションプロトコルの割合分布。
                - smtp: バックグラウンドトラフィックストリーム内のSMTPアプリケーションプロトコルの割合分布。
                - imap: バックグラウンドトラフィックストリーム内のIMAPアプリケーションプロトコルの割合分布。
            - `<pkt > </pkt>`: このディレクティブは、個々のパケットまたは一連のパケットを指定します。times機能を使用すると、1つの<pkt> </pkt>ディレクティブで複数のパケットを生成できます。それ以外の場合は、各方向の各パケットを明示的に指定する必要があります。
                - オプション:
                    - dir: パケットの方向。有効な値はto serverまたはto clientです。初期の送信元IPがクライアント、初期の宛先IPがサーバーと見なされます。したがって、'to server'はクライアントからサーバーへのパケットを送信し、'to client'はサーバーからクライアントへのパケットを送信します。デフォルトはto serverです。
                    - content: このパケットのコンテンツを指定する正規表現。パケットのサイズは正規表現に依存します。
                    - fragment: このパケットをフラグメント化するかどうか。IPv4でのみ機能します。2より大きい値である必要があります。有効な数分（または指定された数分、小さい方）のフラグメントを作成します。デフォルト値は0で、フラグメントなしを意味します。
                    - ack: このパケットにACKを送信するかどうか。有効な値はtrueまたはfalseです。デフォルトはfalseです。
                    - split: コンテンツを指定された数のパケットに分割します。デフォルトでは、すべてのコンテンツは単一のパケットで送信されます（フラグメントはこのルールの小さな例外です）。
                    - times: このパケットをx回送信します。デフォルト値は1です。正の値は正確にx個のパケット（ackがtrueの場合はACKが付く可能性あり）を送信し、負の数は1からabs(-x)の間のランダムな数のパケットを送信します。
                    - ttl: パケットのTime to Live値を設定します。デフォルトでは、SnifflesはランダムなTTL値を生成します。
                    - ttl_expiry: パケットを複数のパケットに分割し、2つの正常なパケットの間に1つの悪意のあるパケットを挿入してTTL期限切れ攻撃をシミュレートします。デフォルトでは値は0（悪意のあるパケットなし）です。値が0以外の場合、このttlがttl_expiry値に等しい悪意のあるパケットを挿入します。ttl値が設定されている場合、正常なパケットは新しいttl値で設定されます。

最終注意事項: 新しいルール形式はまだ始まったばかりであり、問題を含んでいる可能性があります。不一致やエラーがあればお知らせください。さらに、必要に応じてより多くの機能を提供するためにオプションを拡張する意向です。ご希望の機能があればご連絡ください。最後に、この製品は現状のまま提供されています。機能や正確性については一切保証しません。このプロジェクトをフォークしてご自身のニーズに合わせてご自由にご利用ください。

クレジット:
--------

このアプリケーションは、信頼性が高く、現実的で、高速なセキュリティソリューションを提供するPetabi, Inc.によって提供されています。

著者:

- Victor C. Valgenti
- Min Sik Kim
- Tu Le
- Moosuk Pyun

新機能:
-------------

- 2014年11月21日: バージョン1.4.0。トラフィック分割と双方向トラフィック生成のためのtraffobotを追加。生成されたトラフィックが単一のトラフィック書き込み呼び出しに収まる場合に例外がスローされるバグを修正。使用方法を再フォーマットして有効化。最後に、traffobotとXML解析のユニットテストを追加。

- 2015年2月3日: バージョン2.0。特別なルールを使用して大規模なストリームを生成する際のメモリ要件を削減するために、ストリームの動作を完全に書き換え。現在、事態が悪化する前に約200〜300万の同時フローを処理可能。大規模なフローを作成する際に役立つ機能をいくつか追加。まず、約200〜300万フローの同時実行性で生成する。また、これらのフローにはteardownを使用しない。フローの一部はキャプチャの最初から最後まで持続し、残りはバッチ期間ごとにクローズされる。これをより効率的にするために作業を続けるが、現在のSnifflesの複雑なオプションすべてをメモリ内で安価に管理することは実際にはできない。唯一の他の解決策は、より多くのRAMを搭載したより強力なマシンを入手することである。このバージョンにはさまざまな修正も含まれている。

- 2015年2月11日: アウトオブオーダーパケットの確率を追加し、アウトオブオーダーパケットの頻度を調整可能に。

- 2015年3月5日: TCPティアダウンを標準のティアダウンシーケンスに変更。フラグメントを使用せずにコンテンツを複数のパケットに分散できるようになりました。

- 2015年4月9日: スキャントラフィックを修正。以前の変更中に部分的に壊れていた。pcapの開始タイムスタンプが現在時刻にデフォルト設定され、-gオプションで設定可能に。最後に、3ウェイTCPハンドシェイクの3番目のパケットは、クライアントが最初にデータを送信する場合、データを含むようになりました。

- 2015年5月22日: ルールパーサーを書き換え、より多くのフォーマットに対応できるようにルールパーサーを拡張する機能を簡素化。nfaトラバーサルとpcreをSnifflesに直接組み込み。コードをクリーンアップし、公開用に準備。

- 2015年5月27日: ドキュメントを更新し、pcreライブラリとnfa構築をマージしてSnifflesを自己完結型パッケージに。正規表現ジェネレータとランダムルールジェネレータをSnifflesパッケージの一部として追加。バージョンを3.0.0に更新し、githubに公開。

- 2015年8月12日: 多数のバグ修正と新機能を実装。ストリームとフローの処理方法を根本的に変更し、拡張性を向上。フローごとのレイテンシを追加。ドキュメントを更新。

正規表現ジェネレータ
============================

これはシンプルな正規表現ジェネレータです。
完全にランダムに、または一連の分布に基づいて正規表現を作成します。
正規表現の生成方法に適用できる制御は、構造的であり、文脈的ではありません。言い換えれば、
生成された正規表現に特定の文字列トークンが出現するようにする努力は行われていません。
ただし、確率分布を微調整して、文字クラス、選択、繰り返しなど、ルールに見られる機能のタイプに影響を与えることはできます。

インストール
-------

Snifflesの残りの部分とともに自動的にインストールされます。

オプション
-------

regexgen -- ランダム正規表現ジェネレータ。

    usage: regexgen [-C char distribution] [-c number regex]
    [-D class distribution] [-f output re file]
    [-l lambda for length generation] [-M maximum regex length]
    [-m minimum regex length] [-n negation probability]
    [-o options chance] [-R repetition chance] [-r repetition distribution]
    [-t re structural type distribution] [-?] [-g]

-    -C 文字分布: 特定の文字または文字タイプが出現する可能性を設定します。使用方法の例については、以下の分布の簡単な説明を参照してください。デフォルトでは、この分布は等分布です。この分布には5つのスロットがあります: ASCII文字、\x00形式のバイナリ文字、英字（大文字または小文字）、数字、および置換クラス（\wなど）。この入力例は "10,20,10,40,20" で、生成された任意の文字が10%のASCII、20%のバイナリ、10%の英字などから来る確率が10%であることを意味します。注意点として、正規表現で問題を引き起こす可能性のあるASCII文字（`[' や '{' など）は16進表現（例：\x3b）に変換されます。
-    -c 生成する正規表現の数。デフォルトは1。
-    -D クラス分布: クラス分布には2つのスロットしかありません。最初のスロットは、クラスがランダムに生成された文字の数で構成される確率。2番目のスロットは、クラスが範囲（a-zなど）で構成される確率。
-    -f 出力ファイル名。正規表現が保存されるファイルの名前を設定します。デフォルトは現在の作業ディレクトリにあるrand.reというファイルです。
-    -g グループ: すべての正規表現は、少なくとも1つ以上の他の正規表現と共通のプレフィックスを持ちます（複数の正規表現がある限り）。共通のプレフィックスは、いくつかの正規表現のセットに対して同じ正規表現です。可能な共通プレフィックスの総数は、生成する正規表現の総サイズの1から1/2までです。このオプションのデフォルト値はfalseです。このオプションはパラメータを取りません。
-    -l 長さのラムダ: これは、正規表現の長さの指数分布の平均長です。デフォルト値は10です。
-    -M 正規表現の最大長: 正規表現を最大でこの構造的な長さ以下にします。デフォルトでは、最大長は制限されません。
-    -m 正規表現の最小長: 正規表現を少なくともこの長さ以上にします。デフォルトは3で、入力が0以下の場合は自動的に値1が使用されます。
-    -n 否定確率: 文字クラスが通常の文字クラス（[xyz]）ではなく否定クラス（[^xyz]）になる確率。デフォルトの確率は50%。
-    -o オプション確率: 正規表現にオプションが追加される確率。現在のオプションは'i'、'm'、's'です。オプションのランダムな数がリストに追加され、それらのオプションは一様分布を通じて選択されます。
-    -R 繰り返し確率: 任意の構造コンポーネントが正規表現に追加された後に繰り返しが発生する確率。
-    -r 繰り返し分布: 繰り返し構造の分布。スロットは0から1（?）、0以上（*）、1以上（+）、およびカウント（{x,y}）です。
-    -t RE構造タイプ分布: 正規表現の主要な構造コンポーネントの分布。これらは3つのスロット、つまりカテゴリーで構成されます: 文字、クラス、選択。選択は、REに残された残りの長さまでのより小さな正規表現を生成することに注意してください。言い換えれば、選択により、いくつかのより小さな正規表現が全体の正規表現に結合されます。選択は、それらのより小さな正規表現を作成する際にまったく同じ方法論を使用します。
-   -? このヘルプを表示。

    このジェネレータはランダムな正規表現を作成します。正規表現内の構造を確率分布に調整することは可能ですが、現時点では内容は調整できません。これは、可能な正規表現の最大の多様性を探求するために望ましいです（ただし、必ずしも現実的な正規表現ではありません）。
    分布は、特定の分布のさまざまな可能性、つまりスロットに対する確率のリストを作成することによって処理されます。これらは、"10,30,40,20"のような単純な文字列リストを使用してコマンドライン引数として追加されます。リストには、スロットの数と同じ数の値が必要です。リスト内のすべての値の合計は100でなければならず、分数はあってはなりません。各スロットの値は、そのスロットが選択される確率です。たとえば、基本RE構造タイプ分布には3つのスロットがあります。最初のスロットは、次の構造タイプが文字（文字は英字、数字、バイナリ、ASCII、または置換クラス（\wなど））である確率です。2番目のスロットは、[ab@%]、[^123]、[a-z]などの文字クラス用です。最後のスロットは、(ab|cd)のような選択が発生する確率です。これらの3つのスロットを使用して、正規表現内の構造がどの程度頻繁に出現するかを調整できます。たとえば、regexgen -c 10 -t "80,10,10"は10個の正規表現を作成し、使用される構造の80%が文字、10%が文字クラス、10%が選択になります。

ランダムルールジェネレータ
=====================

ランダムルールジェネレータは、特定のプラットフォームをテストするためのランダムに生成されたルールを多数作成する手段を提供します。現在、生成されたルールはSnortルール形式に準拠するか、単なるテキスト行です。ランダムルールジェネレータが機能するためには、一連の機能が定義されている必要があります。機能の例はexample_featuresフォルダにあり、以下でさらに説明します。

インストール
-------

Snifflesとともに自動的にインストールされます

注: ランダムルールジェネレータは、あらゆる種類のコンテンツを作成するためにランダム正規表現ジェネレータを使用します。オプション
-------

ランダムルールジェネレータ

使用法: rulegen -c [ルール数] -f [フィーチャセット]
        -o [出力ファイル] [-s]

- -c  ルール数: 生成するルールの数。
      デフォルトは1。
- -f  フィーチャセット: フィーチャセットの説明を含むファイル。
      フィーチャセットとその記述方法については、ドキュメントを参照してください。
- -o  出力ファイル: ルールが書き込まれる出力ファイル。
      デフォルトはrules.txt
- -s  Snortルール形式: ルールをSnortルール形式で書き込む。
      パラメータなし、デフォルトはオフ。オフの場合、ルールは単に
      フィーチャパーサに基づいた文字列形式に変換される。

フィーチャセット
-----------

フィーチャは、IDSで使用されるルールの潜在的な側面を記述するために使用される。
例えば、パケットフィルタは、IP送信元アドレスと宛先アドレスを対象とするルールを使用するかもしれない。
その場合、それらのIP送信元アドレスと宛先アドレスをどのように生成すべきかを記述するフィーチャセットを作成することが可能である。
より具体的には、単純ルールと複雑ルールを区別する。
この2つの違いは、あいまいな表記の有無である。
例えば、任意のIPアドレスを意味するあいまいな表記*がある場合、*はあいまいな表記を表すと言える。
さらに、ルールはあいまいでない表記、例えば192.168.1.1も使用できることがわかる。
これは単一の固定IPアドレスであり、あいまいな表記の可能性がないため、単純なIPアドレスを表す。
そして、特定のフィーチャの範囲（例えば、IPアドレス全体の40億以上あるIPv4アドレス全体、またはそのサブセットのみ）をさらに定義する。

フィーチャは最終的に、任意のルールのすべての側面を定義する。
フィーチャセットと有効なルール形式が与えられれば、それらのフィーチャを使用する任意の数のルールをランダムに生成することが可能になる。
この方法により、しばしば見落とされるベクトルにわたってIDSを検査するテストルールセットを生成することが可能になる。

フィーチャはセミコロン区切りのリストで定義され、1行に1フィーチャ
type=feature; key=valueペアの引数リスト、Python形式のリスト（例: [a, ..., z]）。
フィーチャは、対象のルール形式の特定の部分を定義する。
フィーチャは拡張して機能を追加することができる。
オプションで、新しいルール形式を作成することでフィーチャの機能を拡張することもできる。

現在のフィーチャタイプ:

1. フィーチャ -- 汎用フィーチャ
2. コンテンツ -- コンテンツフィーチャ
3. IP -- IPフィーチャ
4. プロトコル -- プロトコルフィーチャ

あいまいリストは、範囲には[x:y]のようなリスト、リストには[x,y]、セットには{x1,x2,x3}、
またはワイルドカードや類似の単一オプションには単に*として記述する。

あいまいリストの例:```
ambiguity_list=[[2:9]]
it will generate [3:4], [5:6], etc (any [x:y] such that
x <= y and x >= 2 and y > x and y <= 9).

ambiguity_list=[[3,20]]
it will generate [3,9,10], [3,4,8,12], etc (any list [x1,x2,x3,..]
such that all values falling between 3 and 20.

ambiguity_list=[{5,6,10}]
it will generate a subset of {5,6,10} such as {5,10}, {5}.

ambiguity_list=[[2:9],[3,20],{5,6,11}]
it will pick one of [2:9], [3,20], and {5,6,11} and
generate a corresponding instance (see above)

上記は2つのフィーチャ（プロトコルフィーチャと送信元IPフィーチャ）を定義しています。プロトコルはprotoという名前で、これはルールフォーマッタにとってのみ重要です。有効なプロトコルはIP、TCP、UDP、ICMPです。IPフィーチャはIPv4として定義され、すべてのルールは複雑になります。IPの複雑性は既にクラスの一部であり、フィーチャ定義に追加する必要はありません。これによりCIDR表記を用いたIPアドレスが生成されます。

Generic Feature Attributes:

- Feature_name: 情報属性。ルールフォーマッタにとって潜在的に有用。
- lower_bound: 取りうる値の下限。フィーチャが数値であることを前提とする。
- upper_bound: lower_boundの逆。
- complexity_prob: ルールに複雑なフィーチャを使用する確率。0から100まで。デフォルトは0。複雑なフィーチャが使用される場合、あいまいな表記が曖昧性リストからランダムに選択されるか、フィーチャが特定の曖昧性（IPアドレスなど）を定義している場合はそれが使用される。複雑なフィーチャが使用されない場合、境界を使用して値が生成されるか、Contentの場合は、生成される文字列を一連のASCII文字に制限する分布値のセットを使用して値が生成される。
- ambiguity_list: 可能なあいまいな表記のリスト。Python書式を使用したカンマ区切りのリスト（例：[a, b, c]）。
- toString(): この特定のフィーチャセットを指定してルールのインスタンスを出力する。

Content Feature -- Inherits from Feature:
- regex: True または False。Trueの場合、正規表現にpcre書式を使用し、さらに正規表現にオプション i, s, m を追加する可能性がある。
- length: 生成されるコンテンツの平均的な長さを定義する。
- min_regex_length: 正規表現の最小長を定義する。

Protocol Feature -- Inherits from Feature:
- proto_list: 可能なプロトコルのリストを定義する。カンマ区切りのリスト（例：[TCP, UDP]）。

IP Feature -- Inherits from Feature:
- version: IPバージョン4の場合は4、IPバージョン6の場合は6。デフォルトは4。

Ambigous notation for ranges, lists, sets:

範囲表記:
  [x:y] は x から y まで（両端を含む）を意味する。

リスト表記:
  [x,y] は、ランダムに決定された数の値のリストを意味し、各値は x 以上 y 以下である。

セット表記:
  {x1,x2,x3,x4} は値 x1, x2, x3, x4 のセットを意味する。元のセットのサブセットを生成する。

詳細な例については、example_featuresフォルダ内のサンプルフィーチャセットを参照してください。詳細と背後にある学術理論は後日追加される予定です。