joy

_
() ___ _ _ | |/ _ | | | | | | () | || | / |___/ _, | |/ |/

        ネットワークフローデータとフロー内データをキャプチャ・分析するためのパッケージで、ネットワーク研究、フォレンジック、セキュリティ監視を目的としています。

TLSフィンガープリンティング

補足: 最新のネットワークフィンガープリンティングツールとデータについては、Mercury をご覧ください。

概要

Joyは、BSDライセンスのlibpcapベースのソフトウェアパッケージです。ライブネットワークトラフィックまたはパケットキャプチャ(pcap)ファイルからデータ特徴量を抽出し、IPFIXやNetflowと同様のフロー指向モデルを使用して、これらのデータ特徴量をJSONで表現します。また、これらのデータファイルに適用できる分析ツールも含まれています。Joyは、特にセキュリティおよび脅威に関連するデータを、大規模に探索するために使用できます。

JSONは、出力をデータ分析ツールで簡単に利用できるようにするために使用されています。JSON出力ファイルはやや冗長ですが、適度に小さく、圧縮にもよく対応します。

Joyは、フロー内データ、つまりネットワークフロー内で発生するイベントに関するデータや情報を取得するように設定できます。これには以下が含まれます。

• IPパケットの長さと到着時間の系列（設定可能なパケット数まで）
• フローデータ部分内のバイトの経験確率分布と、その値から導出されるエントロピー
• TLSレコードの長さと到着時間の系列
• その他の暗号化されていないTLSデータ（提供された暗号スイートのリスト、選択された暗号スイート、clientKeyExchangeフィールドの長さ、サーバー証明書文字列など）
• DNS名、アドレス、TTL
• HTTPヘッダー要素とHTTPボディの最初の8バイト
• pcapが実行されているホストで発信または終端するフローの場合、そのフローに関連付けられたプロセスの名前

Joyは、セキュリティ研究、フォレンジック、および（小規模な）ネットワークの監視において、脆弱性、脅威、その他の不正または望ましくない動作を検出するために使用されることを意図しています。研究者、管理者、ペネトレーションテスター、セキュリティ運用チームは、この情報を活用して監視対象のネットワークを保護し、脆弱性の場合は防御態勢の改善を通じてより広範なコミュニティに貢献できます。他のネットワーク監視ツールと同様に、Joyは誤用される可能性があります。自分が所有者または管理者でないネットワークでは使用しないでください。

ポジティブ心理学における「フロー」は、活動に従事している人がエネルギーに満ちた集中、深い没頭、そして喜び（joy）の感覚に完全に浸っている状態です。この第二の意味が、このソフトウェアパッケージの名称の選択に影響を与えました。

Joyはアルファ/ベータソフトウェアです。ご使用いただき利益を得ていただけることを願っていますが、本番環境での使用には適していないことをご理解ください。

TLSフィンガープリンティング

私たちは最近、最大かつ最も情報量の多いオープンソースの TLSフィンガープリントデータベース を公開しました。他の機能に加えて、私たちのアプローチは完全に自動化され、TLSフィンガープリントに大幅に多くの情報を注釈することで、以前の研究を基盤としています。このデータベースを適用するためのPythonツールセットと、Joyを使用して新しいデータベースを生成するためのツールを構築しました。詳細については、TLSフィンガープリンティングのドキュメント を参照してください。

Cisco ETAとの関係

Joyは、CiscoのEncrypted Traffic Analytics (ETA) への道を開いた研究を支援してきましたが、ETAを実装するCiscoの製品やサービスに直接統合されているわけではありません。Joyの分類器は数年前に小さなデータセットでトレーニングされたものであり、ETAの分類方法や性能を代表するものではありません。この機能の意図は、ネットワーク研究者がJoyが生成するデータ特徴量のサブセットで独自の分類器を迅速にトレーニングし、展開できるようにすることです。独自の分類器のトレーニングに関する詳細は、saltUI/READMEを参照するか、[email protected] までお問い合わせください。

クレジット

このパッケージは、David McGrew、Blake Anderson、Philip Perricone、Bill Hudson {mcgrew,blaander,phperric,bhudson}@cisco.com （Cisco Systems Advanced Security Research Group (ASRG) および Security and Trust Organization (STO)）によって作成されました。

リリース 4.5.0

• libpcapの代わりにAF_PACKET v3およびAF_FANOUTを使用する機能を追加 configureコマンドで --enable-af_packet を使用してAF_PACKETを有効化
• マイナーなバグ修正

リリース 4.4.0

• DNS解析時のSIGSEGVを修正（再帰深度のバグ）
• IPv6ペイロード計算のバグを修正
• IPv6 IDP長のバグを修正
• MAXライブラリコンテキストを64に引き上げ（ユーザーリクエスト）

リリース 4.3.0

• JoyとlibjoyにIPv6サポートを追加
• IPFixの収集とエクスポートはIPv4のみサポート
• NFv9はIPv4のみサポート
• 匿名化はIPv4アドレスのみサポート
• サブネットラベリングはIPv4アドレスのみサポート

リリース 4.2.0

• libjoyライブラリを使用するようにjoy.cを書き換え
• フロー処理にマルチスレッドを活用するようjoy.cを更新
• 新しいコード変更を反映するためにユニットテストとPythonテストを更新
• 書き換えの準備としてアップデータープロセスの本体を削除
• コマンドラインで複数ファイルを処理する際のバグを修正
• その他のマイナーなバグ修正

リリース 4.0.3

• Centos用のmake installサポートを追加

リリース 4.0.2

• フィンガープリンティングのサポートを追加

リリース 4.0.1

パッケージの4.0.1リリースを発表できることを嬉しく思います。このリリースには以下の機能があります。

• 親アプリケーションによるフローレコードとデータ特徴量の処理のための追加API
• TCP再送信と順序外検出の修正
• IDPパケットの識別を改善
• メモリ使用量の問題をいくつか修正
• マイナーバグ修正
• デッドコードの削除

リリース 4.0.0

パッケージの4.0.0リリースを発表できることを嬉しく思います。このリリースには以下の機能があります。

• autotoolsを使用したビルドのサポートを追加。./configure;make clean;make

リリース 3.0.0

パッケージの3.0.0リリースを発表できることを嬉しく思います。このリリースには以下の機能があります。

• JOY基盤コードをスレッドセーフに修正。
  • パケット処理のための複数のワーカースレッドをサポート。
  • 各ワーカースレッドは独自の出力ファイルを使用。
  • Configのグローバル変数を削除。
  • Config構造体を使用するようにコード基盤を修正。
• Makefileシステムを修正し、JOY基盤を静的ライブラリおよび共有ライブラリとしてビルド。
• JOYライブラリを利用するためのAPIを実装（joy_api.[hc]）。
• その統合を構築する際にVPPネイティブ基盤を利用するためのVector Packet Processing統合スキームを実装。
• 2つのAPIテストプログラム、joy_api_test.c および joy_api_test2.c を作成。
• JOY基盤コードを再コンパイルする代わりに静的JOYライブラリにリンクするよう既存のテストプログラムを修正。
• バージョニングをCommon Security Module (CSM) 規則に合わせて修正。
• コマンドラインでパッケージバージョンを受け付けるようにbuild_pkgを修正。
• Coverityのエラーと警告をクリーンアップ。
• さまざまなバグ修正。

リリース 2.0

パッケージの2.0リリースを発表できることを嬉しく思います。このリリースには以下の機能があります。

• JSONスキーマが更新され、より整理され、読みやすく、検索しやすくなりました（JSON名として検索可能なキーワードを使用）。
• 新しいsleuthツールはquery/joyqを置き換え、--fingerprintなどの新機能をもたらします。
• ドキュメントが大幅に改善され、joyツールとsleuthツール、例、JSONスキーマをカバーしています。 （using-joy を参照）

クイックスタート

Joyは、Linux (Debian, Ubuntu, CentOS, Raspbian)、Mac OS X、Windowsで正常に実行およびテストされています。このシステムはgccとGNU makeで構築されていますが、他の開発環境でも動作するはずです。

ビルドガイドについてはWikiを参照してください： ビルド手順

ライセンス

Joyのライセンスについては License を参照

外部ライブラリのライセンスについては Copying を参照