目次

• はじめに
• 最小要件
• はじめに
• お問い合わせ

はじめに

Emissaryは、P2Pベースのデータ駆動型ワークフローエンジンであり、異種混在の、場合によっては広く分散された多層P2Pコンピューティングリソースネットワーク上で動作します。ワークフローの旅程は従来のワークフローエンジンのように事前に計画されるのではなく、データについてより多くの情報が判明するにつれて発見されます。Emissaryのワークフローには通常、ユーザーの操作はなく、データは完了状態に達するまで目標指向の方法で処理されます。

Emissaryは高度に設定可能ですが、この基本実装ではほとんど何も行いません。このフレームワークのユーザーは、emissary.core.IBaseDataObject ペイロードに対して処理を実行する emissary.place.ServiceProviderPlace を拡張するクラスを提供することが期待されています。

さまざまな処理が可能であり、ワークフローは段階的に管理されます。例: STUDY、ID、COORDINATE、 TRANSFORM、ANALYZE、IO、 REVIEW。

ワークフローの指示を担当するクラスは、emissary.core.MobileAgent とそれから派生したクラスであり、関連するペイロードオブジェクトのセットのワークフローを通る経路を管理します。また、emissary.directory.DirectoryPlace は利用可能なサービス、そのコストと品質を管理し、P2Pネットワークの接続を維持します。

GitHub PagesでホストされているMavenサイトとJavadoc: https://code.nsa.gov/emissary/

最小要件

• LinuxまたはMacOSXオペレーティングシステム
• JDK 11
• Apache Maven 3.6.3+

はじめに

必要なコンポーネントのインストール、ソースコードの取得、Emissaryのビルドと実行に関する情報については、DEVELOPING.md ガイドをお読みください。

ビルド

Emissaryをコンパイル、テスト、パッケージ化するには mvn clean package を実行します。

実行

Emissaryにはすべてを実行するbashスクリプトが1つあります。これはEmissaryの最上位ディレクトリにあります。このスクリプトは、さまざまな機能を処理するための複数の Picocli コマンドを持つ emissary.Emissary クラスを実行します。

引数なし

emissary スクリプトを引数なしで実行すると、すべての設定サブコマンドの一覧と簡単な説明が表示されます。

ヘルプ

./emissary help を実行すると、引数なしで実行した場合と同じ出力が得られます。コマンドのより詳細な情報を確認したい場合は、helpの後にコマンド名を追加してください。たとえば、server コマンドの説明付きのすべての引数を確認するには、次を実行します:

共通パラメータ

残りのコマンドにはすべて (-b または --projectBase) 引数があり、設定できますが、PROJECT_BASEと一致している必要があります。

configディレクトリはデフォルトで /config に設定されていますが、(-c または --config) で渡すこともできます。gitチェックアウトから実行する場合は、projectBaseとして target を使用してください。開始する前に、target/config内の設定ファイルを自由に変更してください。

ロギングはlogbackによって処理されます。--logbackConfig 引数でカスタムファイルを指定できます。

各コマンドの詳細については、help -c を参照してください。

サーバー（スタンドアロン）

このコマンドはEmissaryサーバーを起動し、設定されているすべてのプレース、ピックアッププレース、ドロップオフフィルタを初期化します。-m または --mode が指定されていない場合は、スタンドアロンモードで起動します。デフォルトでは、MobileAgentの数はマシンのスペックに基づいて計算されます。最近のコンピュータでは、この数は多くなる可能性があります。エージェントの数は -a または --agents で制御できます。実行例は次のとおりです。

追加の設定なしで、http://localhost:8001 で起動します。そのURLにブラウザでアクセスすると、target/config/jetty-users.propertiesで定義されているユーザー名とパスワード（emissaryとemissary123）を入力する必要があります。

デフォルトのPickUpPlaceは、target/data/InputData からファイルを読み取るように設定されています。そのディレクトリにファイルをコピーすると、Emissaryがそれらを処理するのを確認できます。toUpperとtoLowerのみが設定されているため、出力はそれほど面白くないことに注意してください。

一時停止

サービスが作業を受け取るのを停止します

一時停止解除

一時停止されたサービスが作業を受け取れるようにします

無効化

リフレッシュ可能なサービスを無効化します。これは、ServiceProviderRefreshablePlaceを無効化するダウンタイムなしのアプローチである「軽い」リフレッシュです。プレースがDirectoryPlaceから取得されると、DirectoryPlaceとNamespaceには同じキーが使用されてプレースが再作成されますが、コンフィギュレータが再ロードされ、プレースはその設定のサブセットを再ロードできます。

リフレッシュ

サービスの強制リフレッシュ。これは「ハード」リフレッシュであり、サーバーは一時停止され、MobileAgentがドレインされるのを待ちます。サーバーが完全にアイドル状態になると、すべてのServiceProviderRefreshablePlaceの既存キーがDirectoryPlaceとNamespaceから削除され、プレースが完全に再作成されます。これにより、サービス名、プロキシ、拒否リストなどの変更が可能になります。その後、サーバーは処理を再開するために一時停止解除されます。リフレッシュ中に障害が発生するとサーバーが悪い状態になる可能性があるため、サーバーはシャットダウンされます。

停止

サービスをシャットダウンします

強制終了

サービスを強制的にシャットダウンします

エージェント（スタンドアロン）

agentsコマンドは、設定されたホストのMobileAgentの数と、それらのエージェントが何をしているかを表示します。デフォルトではポートは9001ですが、-p または --port で変更できます。上記のserverコマンドで8001で実行していると仮定して、次を試してください:

プール（スタンドアロン）

Poolは、ノードのエージェントの折りたたまれたビューです。これもデフォルトでポート9001を使用します。上記で起動したスタンドアロンサーバーに対して実行するには、次を実行します

このコマンドは、すべてのノードのよりわかりやすいビューを提供するため、クラスターでより有用です。

Env

Envコマンドは、サーバーが実行されている必要があります。サーバーにPROJECT_BASEやBIN_DIRなどのいくつかの設定値を要求します。引数なしでは、フォーマットされていないjsonレスポンスをダンプします。

ただし、bashでソースできるレスポンスをダンプすることもできます。

Emissaryサーバーの起動は実際にこのエンドポイントを呼び出し、設定された変数で $PROJECT_BASE}/env.sh をダンプします。これは、シェルスクリプトが source $PROJECT_BASE}/env.sh を実行して、他の場所で設定を気にすることなくそれらの変数を利用できるようにするためです。

Config

configコマンドを使用すると、指定されたプレース/サービス/クラスの有効な設定を確認できます。Emissaryはフレーバーを使用するため、このコマンドはすべてのフレーバーが適用された後のクラスの結果の設定を表示します。このコマンドは、-h でホスト（デフォルトはlocalhost）、-p でポート（デフォルトは8001）を指定して、実行中のEmissaryノードに接続するために使用できます。ポート8001でローカルに実行されているEmissaryに接続するには、次のいずれかのコマンドが機能します:

オプションで、--offline を使用してオフラインモードを指定し、ローカルのCONFIG_DIRで指定された設定ファイルを使用できます:

オフラインモードでは、フレーバーを指定して設定の違いを確認できます:

これらは有効な設定を確認するのに役立ちますが、詳細モードで実行して、すべての設定ファイルと最終出力を確認することもできます。これは --detailed フラグで制御されます:

またはオフラインモードで:

サーバー（クラスター）

Emissaryはスタンドアロンでも楽しいですが、実際の作業にはクラスターでの実行がより適切です。クラスターでの実行方法はスタンドアロンと似ていますが、ノードが他のノードに接続するために -m cluster を指定する必要があります。クラスターモードでは、EmissaryはPickUpPlaceの代わりにPickUpClientも起動するため、フィーダーを開始する必要があります。

target/config/peers.cfgを見て、ランデブーピアを確認してください。この場合、3つあります。ポート8001と9001で実行されているノードは単なるEmissaryノードです。ポート7001で実行されているノードはフィーダーです。それでは、2つの異なるターミナルで8001と9001を起動しましょう。

これらのノードはすべてポート8001、9001、7001を認識しているため、接続を試み続けるとログにエラーが表示されます。

実際のデプロイメントでは、同じノードで複数のEmissaryプロセスを実行しないことに注意してください。ホスト名は -h で設定できます。

フィード（クラスター）

ポート8001と9001でノードを起動したら、フィーダーを開始する必要があります。feedコマンドはデフォルトでポート7001を使用しますが、フィーダーが読み取るディレクトリを設定する必要があります。そのディレクトリにドロップされたファイルはワーカーノードが取得できるようになり、作業はクラスター全体に分散されるはずです。フィードを次のように起動します

ブラウザで http://localhost:8001、http://localhost:9001、http://localhost:7001 にアクセスして、設定されたプレースを確認できるはずです。~/Desktop/feed1 にファイルをいくつかドロップして、2つのノードがそれらを処理するのを確認してください。処理を開始するまでに少し時間がかかる場合があります。

エージェント（クラスター）

クラスターモードのエージェントは、再びmobileAgentの詳細を表示します。設定したノード（デフォルトではlocalhost:9001）から開始し、認識しているすべてのノードに呼び出して同じ情報を取得します。次のように実行します:

プール（クラスター）

クラスターモードのプールも、スタンドアロンのプールと同じことを行います。デフォルトでノード（localhost:9001）から開始し、認識しているすべてのノードに移動して、クラスターの折りたたまれたビューを集約します。次のように実行します

トポロジー（クラスター）

トポロジーは、設定されたノード（デフォルトではlocalhost:8001）と通信し、認識しているすべてのノードと通信します。レスポンスはそれらすべてのノードが認識している内容であるため、クラスターのネットワークトポロジーを構築できます。次のように実行します

SSLでのサーバー実行

キーストアとキーストアパスワードは emissary.client.EmissaryClient-SSL.cfg ファイルにあります。この機能をテストするために使用できるサンプルキーストアがデフォルトで含まれ、設定されています。本番環境でサンプルキーストアを使用することはお勧めしません。独自のキーストアを使用するには、emissary.client.EmissaryClient-SSL.cfg ファイルの設定値を変更してください。

スタンドアロン

クラスター

お問い合わせ

一般的な質問

このプロジェクトに関する質問や懸念がある場合は、次のアドレスまでお問い合わせください: [email protected]

セキュリティに関する質問

セキュリティに関する質問や脆弱性の報告については、SECURITY.md を参照してください。