GUI は**純粋なビュー層**です — エンジンの出力をレンダリングし、アナリストが信頼下限を移動できるようにします。
それ自体には再構築ロジックは含まれません。

---

## 信頼度モデル（製品全体の信頼性）

すべてのステップは [0, 1] の信頼度を持ち、**証拠の裏付け**によって構築されます:```
confidence = per-technique base rate
           + bonus for each independent corroborating signal
                 (source IP, device, successful outcome, temporal adjacency, broad-consent flags)
           − penalty for missing signals (e.g. no source IP to corroborate origin)

**グラウンドトゥルースソース。** 真の入力は、実際のテナントでの BadZure / MAAD-AF 実行からのテレメトリであり、統合監査ログを攻撃ツール自身のアクティビティ記録と突き合わせることでラベル付けされています（ツールが引き起こしたすべてのイベントは証跡チェーン上にあり、それ以外はすべて良性です — `nv/calibration.py` の `LABELED_SCHEMA` を参照）。実際の実行を指定するまでは、`eval/calibration_cases.py` が文書化された形式の **プロキシ** コーパスを提供し、そこからフィットしたすべてのアーティファクトは、その来歴で `source="proxy"` とスタンプされるため、プロキシフィットがライブのものと誤認されることは決してありません。`calibration.proxy.json` は、そのバンドルされたプロキシアーティファクトです。

バンドルされたプロキシコーパスでは、フィットは明らかな改善を示しています — Brier 0.398 → 0.045、ECE 0.576 → 0.081、AUC 0.81 → 0.91、そして 0.60 の下限における良性の誤検出率は 0.69 から 0.00 に激減します（v1 の事前分布は良性アクティビティに対して非常に過信していました）。プロキシは意図的に保守的です。実際にデプロイすべき重みを生成するのは、ライブテナントでの実行です。

## 信頼の整合性（フェーズ 3）

再構成を不正な入力から保護する 2 つの第一級の制御があります：

- **認可スコープゲート**（`nv/scope.py`）— NV は、認可リストにない環境では実行を拒否します。調査を許可された環境ごとに `--authorize <tenant-domain>` を付けて実行します。

- **パターンソース検証**（`nv/validation.py`）— 以下のすべてを通過しない限り、いかなるパターンもライブラリに入りません：(1) 信頼できるソースの許可リスト、(2) コンテンツチェックサム / 改ざんチェック、(3) スキーマの整形式性、(4) 有効な ATT&CK スタイルのテクニック ID。承認されたすべてのパターンは監査記録を保持し、拒否されたものは理由とともにログに記録されます。毒化された、または不正な形式のフィードは、偽の再構成を生成する前に上流で停止されます。これは、エンジンが証拠に適用するのと同じ懐疑主義を、パターン自体に移したものです。

---

## 知識を最新に保つ（攻撃者の進化に先んじる）

再構成エンジンの最新度は、パターンライブラリの最新度と、ライブラリがこれまで見たことのないものを処理する能力に依存します。NV は、設計上、**2 つの独立した側面**で陳腐化に対処します：

### 1. 既知のレイヤーは、検証された更新パイプラインを通じて最新を維持

ライブラリはハードコードされていません — `nv/patterns.py` は、組み込みセットを含むすべてのパターンを `nv/validation.py` を通じて読み込むため、外部フィードも同じ信頼された経路で入ります。これらのフィードをスケジュールで取得するライブネットワーククライアントは、`nv/feeds.py` に実装され、`update_feeds.py` によって駆動されます。ソースは信頼ティアごとに次のとおりです：

- **MITRE ATT&CK（STIX）** — 権威あるテクニック分類法です。コネクタは ATT&CK STIX インデックスを読み取り、最新の Enterprise リリースを取得し、NV が推論するすべての操作について、権威あるテクニック名と戦術を更新します — その後 ATT&CK が失効または非推奨にしたテクニックはすべて破棄します。NV は操作→テクニックの関連付けとベースレートの事前分布の所有権を保持し、ATT&CK は分類法を所有します。

- **TAXII 2.1 経由の精査済み CTI** — 完全な discovery → api-root → collection → objects クライアントです。精査済みの CTI コレクションから STIX attack-pattern オブジェクトを取得し、NV が追跡するテクニックを更新します。ATT&CK よりも低い重み付けです。

- **Sigma コミュニティルールセット** — git アーカイブとして取得されます。O365/Entra の操作を指定し、`attack.tXXXX` タグを持つ各クラウド/ID ルールは、操作→テクニックの候補となり、ルール自身の重大度 `level` から導出されたベースレートを持ち、その後コミュニティソースの重みでスケールダウンされます。マップされないルールは理由付きでスキップされ、推測されることはありません。

操作が衝突した場合、コミット前にその和集合が信頼度の昇順で並べられるため、権威ある ATT&CK の関連付けが常にコミュニティのものに優先します。下位ティアのコンテンツも依然として受け入れられ、裏付けとして監査に記録されます。`update_library(candidates)` は、検証を通じてセット全体を再取り込みし、ライブラリを原子的に再構築するため、毒化されたフィードがライブラリを中途半端に更新したままにすることは決してありません。

**許可リストは 1 つではなく 2 つ。** 検証はすでにソースタグでゲートしています。コネクタはネットワーク層の *ホスト* 許可リストを追加するため、コネクタは TLS 経由で信頼されたホストからのみ取得できます — これはソース許可リストのトランスポート層における同等物であり、乗っ取られた、または入力ミスのあるフィード URL に対するガードです。すべてのフェッチは、生ペイロードの sha256、URL、時刻を来歴として記録するため、後で再取得したときに上流の改変を検出できます。

**フィードが増えるほど検証レイヤーが重要になる理由：** 更新を自動化すればするほど、自動更新パイプラインは偽装された信頼リスクになります — 誤った、または毒化されたフィードは偽のパターンを注入し、偽の再構成を作り出します。NV は取り込みを敵対的とみなします：すべてのパターン、すべての更新に対して、許可リスト、チェックサム、スキーマ、監査証跡を適用します。

### 2. アブダクティブレイヤーは、まだどのフィードも命名していないものをカバー

フィードは常に最新の攻撃手口に遅れを取ります。アブダクティブコアがそのヘッジです：観測された操作がライブラリのパターンに **一致しない** 場合、NV はそれを破棄せず、第一原理から最も可能性の高い経路を再構成し、信頼度を下げて `no known match` とフラグを付けます。これは評価スイート（`eval/ground_truth_cases.py`）で検証されており、意図的に未知のマネージド ID トークン窃取ステップが捕捉され、正しくシーケンスされ、信頼フロア以下に正直に重み付けが下げられます。

これらが一体となることで、NV は完全に陳腐化することは決してありません：既知のレイヤーは耐毒化パイプラインを通じて公開された最先端を追跡し、アブダクティブレイヤーは、最先端がまだ追いついていない侵入に対してツールが盲目になるのを防ぎます。

### 推奨される更新頻度

`nv/feeds.py` はフィードごとの頻度を持ち、`update_feeds.py` は期限が来たものだけを取得するため、cron や systemd タイマーにそのまま入れることができます：

- ATT&CK STIX — 90 日（年に数回の公式リリース）。
- CTI/TAXII — 7 日（フィードの公開に合わせて）、常に検証を通す。
- Sigma — 30 日。```bash
# run whatever is due, keeping state under ./.nv_feeds  (cron-friendly)
python3 update_feeds.py

# force all feeds now but only report what would change
python3 update_feeds.py --force --dry-run

# run fully offline against captured fixtures (no network)
python3 update_feeds.py --offline eval/fixtures --force

これは、サインイン、同意付与、サービスプリンシパルとロールの変更、およびメールボックス
アクセスを保持します — NV がこれまで名前を挙げたことのない ID 操作も含まれるため、それらは依然として
アブダクション層に到達します — そして残りを破棄します。標準の `AuditData`
列を持つ CSV、または各レコードが `AuditData` オブジェクトである JSON/JSONL（invictus-ir
研究コーパスが提供する形式）を読み取ります。

**3 — 再構築、スコープ制限付き。** エンジンは、明示的に許可していないテナントでは実行を
拒否します:```bash
python3 run_nv.py your_events.jsonl reconstruction.json \
    --authorize yourtenant.onmicrosoft.com

取り込みは IAM/STS/サインインイベント（新しい IAM オペレーションも含まれるため、それらは
アブダクション層に到達する）と S3 オブジェクト読み取りを保持し、テナントドメインではなく
AWS **アカウント** でスコープを制限します。同じアブダクションコア、信頼度モデル、トラストフロアがそのまま適用されます。

GUI には **デモデータバナー** と、アプリ内の「あなた自身のデータを接続する」
ガイドも用意されており、それを開けば、自分自身のデータを接続するまでは
再構築が公開サンプルデータであることを誰でも理解できます。

## プロジェクト構成```
run_nv.py                        reconstruction engine entrypoint (scope-gated)
nv_extract_identity_events.py    ingest: M365/Entra unified audit log -> event model
nv_extract_cloudtrail_events.py  ingest: AWS CloudTrail -> event model      [iteration 3]
update_feeds.py     pull + validate threat-intel feeds on a cadence   [iteration 1]
calibrate.py        fit confidence weights from labeled ground truth  [iteration 2]
nv/                 the engine package
  graph.py  patterns.py  validation.py  confidence.py  reconstruct.py  scope.py
  providers.py      per-substrate op->ATT&CK vocabulary packs (Entra + AWS) [iteration 3]
  feeds.py          ATT&CK STIX / TAXII 2.1 / Sigma clients + scheduler [iteration 1]
  calibration.py    metrics + parameter fit                            [iteration 2]
eval/               evals + offline fixtures (no network, no tenant)
nv_gui.html         pure view layer (loads engine reconstruction.json)
calibration.proxy.json   bundled proxy calibration artifact           [iteration 2]

パターンライブラリを最新の状態に保ち、信頼度を調整してください：```bash
python3 update_feeds.py                       # pull + validate feeds that are due
python3 calibrate.py --labeled run.jsonl --origin live --out calibration.json

---

## ステータス

**実データ（invictus-ir O365 データセット）でエンドツーエンド動作確認済み**。全プランにわたる状況:

| フェーズ | 項目 | ステータス |
|---|---|---|
| 1 | 正規化されたイベント/エンティティモデル | 完了 |
| 1 | 取り込み + 正規化（Entra/M365 ビーチヘッド） | 完了 |
| 2 | 既知レイヤー（ATT&CK パターンライブラリ） | 完了 |
| 2 | エビデンス裏付けによる信頼度モデル | 完了 |
| 2 | 出力契約における信頼フロア | 完了 |
| 2 | アブダクション核（未知レイヤー） | 完了、評価で実証済み |
| 2 | ランク付けされた競合仮説 | 完了 |
| 3 | パターンソース検証レイヤー | 完了 |
| 3 | 許可範囲の制御 | 完了 |
| 3 | ライブフィードコネクタ（ATT&CK STIX / TAXII / Sigma）+ スケジューラ | 完了 |
| 4 | 実エンジン出力による2カラム画面 | 完了 |
| 4 | 埋め込み / 類似性キャンバス | 完了 |
| 4 | キャンバス駆動のエンティティ単位再構築（クリックでチェーン再実行） | 完了 |
| 4 | GUI がエンジンの `reconstruction.json` を読み込み（ファイルを指定可能） | 完了 |
| 4 | マルチプロバイダ基盤（AWS CloudTrail、評価で実証済み） | 完了 |
| 5 | 外観 / テーマ | 完了 |
| 5 | 信頼度キャリブレーションハーネス + エンジン統合 | 完了 |

### 正直な既知のギャップ（次のイテレーション）

- **実テナントでのキャリブレーション数値。** キャリブレーション *ハーネス* は完成しており、
  インターフェースは実証済みですが、同梱の `calibration.proxy.json` は文書化された形状の
  プロキシデータに適合させたものです。展開可能な重みを得るには、実際の BadZure / MAAD-AF 実行に
  対してハーネスを実行する必要があります — これは採用者側の運用ステップです。
- **フィード駆動の語彙拡張。** コネクタは既にオペレーション NV が推論している内容を更新しますが、
  フィードが *新しい* オペレーションを導入し（それを初期/ピボット/収集の分類に配線する）ことは
  将来の作業です。
- **2番目のプロバイダの深さ。** AWS は基盤非依存性の証明（パック + 取り込み + 評価）として
  組み込まれていますが、IAM/STS/S3 のみです。AWS パックの拡張、プロバイダ固有のフィードコネクタの追加、
  そして3番目の基盤（GCP、Okta）の追加が次のステップです。

---


## ライセンス

Nimbus Vestige は **PolyForm Noncommercial License 1.0.0** のもとで **ソース公開** されています（[LICENSE](https://gitlab.com/dobybaxter127/nimbus-vestige/-/blob/main/LICENSE) を参照）。ツール全体 — 再構築エンジン、2つのプロバイダ取り込み、GUI、評価ハーネス — は、個人プロジェクト、研究、教育、非営利活動、評価など、**非商用**目的であれば自由に閲覧、実行、使用できます。判断する前にすべての行を読んでください。

**商用利用には有料ライセンスが必要です** — 販売またはホスティングする製品やサービス内での利用、営利企業の本番環境または内部システムでの利用、有償のインシデントレスポンスやクライアント業務での利用が該当します。[COMMERCIAL-LICENSE.md](https://gitlab.com/dobybaxter127/nimbus-vestige/-/blob/main/COMMERCIAL-LICENSE.md) を参照してください。

---

### 著者

Doby Baxter 2026