
pii-shield v2.2.3
コード不要のK8sサイドカーでログをサニタイズ。エントロピー分析による機密情報検出、JSONの整合性保持、PIIの決定的なマスキング。🛡️
PII-Shield 🛡️
Kubernetes向けのゼロコードログサニタイズサイドカー。 PIIをログからポッド外に出る前に秘匿化することで、データ漏洩(GDPR/SOC2)を防止します。
PII-Shieldはインプロセスで動作します — CLI、サイドカー、またはWASM。ホスト型APIも、データが送信されるサーバーもありません。
同じ名前、異なるプロジェクト。 これはMicrosoft開発者コミュニティブログのPII Shieldプライバシープロキシ(2026年5月、vikasgautam18/pii-shield)ではなく、piishield.aiやpiishield.comのプロンプト秘匿化製品でもなく、IntellirimによるPyPIの
pii-shieldパッケージでもありません。当社のパッケージはPyPIのpii-shield-wasiとnpmの@aragossa/pii-shield-wasiです。文章上ではこのプロジェクトをPII-Shieldサイドカーと呼びます。
「PIIでAIモデルを汚染させないでください。」PII-Shieldは機密データがトレーニングデータセットに到達しないことを保証し、GDPRによるモデルの再トレーニングを回避します。
[!WARNING] v2.0.0へのアップグレードですか? エンドユーザー向けの配布をHelmベースのインストールとDistrolessネイティブサイドカーに移行しました。Kustomizeは本番ユーザー向けのサポート対象リリースインストールパスではなくなりましたが、オペレーターリポジトリにはローカル開発とマニフェスト生成用のKustomizeスキャフォールディングが残っています。PII-Shieldサイドカー内での
/bin/shアクセスはサポートされなくなりました。移行ガイドをお読みください。
2つのデプロイモデル
PII-Shieldはスタックに統合する2つの異なる方法を提供します:
- Kubernetes Operator(ゼロコード):当社の主力デプロイモデル。高度にセキュアなDistrolessサイドカーをポッドに注入し、ログをオンザフライで傍受・サニタイズする完全自動化されたK8s Operatorです。
- インプロセスWASM(コア統合向け):極限のパフォーマンスを求める場合、コアエンジンをWASM経由で直接埋め込むことができ、ネットワークホップなしで
<1msのレイテンシを提供します。
プロジェクトの状況とロードマップ
PII-Shieldは活発に開発されているオープンソースのセキュリティツールで、本番環境向けの堅牢化フェーズにあります。v2.xリリースラインは、使用可能なCLI、コンテナ、Helm/オペレーター、WASM SDKアーティファクトを提供します。コアの秘匿化パスは制御されたデプロイに対応していますが、一部のKubernetesデプロイモードとサプライチェーン保証はまだ安定化中です。
| コンポーネント | ステータス |
|---|---|
| コアスキャナー | リリース済み / 制御されたデプロイ |
| CLIサイドカー | リリース済み / 制御されたデプロイ |
| Kubernetesオペレーター | 安定化フェーズ |
| WASM SDK | リリース済みベータ |
| Proxy-Wasmゲートウェイ統合 | 計画中のR&D |
| ルールサーバー(集中ルール、パネル) | 初版、セルフホストイメージ |
| eBPF監査エージェント(stdout/stderrを監視、秘匿化は行わない) | 実験的、docs/ebpf-audit.mdを参照 |
現在の本番環境向け堅牢化の境界についてはKNOWN_LIMITATIONS.mdを参照してください。
なぜPII-Shieldなのか?
開発者は機密データのマスキングを忘れがちです。Fluentd/Logstashの従来の正規表現フィルターは遅く、保守が難しく、ログアグリゲーター上で高コストなCPUを消費します。
PII-Shieldはアプリコンテナのすぐ隣に位置します:
- 本番環境向けに強化されたコアエンジン: ホットパスでのメモリ割り当てを抑え、決定的な正規表現マッチングを行うKubernetesサイドカー向けに最適化されています。
- コンテキスト認識型エントロピー分析: コンテキストキーワードを分析することで、キーなしでも高エントロピーのシークレット(例:
Error: ... 44saCk9...)を検出します。 - カスタム正規表現ルール: 構造化データ(UUID、ID)に対する決定的なマスキングを実現し、既知のパターンについてはエントロピーチェックを上書きします。
- 組み込みのシークレットシグネチャ: 発行者プレフィックス付きの認証情報 — AWSおよびGoogle APIキー、GitHub、Slack、Stripeのトークン、JWT、
Bearer認証情報、PEM秘密鍵ブロック — はその形式に基づいてマスキングされるため、本文が低エントロピーである場合やしきい値が引き上げられている場合でも、有効なキーを捕捉できます。 - 形状による電話番号の検出:
+付きの国際番号、北米形式の(555) 234-5678、および電話関連のキー(phone、mobile、wa_idなど)の下にある数字は、数字だけではシークレットとしてスコアされないにもかかわらず、非表示にされます。 - キーによる身分証明番号の検出: 身分証明書を表すキー(
idNumber、national_id、ssn、passport_number、tax_idなど)の下にある数字は非表示にされますが、user_idやorder_idのようなレコードIDは対象外です。 - リグレッション&ファズカバレッジ: バイナリのゴミデータ、JSONのネスト、多言語ログなどのストレステストケースに対してテスト済みです。
- 決定的ハッシュ: シークレットを一意のハッシュ(例:
[HIDDEN:a1b2c])に置き換えるため、QAは生データを見ることなくエラーを相関させることができます。 - ドロップイン: コード変更は不要です。あらゆる言語(Node、Python、Java、Go)で動作します。
- ホワイトリストサポート:
PII_SAFE_REGEX_LISTを使用して安全なパターン(gitハッシュ、システムIDなど)を明示的に許可し、誤検知を防ぎます。
数十のクラスタにわたるPII-Shieldの管理
ルールサーバーはルールセットを一箇所に集約します。セキュリティチームはブラウザでセットを編集し、実際のスキャナ上でドラフトが貼り付けたログ行に何を行うかを確認し、バージョンを公開します。そして、PiiPolicyでそのセットを指定したすべてのクラスタが、ポッドの再起動なしに読み取り専用トークンでそれを取得します。クラスタに関する情報は、クラスタが統計チャネルを有効にしない限り送信されず、有効にした場合もカウンタのみが送信されます。自前の境界内で使用するためのイメージghcr.io/pii-shield/pii-shield-rulesとして提供されています。詳細はdocs/rules-server.mdを参照してください。公開は発行者のみが保持する鍵で署名でき、すべての変更はアクティビティログに記録され、オプトインの統計チャネルはクラスタごとに実行中のルールバージョンと非表示にされた値の数をカウンタのみで表示します。SQLite上で動作し、複数インスタンスの場合はPostgres上でも動作します。deploy/rules-serverはHTTPSと継続的バックアップを備えた単一マシン上でこれを実行します。
統合
PII-ShieldのインプロセスWASMビルドは、オープンソースのAIコードガバナンスGitHub ActionであるGuardSpine Codeに同梱されており、同プロジェクトはバイナリをベンダー化し、そのNOTICEにクレジットを記載しています。
パフォーマンスに関する考慮事項
2026-10-25に、CLIがstdinを読み取りファイルに書き込む条件で、Apple M1の1コア(GOMAXPROCS=1)、Go 1.27.3、20万行のコーパス、5回実行の中央値、2.2.8リリース後のmainで測定:
- テキストログ(アプリケーションおよびsyslog形式の行、平均122バイト): 約92,000行/秒、10.7 MiB/s。
- JSONログ(ネストされたオブジェクトを含む構造化行、平均161バイト): 約90,000行/秒、13.8 MiB/s。JSON行は
encoding/jsonではなくクォート対応トークナイザを通過し、ホットパスでは1行あたり約7回の割り当てが発生します。 - nginxアクセスログ(平均312バイト、各行にUser-Agentを含む): 約53,000行/秒、15.7 MiB/s。この形状はスキャナが扱う中で最も遅いため、ログがこの形状である場合はこれを基準にサイジングしてください。
サニタイザーはシングルスレッドであるため、CPU 制限はスループットの上限となります(サイジング表は docs/sidecar-failure-modes.md にあります)。サーバー用コアは通常 M1 より低速です。自身のログで ./benchmark/run_benchmarks.sh を使って測定してください(下記のパフォーマンスベンチマークを参照)。深くネストした JSON は再帰制限によって制限されるため、悪意のある行がスタックを枯渇させることはできません。
インストール
Helm チャート(Kubernetes Operator)
Kubernetes に PII-Shield をデプロイする公式かつ推奨される方法は、完全自動化された Operator を使用することです:
helm repo add pii-shield https://pii-shield.github.io/pii-shield/
helm repo update
helm install pii-shield-operator pii-shield/pii-shield-operator -n operator-system --create-namespace
これにより、コードやDockerfileの変更を一切必要とせずに、高度にセキュアなdistrolessサイドカーをPodに自動的に注入するPII-Shield Operatorがデプロイされます。
Docker
Docker HubまたはGHCRから最新の軽量イメージを取得します:
docker pull thelisdeep/pii-shield:3.0.0
# OR from GitHub Container Registry (Enterprise):
docker pull ghcr.io/pii-shield/pii-shield:3.0.0
ソースからビルド
バイナリはソースコードから直接ビルドできます:
go build -o pii-shield ./cmd/cleaner
Go ライブラリ
スキャナは Go プログラム内で実行できます。たとえば、各レコードが書き込まれる前に秘匿化する slog.Handler 内で実行できます。必要なのは標準ライブラリのみです:
go get github.com/pii-shield/pii-shield/v3/pkg/scanner
import "github.com/pii-shield/pii-shield/v3/pkg/scanner"
clean := scanner.ScanAndRedact(line) // one line
cleanText := scanner.ScanAndRedactText(text) // several lines, line endings kept
パッケージはロード時に、CLI と同じ PII_* 環境変数を読み取ります。v3.0.0 以降、モジュールパスは /v3 で終わります。リリース v2.2.8 から v2.3.1 は github.com/pii-shield/pii-shield/v2 です。v2.2.8 より前のリリースはメジャーバージョンなしのパスを宣言しているため、go get はそれらを拒否します。
設定
環境変数の完全なリストについては CONFIGURATION.md を参照してください。以下を含みます:
PII_SALT: カスタム HMAC ソルト(本番環境では必須)。PII_ADAPTIVE_THRESHOLD: 動的なエントロピーベースラインを有効化します。PII_DISABLE_BIGRAM_CHECK: 非英語ログ向けに最適化します。PII_CUSTOM_REGEX_LIST: 決定論的リダクション用のカスタム正規表現ルール。PII_SAFE_REGEX_LIST: 無視する正規表現ルールのホワイトリスト(一致したものはそのまま返されます)。PII_MODE=audit: ドライラン。行は変更されずに通過し、リダクションされるはずだったものがカウントされます(piishield_audit_*メトリクス)。これにより、リダクションを有効化する前に実際のトラフィックを監視できます。
エントロピー感度テーブル(デフォルトしきい値: 3.6)
| エントロピー | データ型 | 例 |
|---|---|---|
| 0.0 - 3.0 | 一般的な単語、繰り返し | password、admin、111111 |
| 3.0 - 3.6 | CamelCase、部分的なハッシュ | ProgramCampaignInstanceJob、8f3a11b2c |
| 3.6 - 4.5 | パス、UUID、弱いパスワード | /opt/application/runtime、P@ssw0rd2026! |
| 4.5 - 5.0 | 中程度のトークン | E8s9d_2kL1 |
| 5.0+ | 高エントロピーキー | (SHA-256、API キー) |