chiefautism/privacy-parserOpenAIプライバシーフィルターの逆処理。同じ1.5bモデルを使用し、PIIをマスキングする代わりに構造化スパンとして返します
大量のテキストの中からあらゆる個人情報 (PII) を見つけ出し、構造化されたスパンとして取得します。
OpenAI Privacy Filter をベースに構築: 同じ 1.5B モデル、同じラベル、同じ重みを使用。
Privacy Filter はマスクします。Privacy Parser は抽出します。
Hi Quindle Testwick ([email protected] / +1-415-555-0102),
account 40702810500001234567, 14 Beautiful Ct, Anytown USA,
password Priv4cy-Filt3r-2026.
private_person Quindle Testwick
private_email [email protected]
private_phone +1-415-555-0102
account_number 40702810500001234567
private_address 14 Beautiful Ct, Anytown USA
secret Priv4cy-Filt3r-2026
<REDACTED> の代わりに、何が見つかったか、どこにあるか（start、end）、そしてどの種類かを取得できます。
Privacy Filter は「このテキストを安全にする」という問いに答えます。時には別の答えが必要になることもあります。「ここには正確に何が含まれているのか？」
| バックエンド | 重みが必要 | 速度 | F1 * | 使用する場面 |
|---|---|---|---|---|
PIIParser | いいえ | µs | 1.000 | 依存関係ゼロ、構造化パターン |
ModelPIIParser | 1.5B | ~500 ms CPU | 0.733 | 生のモデル出力 |
HybridPIIParser | 1.5B | ~600 ms CPU | 0.929 | デフォルトの選択肢 |
* 5つの opf サンプルフィクスチャにおける完全一致スパン。小規模なセットであり、ベンチマークではなくスモークテストとして扱ってください。
git clone https://github.com/openai/privacy-filter
git clone https://github.com/chiefautism/privacy-parser
uv venv
uv pip install -e ./privacy-filter # only for the model backends
uv pip install -e ./privacy-parser
最初のモデル実行では、opfチェックポイント（約3 GB）が~/.opf/privacy_filter/にダウンロードされます。
別の場所を使用するには、OPF_CHECKPOINTを設定するか、model=を渡してください。
from pii_parser.hybrid import HybridPIIParser
parser = HybridPIIParser(device="cpu") # or "cuda"
result = parser.parse("Hi Quindle Testwick, call me at +1-415-555-0102")
for s in result.spans:
print(s.label, s.start, s.end, s.text)
print(result.to_json())
from pii_parser import parse
result = parse("mail [email protected], token ghp_abcdefghijklmnopqrstuvwxyz0123456789")
result.detected_spans # (DetectedSpan(label='private_email', ...), ...)
result.redacted_text # 'mail <REDACTED>, token <REDACTED>'
result.summary # {'span_counts': {...}, 'total_spans': 2}
正規表現バックエンド、モデル不使用:
$ echo "Alice paid 40702810500001234567 on 2026-05-17." | pii-parser --mode spans
account_number 11 31 40702810500001234567
private_date 35 45 2026-05-17
$ pii-parser "mail [email protected]" --mode redacted
mail <REDACTED>
| フラグ | 値 | デフォルト |
|---|---|---|
TEXT | テキスト、または -f FILE、または標準入力 | |
--mode | json · spans · redacted | json |
--placeholder | 任意の文字列 | <REDACTED> |
--indent | 整数、コンパクトJSONには 0 | 2 |
モデルバックエンド:
python -m pii_parser.cli_model "Alice paid 40702810500001234567 on 2026-05-17."
python -m pii_parser.cli_model -f dump.txt --device cuda --mode spans
opf v2 タクソノミー、8 カテゴリ:
| ラベル | 例 |
|---|---|
private_person | Quindle Testwick |
private_email | [email protected] |
private_phone | +1-415-555-0102 |
private_address | 14 Beautiful Ct, Anytown USA |
private_url | https://example.com/u/quindle |
private_date | 2026-05-17 |
account_number | 40702810500001234567 |
secret | sk-…, ghp_…, AKIA…, Bearer … |
スパンが重複する場合、長い方が優先され、次に優先度の高いラベルが優先されます: email > url > secret > account > phone > date > address > person。
text
│
▼
opf 1.5B ──► BIOES logits ──► Viterbi (tuned biases) ──► char spans
│
▼
span merge glues "Quindle" + "Testwick" into one person
│
▼
regex backstop adds url / secret / account where the model missed them
│
▼
spans[]
各ステージは無効化できます:
HybridPIIParser(
enable_merge=True,
enable_regex_backstop=True,
enable_viterbi_tuning=True,
decode_mode="viterbi", # or "argmax"
)
{
"text": "Hi Quindle Testwick ...",
"spans": [
{ "label": "private_person", "start": 3, "end": 19, "text": "Quindle Testwick" }
]
}
正規表現 PIIParser は opf.RedactionResult（schema_version、summary、detected_spans、redacted_text）を反映しているため、コンシューマーに手を加えることなくバックエンドを差し替えられます。
テストは、このリポジトリの隣に privacy-filter がクローンされていることを前提としています（そのサンプルフィクスチャを読み込みます）。
python tests/test_hybrid.py
Fixture F1: 0.929
Scenarios: 8/8 passed
Latency: ~600 ms CPU
これはデュアルユースツールです。自身が所有するデータ、または処理を許可されているデータに対して実行してください。漏洩または盗難されたソースから個人データを抽出することは、ほとんどの法域で違法です。