OAuth / API トークンおよびシークレットのための、出典付き・テスト済み・オフラインで証明可能なスキャナー。すべてのパターンは出典付き(プロバイダーの一次ドキュメント)、テスト済み(正例 + 負例のサンプル)、そして証明済み(RE2 互換、ReDoS チェック済み)です。信頼度ティアを備えた CLI を同梱しています。信頼できる情報源は build_patterns.py 内の DATA であり、patterns.json とこのファイルはそこから生成されています。
109 パターン / 64 プロバイダー / 生成日 2026-07-02
pip install -e . # console script + importable package
regextokens scan PATH... # walk files/dirs, report findings
regextokens scan PATH -m verified # only offline-proven findings
regextokens scan PATH -f sarif # SARIF for GitHub code scanning
regextokens list # show the catalog
終了ステータス: 0 は検出なし、1 は要求されたティア以上での検出、2 はエラー。CI で diff やツリーを指定してマージをゲートできます。シークレットはデフォルトで出力時に秘匿化されます。
レビュー済みの検出結果(テストフィクスチャ、ドキュメントの例)を承認することで、CI が新規のシークレットのみで失敗するようにできます:
regextokens scan . --write-baseline .regextokens-baseline.json # snapshot current findings
regextokens scan . --baseline .regextokens-baseline.json # subtract them
ベースラインはフィンガープリント(パターンID + ハッシュ化されたシークレット本体の sha256)を保存し、シークレット自体は決して保存しないため、コミットしても安全です。マッチングは行に依存しません — 受け入れ済みの検出結果より上の行を編集しても抑制は解除されません — が、同じトークンが別のファイルにある場合は新たな露出として報告されます。手動で編集された allow セクションがポリシーを保持します: fnmatch のパスグロブとパターンIDです。--write-baseline はそれを保持し適用します。このリポジトリは build_patterns.py 内の合成サンプルをカバーする独自のベースラインをコミットしており、CI はそれに対して自己スキャンを行います。
# .pre-commit-config.yaml
repos:
- repo: https://github.com/odomojuli/regextokens
rev: v0.2.0
hooks:
- id: regextokens
# .github/workflows/secrets.yml
jobs:
secrets:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: odomojuli/regextokens@main
with:
min-confidence: probable
# baseline: .regextokens-baseline.json
# optional: feed the SARIF to code scanning
# - uses: github/codeql-action/upload-sarif@v3
# if: always()
# with: {sarif_file: regextokens.sarif}
どちらもデフォルトは -m probable です。low ティアには公開識別子やプレースホルダーが含まれ、コミットゲートとしては使えなくなります。
すべての検出結果はオフライン証明によってスコアリングされます。ローカル計算のみで、ネットワークも発行者への呼び出しも行いません。形状マッチは*「これはトークンのように見えるか?」に答えますが、これらのチェックは「ローカルで、これがトークンであるか否かを証明できるか?」*に答えます。-m/--min-confidence でフィルタリングします。
verified-offline — チェックサムまたはデコーダーが構造の真正性を証明します(GitHub/npm の CRC32。実際に失効したトークンに対して経験的に検証済み)。probable — 構造に加え、実際のシークレットと整合するシャノンエントロピーの本体を持つもの。low — 形状マッチのみ。プレースホルダーや公開識別子の可能性があります。rejected — オフライン証明により、これが実際のトークンではないことが証明できるもの(例: CRC32 の不一致)。あなたの手元に届く前に除外されます。rejected ティアが差別化要素です。有効なプレフィックスと長さを持つもののチェックサムが不正な ghp_/npm_ 文字列は確実に除外され、最も価値の高いプロバイダーにおける最大の誤検知クラスを排除します。オフライン証明はキーが有効であるとは決して主張しません。それには依然として発行者の API が必要です。
pip install pytest
pytest # validate every pattern + engine
python build_patterns.py # regenerate patterns.json + README.md
カタログを直接消費する(エンジンなし):
import json, re
pats = json.load(open("patterns.json"))["patterns"]
rx = {p["id"]: re.compile(p["regex"]) for p in pats}
rx["github-pat-classic"].search(text)
build_patterns.py — 信頼できる唯一の情報源(DATA)+ バリデータ。patterns.json と README.md を再生成します。patterns.json — 生成されたカタログ(機械可読)。手動で編集しないでください。regextokens/ — インストール可能なパッケージ:catalog(読み込み)、scanner(走査/マッチ)、verify(オフライン検証)、baseline(承認済み検出結果 + 許可リスト)、report(human/JSON/SARIF)、cli。patterns.json の同期コピーを同梱します。.pre-commit-hooks.yaml / action.yml / .github/workflows/ — 配布:pre-commit フック、複合 GitHub Action、CI + タグトリガーによる PyPI リリース(trusted publishing)。tests/ — test_patterns.py(全パターン:コンパイル、マッチ、RE2、ReDoS)と test_engine.py(scanner、verify、report、CLI、カタログ同期)。sniffer-audit.md — 他のシークレットスキャナの監査(検証、陳腐化)。references.bib / references.md — シークレット検出に関する文献の書誌。re。後読み(lookbehind)や後方参照は使用しません。re.search(埋め込みテキストの走査)向けに記述されています。バリデータとして使用する場合は ^/$ で囲んでください。\b 単語境界がほとんどのトークンを囲みます。base64 ブロブ内を走査する場合はこれらを外してください。prefix = 単独で信頼可能;structure = 固定形状;keyword = 近傍のキーワードでゲート;identifier = 公開情報でありシークレットではない;encoding = 形式チェックでありシークレットではない。patterns.json 内のサンプルトークンは合成のダミーであり、実際の認証情報ではありません。sniffer-audit.md — 主要なスキャナがパターンをどのように構築・検証するか、ベンチマークデータ付き。references.bib / references.md — シークレット検出に関する文献の書誌。Base64 文字列 [encoding]
^(?:[A-Za-z0-9+/]{4})*(?:[A-Za-z0-9+/]{2}==|[A-Za-z0-9+/]{3}=)?$
フォーマットバリデータであり、シークレットではありません。パディング付きの標準Base64アルファベット。アンカー付き。
src: https://datatracker.ietf.org/doc/html/rfc4648#section-4
JSON Web Token (JWT) [structure]
\bey[A-Za-z0-9_-]{10,}\.ey[A-Za-z0-9/_-]{10,}\.[A-Za-z0-9/_-]{10,}
3つのbase64urlセグメント。ヘッダーはey(すなわち{")で始まる。デコードして検査する。署名単体は秘密ではない。
src: https://datatracker.ietf.org/doc/html/rfc7519
PEM秘密鍵ブロック [prefix]
-----BEGIN (?:RSA |EC |DSA |OPENSSH |PGP |ENCRYPTED )?PRIVATE KEY-----
最も価値の高い単一の指標。PEMエンコードされた任意の秘密鍵のヘッダー行に一致します。
src: https://datatracker.ietf.org/doc/html/rfc7468
age X25519 秘密鍵 [structure]
\bAGE-SECRET-KEY-1[QPZRY9X8GF2TVDW0S3JN54KHCE6MUA7L]{58}\b
Bech32(HRP は 'AGE-SECRET-KEY-')。32 バイトの鍵は '1' 区切り文字の後に 58 文字でエンコードされる(大文字)。受信者(age1...)は公開情報であり、秘密情報ではない。ポスト量子版では HRP として AGE-SECRET-KEY-PQ- を使用する。
src: https://github.com/C2SP/C2SP/blob/main/age.md
認証トークン(非推奨 API) [structure]
\bamzn\.mws\.[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}\b
amzn.mws.。MWS は SP-API(Login with Amazon トークン、プレフィックス Atza|/Atzr|)に取って代わられ廃止されました。元のリストエントリは不正な形式でした。
src: https://developer-docs.amazon.com/sp-api/docs/migrating-from-amazon-mws
アクセスキー ID [prefix]
\b(?:A3T[A-Z0-9]|AKIA|ASIA|ABIA|ACCA)[A-Z2-7]{16}\b
20文字。AKIA = 長期的な IAM キー。ASIA = 一時的な STS/セッションキー。本体は base32(A-Z、2-7)。
src: https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_identifiers.html src: https://docs.aws.amazon.com/STS/latest/APIReference/API_GetSessionToken.html
シークレットアクセスキー(キーワードで判定) [keyword]
(?i)aws[\w.\-= :'\"]{0,25}([A-Za-z0-9/+]{40})
40文字のbase64本体には固定のプレフィックスがなく、エントロピーが低い。'aws'キーワードでゲートしないと、ほぼ任意の40文字トークンにマッチしてしまう。
src: https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_identifiers.html
APIトークン(キーワードゲート付き) [keyword]
(?i)cloudflare[\w.\-= :'\"]{0,25}([A-Za-z0-9_-]{40})
40文字のトークン、固定プレフィックスなし。'cloudflare' キーワードで判定するか、任意の40文字の文字列に一致します。
src: https://developers.cloudflare.com/fundamentals/api/get-started/create-token/
グローバルAPIキー(レガシー、キーワード判定) [keyword]
(?i)cloudflare[\w.\-= :'\"]{0,25}([a-f0-9]{37})
レガシーな37桁の16進数グローバルキー。キーワードで制限される。スコープ付きAPIトークンの使用を推奨。
src: https://developers.cloudflare.com/fundamentals/api/get-started/keys/
Origin CAキー [prefix]
\bv1\.0-[0-9a-f]{24}-[0-9a-f]{146}\b
Distinctive v1.0- プレフィックス。正規表現で確実に識別可能。
src: https://developers.cloudflare.com/ssl/origin-configuration/origin-ca/
パーソナルアクセストークン [prefix]
\bdop_v1_[0-9a-f]{64}\b
OAuth トークン dor_v1_ / リフレッシュ dor_v1_ は同じ形式を共有します。
src: https://docs.digitalocean.com/reference/api/create-personal-access-token/