
liste de modèles regex pour les jetons oauth / api avec la source fournie
Un scanner sourcé, testé et à preuve hors ligne pour les jetons et secrets OAuth / API. Chaque motif est sourcé (documentation officielle du fournisseur), testé (échantillons positifs + négatifs) et prouvé (compatible RE2, vérifié contre les ReDoS). Fournit une CLI avec des niveaux de confiance. La source de vérité est DATA dans build_patterns.py ; patterns.json et ce fichier sont générés à partir de celle-ci.
109 motifs / 64 fournisseurs / généré le 2026-07-02
pip install -e . # console script + importable package
regextokens scan PATH... # walk files/dirs, report findings
regextokens scan PATH -m verified # only offline-proven findings
regextokens scan PATH -f sarif # SARIF for GitHub code scanning
regextokens list # show the catalog
Statut de sortie : 0 aucune détection, 1 détections au niveau ou au-dessus du palier demandé, 2 erreur. Pointez-le vers un diff ou une arborescence dans la CI pour conditionner les fusions. Les secrets sont masqués dans la sortie par défaut.
Acceptez les détections revues (fixtures de test, exemples de documentation) afin que la CI n'échoue que sur les nouveaux secrets :
regextokens scan . --write-baseline .regextokens-baseline.json # snapshot current findings
regextokens scan . --baseline .regextokens-baseline.json # subtract them
La baseline stocke des empreintes (sha256 de l'id du motif + corps du secret haché), jamais les secrets eux-mêmes, elle peut donc être commitée sans risque. La correspondance est indépendante des lignes — modifier au-dessus d'un résultat accepté ne le désupprime pas — mais le même jeton dans un fichier différent constitue une nouvelle exposition et est signalé. Une section allow éditée manuellement contient la politique : globs de chemins fnmatch et ids de motifs. --write-baseline la préserve et l'applique. Ce dépôt commit sa propre baseline couvrant les échantillons synthétiques dans build_patterns.py ; la CI s'auto-scanne par rapport à celle-ci.
# .pre-commit-config.yaml
repos:
- repo: https://github.com/odomojuli/regextokens
rev: v0.2.0
hooks:
- id: regextokens
# .github/workflows/secrets.yml
jobs:
secrets:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: odomojuli/regextokens@main
with:
min-confidence: probable
# baseline: .regextokens-baseline.json
# optional: feed the SARIF to code scanning
# - uses: github/codeql-action/upload-sarif@v3
# if: always()
# with: {sarif_file: regextokens.sarif}
Les deux valent -m probable par défaut : le niveau low inclut des identifiants publics et des placeholders qui rendraient un commit gate inutilisable.
Chaque résultat est évalué par preuve hors ligne — calcul local uniquement, sans réseau, sans appels à l'émetteur. Une correspondance de forme répond à « cela ressemble-t-il à un token ? » ; ces vérifications répondent à « pouvons-nous prouver, localement, qu'il s'agit ou non d'un token ? ». Filtrez avec -m/--min-confidence.
verified-offline — une somme de contrôle ou un décodeur prouve que la structure est authentique (CRC32 GitHub/npm ; validé empiriquement contre de vrais tokens révoqués).probable — structure plus un corps à entropie de Shannon cohérent avec un vrai secret.low — correspondance de forme uniquement ; peut être un placeholder ou un identifiant public.rejected — la preuve hors ligne indique que ce n'est prouvablement pas un vrai token (par ex. incohérence CRC32) ; écarté avant de vous parvenir.Le niveau rejected est le différenciateur : une chaîne ghp_/npm_ avec un préfixe et une longueur valides mais une somme de contrôle erronée est écartée avec certitude, éliminant la plus grande classe de faux positifs pour les fournisseurs à forte valeur. La preuve hors ligne ne prétend jamais qu'une clé est active — cela nécessite toujours l'API de l'émetteur.
pip install pytest
pytest # validate every pattern + engine
python build_patterns.py # regenerate patterns.json + README.md
Consommer le catalogue directement (sans moteur) :
import json, re
pats = json.load(open("patterns.json"))["patterns"]
rx = {p["id"]: re.compile(p["regex"]) for p in pats}
rx["github-pat-classic"].search(text)
build_patterns.py — source de vérité (DATA) + validateur ; régénère patterns.json et README.md.patterns.json — catalogue généré (lisible par machine). Ne jamais modifier à la main.regextokens/ — paquet installable : catalog (chargement), scanner (parcours/correspondance), verify (preuve hors ligne), baseline (constats acceptés + liste d'autorisation), report (humain/JSON/SARIF), cli. Embarque une copie synchronisée de patterns.json..pre-commit-hooks.yaml / action.yml / .github/workflows/ — distribution : hook pre-commit, GitHub Action composite, CI + publication PyPI déclenchée par tag (publication de confiance).tests/ — test_patterns.py (chaque motif : compilation, correspondance, RE2, ReDoS) et test_engine.py (scanner, verify, report, CLI, synchronisation du catalogue).sniffer-audit.md — audit d'autres scanners de secrets (vérification, obsolescence).references.bib / references.md — bibliographie de la littérature sur la détection de secrets.re de Python. Pas de lookbehind ni de rétroréférences.re.search (analyse de texte embarqué). Encadrez avec ^/$ pour les utiliser comme validateurs.\b encadrent la plupart des jetons. Supprimez-les pour analyser à l'intérieur de blobs base64.prefix = fiable seul ; structure = forme fixe ; keyword = conditionné à un mot-clé proche ; identifier = public, non secret ; encoding = contrôle de format, non secret.patterns.json sont des données synthétiques, pas des identifiants réels.sniffer-audit.md — comment les principaux scanners construisent et vérifient les motifs, avec des données de référence.references.bib / references.md — bibliographie de la littérature sur la détection de secrets.Chaîne Base64 [encoding]
^(?:[A-Za-z0-9+/]{4})*(?:[A-Za-z0-9+/]{2}==|[A-Za-z0-9+/]{3}=)?$
Validateur de format, pas un secret. Alphabet Base64 standard avec remplissage. Ancré.
src : https://datatracker.ietf.org/doc/html/rfc4648#section-4
JSON Web Token (JWT) [structure]
\bey[A-Za-z0-9_-]{10,}\.ey[A-Za-z0-9/_-]{10,}\.[A-Za-z0-9/_-]{10,}