
список шаблонов regex для токенов oauth / api с указанием источника
Сканер OAuth / API-токенов и секретов с указанием источников, тестированием и офлайн-доказательством. Каждый шаблон имеет источник (первичная документация провайдера), протестирован (положительные + отрицательные образцы) и доказан (совместим с RE2, проверен на ReDoS). Поставляется с CLI с уровнями достоверности. Источник истины — DATA в build_patterns.py; patterns.json и этот файл генерируются из него.
109 шаблонов / 64 провайдеров / сгенерировано 2026-07-02
pip install -e . # console script + importable package
regextokens scan PATH... # walk files/dirs, report findings
regextokens scan PATH -m verified # only offline-proven findings
regextokens scan PATH -f sarif # SARIF for GitHub code scanning
regextokens list # show the catalog
Код выхода: 0 — находок нет, 1 — есть находки на уровне запрошенного порога или выше, 2 — ошибка. Направьте его на diff или дерево в CI, чтобы блокировать слияния. Секреты по умолчанию редактируются в выводе.
Принимайте проверенные находки (тестовые фикстуры, примеры из документации), чтобы CI падал только на новых секретах:
regextokens scan . --write-baseline .regextokens-baseline.json # snapshot current findings
regextokens scan . --baseline .regextokens-baseline.json # subtract them
Базовый файл хранит отпечатки (sha256 от id шаблона + хешированного тела секрета), а не сами секреты, поэтому его безопасно коммитить. Сопоставление не зависит от строк — редактирование выше принятой находки не снимает её подавление — но тот же токен в другом файле является новой утечкой и будет обнаружен. Вручную отредактированная секция allow содержит политику: fnmatch-шаблоны путей и id шаблонов. --write-baseline сохраняет и применяет её. Этот репозиторий коммитит собственный базовый файл, охватывающий синтетические образцы в build_patterns.py; CI выполняет самопроверку по нему.
# .pre-commit-config.yaml
repos:
- repo: https://github.com/odomojuli/regextokens
rev: v0.2.0
hooks:
- id: regextokens
# .github/workflows/secrets.yml
jobs:
secrets:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: odomojuli/regextokens@main
with:
min-confidence: probable
# baseline: .regextokens-baseline.json
# optional: feed the SARIF to code scanning
# - uses: github/codeql-action/upload-sarif@v3
# if: always()
# with: {sarif_file: regextokens.sarif}
Оба по умолчанию используют -m probable: уровень low включает публичные идентификаторы и заполнители, которые сделали бы проверку коммитов непригодной.
Каждая находка оценивается по офлайн-доказательству — только локальные вычисления, без сети, без обращений к эмитенту. Совпадение по форме отвечает на вопрос «похоже ли это на токен?»; эти проверки отвечают на вопрос «можем ли мы локально доказать, что это токен или что это не он?». Фильтруйте с помощью -m/--min-confidence.
verified-offline — контрольная сумма или декодер доказывает подлинность структуры (GitHub/npm CRC32; эмпирически проверено на реальных отозванных токенах).probable — структура плюс тело с энтропией Шеннона, согласующейся с настоящим секретом.low — только совпадение по форме; может быть заполнителем или публичным идентификатором.rejected — офлайн-доказательство говорит, что это доказуемо не настоящий токен (например, несовпадение CRC32); отбрасывается до того, как дойдёт до вас.Уровень rejected — это ключевое отличие: строка ghp_/npm_ с корректным префиксом и длиной, но неверной контрольной суммой отбрасывается с уверенностью, уничтожая крупнейший класс ложных срабатываний для наиболее ценных провайдеров. Офлайн-доказательство никогда не утверждает, что ключ действующий — для этого по-прежнему нужен API эмитента.
pip install pytest
pytest # validate every pattern + engine
python build_patterns.py # regenerate patterns.json + README.md
Используйте каталог напрямую (без движка):
import json, re
pats = json.load(open("patterns.json"))["patterns"]
rx = {p["id"]: re.compile(p["regex"]) for p in pats}
rx["github-pat-classic"].search(text)
build_patterns.py — источник истины (DATA) + валидатор; пересобирает patterns.json и README.md.patterns.json — сгенерированный каталог (машиночитаемый). Никогда не редактируйте вручную.regextokens/ — устанавливаемый пакет: catalog (загрузка), scanner (обход/сопоставление), verify (офлайн-доказательство), baseline (принятые находки + список разрешённых), report (человек/JSON/SARIF), cli. Включает синхронизированную копию patterns.json..pre-commit-hooks.yaml / action.yml / .github/workflows/ — распространение: хук pre-commit, составной GitHub Action, CI + релиз в PyPI по тегу (доверенная публикация).tests/ — test_patterns.py (каждый паттерн: компиляция, сопоставление, RE2, ReDoS) и test_engine.py (сканер, проверка, отчёт, CLI, синхронизация каталога).sniffer-audit.md — аудит других сканеров секретов (верификация, устаревание).references.bib / references.md — библиография литературы по обнаружению секретов.re. Без просмотра назад и обратных ссылок.re.search (сканирование встроенного текста). Оберните в ^/$ для использования в качестве валидаторов.\b обрамляют большинство токенов. Уберите их при сканировании внутри base64-блобов.prefix = надёжен сам по себе; structure = фиксированная форма; keyword = привязка к ближайшему ключевому слову; identifier = публичный, не секрет; encoding = проверка формата, не секрет.patterns.json — синтетический заполнитель, а не действующие учётные данные.sniffer-audit.md — как крупные сканеры строят и проверяют паттерны, с данными бенчмарков.references.bib / references.md — библиография литературы по обнаружению секретов.Строка Base64 [encoding]
^(?:[A-Za-z0-9+/]{4})*(?:[A-Za-z0-9+/]{2}==|[A-Za-z0-9+/]{3}=)?$
Валидатор формата, не секрет. Стандартный алфавит Base64 с заполнением. С якорями.
src: https://datatracker.ietf.org/doc/html/rfc4648#section-4
JSON Web Token (JWT) [structure]
\bey[A-Za-z0-9_-]{10,}\.ey[A-Za-z0-9/_-]{10,}\.[A-Za-z0-9/_-]{10,}
Три сегмента base64url. Заголовок начинается с ey (то есть {"). Декодируйте для проверки; одна подпись не является секретом.
src: https://datatracker.ietf.org/doc/html/rfc7519
Блок закрытого ключа PEM [prefix]
Откройте для себя самые используемые инструменты нашего сообщества.
Данных о популярности пока нет.