Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
Инструменты/GitHubGitHub/odomojuli/regextokens
Оборонительные ИнструментыСтатический анализСканеры уязвимостейАнализ КодаDevSecOpsОбнаружение СекретовБезопасность Цепочки ПоставокПодобранные Ресурсы
GitHubodomojuli/regextokens

regextokens

список шаблонов regex для токенов oauth / api с указанием источника

Репозиторий
29263894 месяцев назадПроверено Kitploit
Поделиться

regextokens

Сканер OAuth / API-токенов и секретов с указанием источников, тестированием и офлайн-доказательством. Каждый шаблон имеет источник (первичная документация провайдера), протестирован (положительные + отрицательные образцы) и доказан (совместим с RE2, проверен на ReDoS). Поставляется с CLI с уровнями достоверности. Источник истины — DATA в build_patterns.py; patterns.json и этот файл генерируются из него.

109 шаблонов / 64 провайдеров / сгенерировано 2026-07-02

Установка

pip install -e .          # console script + importable package

Сканирование

regextokens scan PATH...              # walk files/dirs, report findings
regextokens scan PATH -m verified     # only offline-proven findings
regextokens scan PATH -f sarif        # SARIF for GitHub code scanning
regextokens list                      # show the catalog

Код выхода: 0 — находок нет, 1 — есть находки на уровне запрошенного порога или выше, 2 — ошибка. Направьте его на diff или дерево в CI, чтобы блокировать слияния. Секреты по умолчанию редактируются в выводе.

Базовая линия / список разрешённых

Принимайте проверенные находки (тестовые фикстуры, примеры из документации), чтобы CI падал только на новых секретах:

regextokens scan . --write-baseline .regextokens-baseline.json   # snapshot current findings
regextokens scan . --baseline .regextokens-baseline.json         # subtract them

Базовый файл хранит отпечатки (sha256 от id шаблона + хешированного тела секрета), а не сами секреты, поэтому его безопасно коммитить. Сопоставление не зависит от строк — редактирование выше принятой находки не снимает её подавление — но тот же токен в другом файле является новой утечкой и будет обнаружен. Вручную отредактированная секция allow содержит политику: fnmatch-шаблоны путей и id шаблонов. --write-baseline сохраняет и применяет её. Этот репозиторий коммитит собственный базовый файл, охватывающий синтетические образцы в build_patterns.py; CI выполняет самопроверку по нему.

Pre-commit hook и GitHub Action

# .pre-commit-config.yaml
repos:
  - repo: https://github.com/odomojuli/regextokens
    rev: v0.2.0
    hooks:
      - id: regextokens
# .github/workflows/secrets.yml
jobs:
  secrets:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: odomojuli/regextokens@main
        with:
          min-confidence: probable
          # baseline: .regextokens-baseline.json
      # optional: feed the SARIF to code scanning
      # - uses: github/codeql-action/upload-sarif@v3
      #   if: always()
      #   with: {sarif_file: regextokens.sarif}

Оба по умолчанию используют -m probable: уровень low включает публичные идентификаторы и заполнители, которые сделали бы проверку коммитов непригодной.

Уровни достоверности

Каждая находка оценивается по офлайн-доказательству — только локальные вычисления, без сети, без обращений к эмитенту. Совпадение по форме отвечает на вопрос «похоже ли это на токен?»; эти проверки отвечают на вопрос «можем ли мы локально доказать, что это токен или что это не он?». Фильтруйте с помощью -m/--min-confidence.

  • verified-offline — контрольная сумма или декодер доказывает подлинность структуры (GitHub/npm CRC32; эмпирически проверено на реальных отозванных токенах).
  • probable — структура плюс тело с энтропией Шеннона, согласующейся с настоящим секретом.
  • low — только совпадение по форме; может быть заполнителем или публичным идентификатором.
  • rejected — офлайн-доказательство говорит, что это доказуемо не настоящий токен (например, несовпадение CRC32); отбрасывается до того, как дойдёт до вас.

Уровень rejected — это ключевое отличие: строка ghp_/npm_ с корректным префиксом и длиной, но неверной контрольной суммой отбрасывается с уверенностью, уничтожая крупнейший класс ложных срабатываний для наиболее ценных провайдеров. Офлайн-доказательство никогда не утверждает, что ключ действующий — для этого по-прежнему нужен API эмитента.

Разработка

pip install pytest
pytest                     # validate every pattern + engine
python build_patterns.py   # regenerate patterns.json + README.md

Используйте каталог напрямую (без движка):

import json, re
pats = json.load(open("patterns.json"))["patterns"]
rx = {p["id"]: re.compile(p["regex"]) for p in pats}
rx["github-pat-classic"].search(text)

Файлы

  • build_patterns.py — источник истины (DATA) + валидатор; пересобирает patterns.json и README.md.
  • patterns.json — сгенерированный каталог (машиночитаемый). Никогда не редактируйте вручную.
  • regextokens/ — устанавливаемый пакет: catalog (загрузка), scanner (обход/сопоставление), verify (офлайн-доказательство), baseline (принятые находки + список разрешённых), report (человек/JSON/SARIF), cli. Включает синхронизированную копию patterns.json.
  • .pre-commit-hooks.yaml / action.yml / .github/workflows/ — распространение: хук pre-commit, составной GitHub Action, CI + релиз в PyPI по тегу (доверенная публикация).
  • tests/ — test_patterns.py (каждый паттерн: компиляция, сопоставление, RE2, ReDoS) и test_engine.py (сканер, проверка, отчёт, CLI, синхронизация каталога).
  • sniffer-audit.md — аудит других сканеров секретов (верификация, устаревание).
  • references.bib / references.md — библиография литературы по обнаружению секретов.

Соглашения

  • Разновидность: совместимость с RE2 (gitleaks/Go) и Python re. Без просмотра назад и обратных ссылок.
  • Паттерны написаны для re.search (сканирование встроенного текста). Оберните в ^/$ для использования в качестве валидаторов.
  • Границы слов \b обрамляют большинство токенов. Уберите их при сканировании внутри base64-блобов.
  • Тег стратегии для каждой записи: prefix = надёжен сам по себе; structure = фиксированная форма; keyword = привязка к ближайшему ключевому слову; identifier = публичный, не секрет; encoding = проверка формата, не секрет.
  • Совпадение по форме необходимо, но не достаточно. Многие эмитенты встраивают контрольные суммы; проверяйте перед действиями.[^verify]
  • Примеры токенов в patterns.json — синтетический заполнитель, а не действующие учётные данные.

Ссылки

  • sniffer-audit.md — как крупные сканеры строят и проверяют паттерны, с данными бенчмарков.
  • references.bib / references.md — библиография литературы по обнаружению секретов.
  • Происхождение паттернов восходит к Meli et al., How Bad Can It Git? (NDSS 2019).[^ndss]

Указатель

  • Общие / Крипто: Generic, age
  • Облако: Amazon MWS, Amazon Web Services, Cloudflare, DigitalOcean, Fly.io, Google, HashiCorp Terraform, HashiCorp Vault, Heroku, Microsoft Azure, Netlify, Okta, Pulumi, Tailscale, Vercel
  • Исходный код / CI: CircleCI, Docker, GitHub, GitLab, PyPI, RubyGems, npm
  • ИИ: Anthropic, Cohere, DeepSeek, Fireworks AI, Groq, Hugging Face, Mistral AI, OpenAI, OpenRouter, Perplexity, Replicate, xAI
  • Платежи: PayPal / Braintree, Picatic, Shopify, Square, Stripe
  • Коммуникации: Discord, Mailchimp, Mailgun, SendGrid, Slack, Telegram, Twilio
  • Социальные сети: Facebook, Foursquare, Instagram, Twitter / X
  • Продуктивность: Airtable, Atlassian, Databricks, Datadog, Doppler, Dropbox, Grafana, Linear, Notion, Postman, Sentry, WakaTime

Общие / Крипто

Общие

Строка Base64 [encoding]

^(?:[A-Za-z0-9+/]{4})*(?:[A-Za-z0-9+/]{2}==|[A-Za-z0-9+/]{3}=)?$

Валидатор формата, не секрет. Стандартный алфавит Base64 с заполнением. С якорями.

src: https://datatracker.ietf.org/doc/html/rfc4648#section-4

JSON Web Token (JWT) [structure]

\bey[A-Za-z0-9_-]{10,}\.ey[A-Za-z0-9/_-]{10,}\.[A-Za-z0-9/_-]{10,}

Три сегмента base64url. Заголовок начинается с ey (то есть {"). Декодируйте для проверки; одна подпись не является секретом.

src: https://datatracker.ietf.org/doc/html/rfc7519

Блок закрытого ключа PEM [prefix]

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

Данных о популярности пока нет.

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →