crissyfield/troll-aИзвлекает секреты (пароли, ключи API, токены) из веб-архивов WARC с помощью правил Gitleaks. Поддерживает HTTP, S3, локальные файлы и сжатые архивы с параллельной обработкой.
Troll-A — это инструмент командной строки для извлечения секретов, таких как пароли, ключи API и токены, из файлов WARC (Web ARChive). Troll-A представляет собой простое в использовании, всеобъемлющее и быстрое решение для поиска секретов в веб-архивах.
*.megawarc.warc.zst).c7g.12xlarge. Это можно дополнительно улучшить, сузив круг обрабатываемых записей WARC с помощью опции --filter.Troll-A распространяется в виде предварительно собранных бинарников, как образ Docker или в исходном виде.Troll-A доступен в реестре контейнеров Github и может быть использован следующим образом:
docker run --rm ghcr.io/crissyfield/troll-a [flags] [url]
Troll-A также доступен в бинарном виде для macOS и Linux на странице релизов.
[!NOTE] В отличие от образа Docker, предварительно собранные бинарники скомпилированы с использованием регулярных выражений Go Stdlib и поэтому заметно медленнее. Если предпочтительны нативные бинарники и производительность критична, рекомендуется собирать их из исходников.
Для лучшей производительности рекомендуется собирать Troll-A из исходников, так как это позволяет использовать оптимизированный движок регулярных выражений, предоставляемый go-re2. Для этого сначала необходимо установить зависимость RE2.
# Установка зависимостей
brew install re2
# Установка с активированным RE2
go install -tags re2_cgo github.com/crissyfield/[email protected]
# Установка зависимостей
sudo apt install -u build-essential libre2-dev
# Установка с активированным RE2
go install -tags re2_cgo github.com/crissyfield/[email protected]
Usage:
troll-a [flags] [url]
This tool allows to extract (potential) secrets such as passwords, API keys, and tokens
from WARC (Web ARChive) files. Extracted information is output as structured text org
JSON, which simplifies further processing of the data.
"url" can be either a regular HTTP or HTTPS reference ("https://domain/path"), an Amazon
S3 reference ("s3://bucket/path"), a file path (either "file:///path" or simply "path"),
or a dash ("-") to read from STDIN. If "url" is omitted data is read from STDIN. If the
input data is compressed with either GZip, BZip2, XZ, or ZStd it is automatically
decompressed. ZStd with a prepended custom dictionary (as used by "*.megawarc.warc.zstd")
is also handled transparently.
This tool uses rules from the Gitleaks project (https://gitleaks.io) to detect secrets.
Flags:
-c, --custom stringArray дополнительное пользовательское правило для применения. Секреты, соответствующие
заданному регулярному выражению (синтаксис RE2), также будут
сообщены. Можно указать несколько раз.
-e, --enclosed сообщать только о секретах, заключенных в их контексте
-f, --filter string фильтр для целевого URL каждой записи WARC. Будут проверяться только записи
WARC, соответствующие заданному регулярному выражению (синтаксис
RE2). Пустой фильтр соответствует всему.
-h, --help справка для troll-a
-j, --jobs uint обнаруживать секреты с таким количеством конкурентных задач (по умолчанию 8)
-s, --json выводить обнаруженные секреты в формате JSON
-p, --preset rules-preset пресет правил для использования. Может быть одним из следующих:
all: Применяются все известные правила, что может
привести к значительному количеству ложных срабатываний
для больших наборов данных.
most: Применяется большинство правил, пропуская самые
большие источники ложных срабатываний.
secret: Применяются только правила, которые с наибольшей вероятностью
приведут к фактической утечке секрета.
none: Правила не применяются вовсе. Может использоваться
в сочетании с пользовательскими правилами через
ключ --custom/-c.
Другие значения не допускаются. (по умолчанию secret)
-q, --quiet подавить сообщение(я) об успехе
-r, --retry retry-strategy стратегия повторных попыток. Может быть одной из следующих:
never: Эта стратегия завершится ошибкой после первой неудачной
загрузки и не будет пытаться повторить.
constant: Эта стратегия будет пытаться повторить до 5
раз, с задержкой в 5 секунд после каждой попытки.
exponential: Эта стратегия будет пытаться повторить в течение 15
минут, с экспоненциально возрастающей задержкой
после каждой попытки.
always: Эта стратегия будет пытаться повторять бесконечно,
без какой-либо задержки после каждой попытки.
Другие значения не допускаются. (по умолчанию never)
-t, --timeout duration тайм-аут загрузки (не применяется к файлам) (по умолчанию 30m0s)
-v, --version версия для troll-a
Common Crawl поддерживает бесплатное, открытое хранилище данных веб-сканирования, которое может использовать любой желающий. Корпус Common Crawl содержит петабайты данных, собираемых регулярно с 2008 года.
Например, чтобы извлечь секреты из всех 3,35 миллиарда страниц сканирования за ноябрь/декабрь 2023 года (называемого CC-MAIN-2023-50), можно сделать следующее: