Troll-A

Troll-A é uma ferramenta de linha de comando para extrair segredos como senhas, chaves de API e tokens de arquivos WARC (Web ARChive). Troll-A é uma solução fácil de usar, abrangente e rápida para encontrar segredos em arquivos web.

Características

Protocolos: Suporta a recuperação de arquivos web diretamente de um servidor de rede via HTTP/HTTPS, do serviço de armazenamento de objetos Amazon S3, do sistema de arquivos local ou do STDIN.
Compressão: Suporta arquivos web comprimidos com GZip, BZip2, XZ ou ZStd. Para ZStd, também suporta dicionários personalizados prefixados ao fluxo de dados comprimido (como usado em arquivos *.megawarc.warc.zst).
Abrangente: Utiliza o conjunto de regras testado em batalha do projeto Gitleaks para detectar até 166 tipos diferentes de segredos, tokens, chaves ou outras informações sensíveis.
Desempenho: Funciona de forma concorrente e opcionalmente usa expressões regulares otimizadas (via go-re2) para processar um arquivo web típico do Common Crawl (~34.000 páginas) em menos de 30 segundos em uma instância AWS c7g.12xlarge. Isso pode ser melhorado ainda mais restringindo os registros WARC a serem processados, através da opção --filter.
Distribuição: O Troll-A é distribuído como binários pré-compilados, como uma imagem Docker ou na forma de código fonte.

Instalação

Docker

O Troll-A está disponível no registro de contêineres do GitHub e pode ser usado da seguinte forma:

docker run --rm ghcr.io/crissyfield/troll-a [flags] [url]

Binários Pré-compilados

O Troll-A também está disponível em formato binário para macOS e Linux na página de releases.

[!NOTE] Ao contrário da imagem Docker, os binários pré-compilados são compilados usando expressões regulares da biblioteca padrão do Go e, portanto, são visivelmente mais lentos. Se binários nativos forem preferidos e o desempenho for crucial, recomenda-se compilar os binários a partir do código fonte.

Compilar a Partir do Código Fonte

Para melhor desempenho, recomenda-se compilar o Troll-A a partir do código fonte, pois isso permite usar o motor de expressões regulares otimizado fornecido pelo go-re2. Para que isso funcione, a dependência RE2 deve ser instalada primeiro.

macOS

# Instalar dependências
brew install re2

# Instalar com RE2 ativado
go install -tags re2_cgo github.com/crissyfield/[email protected]

Debian / Ubuntu

# Instalar dependências
sudo apt install -u build-essential libre2-dev

# Instalar com RE2 ativado
go install -tags re2_cgo github.com/crissyfield/[email protected]

Uso

Usage:
  troll-a [flags] [url]

This tool allows to extract (potential) secrets such as passwords, API keys, and tokens
from WARC (Web ARChive) files. Extracted information is output as structured text org
JSON, which simplifies further processing of the data.

"url" can be either a regular HTTP or HTTPS reference ("https://domain/path"), an Amazon
S3 reference ("s3://bucket/path"), a file path (either "file:///path" or simply "path"),
or a dash ("-") to read from STDIN. If "url" is omitted data is read from STDIN. If the
input data is compressed with either GZip, BZip2, XZ, or ZStd it is automatically
decompressed. ZStd with a prepended custom dictionary (as used by "*.megawarc.warc.zstd")
is also handled transparently.

This tool uses rules from the Gitleaks project (https://gitleaks.io) to detect secrets.

Flags:
  -c, --custom stringArray     additional custom rule to apply. Secrets that match the
                               given regular expression (using RE2 syntax) will also be
                               reported. Can be specified multiple times.
  -e, --enclosed               only report secrets that are enclosed within their context
  -f, --filter string          filter for the target URL of each WARC record. Only WARC
                               records that match the given regular expression (using RE2
                               syntax) will be checked for secrets. An empty filter will
                               match everything.
  -h, --help                   help for troll-a
  -j, --jobs uint              detect secrets with this many concurrent jobs (default 8)
  -s, --json                   output detected secrets as JSON
  -p, --preset rules-preset    rules preset to use. This could be one of the following:
                               all:         All known rules will be applied, which can
                                            result in a significant amount of noise for
                                            large data sets.
                               most:        Most of the rules are applied, skipping the
                                            biggest culprits for false positives.
                               secret:      Only rules are applied that are most likely
                                            to result in an actual leak of a secret.
                               none:        No rules at all are applied. This can be used
                                            in combination with custom rules via the
                                            --custom/-c switch.
                               No other values are allowed. (default secret)
  -q, --quiet                  suppress success message(s)
  -r, --retry retry-strategy   retry strategy to use. This could be one of the following:
                               never:       This strategy will fail after the first fetch
                                            failure and will not attempt to retry.
                               constant:    This strategy will attempt to retry up to 5
                                            times, with a 5s delay after each attempt.
                               exponential: This strategy will attempt to retry for 15
                                            minutes, with an exponentially increasing
                                            delay after each attempt.
                               always:      This strategy will attempt to retry forever,
                                            with no delay at all after each attempt.
                               No other values are allowed. (default never)
  -t, --timeout duration       fetching timeout (does not apply to files) (default 30m0s)
  -v, --version                version for troll-a

Exemplos

Common Crawl

O Common Crawl mantém um repositório gratuito e aberto de dados de rastreamento web que pode ser usado por qualquer pessoa. O corpus do Common Crawl contém petabytes de dados coletados regularmente desde 2008.

Por exemplo, para extrair segredos de todas as 3,35 bilhões de páginas do rastreamento de novembro/dezembro de 2023 (chamado CC-MAIN-2023-50), você pode fazer o seguinte:

# Baixar a lista de todos os 90.000 caminhos WARC
curl -sSL -O https://data.commoncrawl.org/crawl-data/CC-MAIN-2023-50/warc.paths.gz

# Iterar por todos os caminhos usando 64 tarefas de varredura, gerar correspondências como JSON
gzcat warc.paths.gz | \
xargs -I{} -- troll-a -e -s -j64 https://data.commoncrawl.org/{} > secrets.json

[!WARNING] Isso levará muito tempo! Dependendo do seu hardware e conexão com a Internet, isso pode levar de uma semana a vários meses. Talvez você queira executar este exemplo apenas para as primeiras linhas de warc.paths.gz.

Internet Archive

O Archive Team é um grupo dedicado à preservação digital e arquivamento web fundado em 2009. Os arquivos web são armazenados como arquivos WARC (mais especificamente, no formato MegaWARC) e disponibilizados através do Internet Archive.

Por exemplo, para extrair segredos das 113.372 páginas que o Archive Team rastreou do pastebin.com em abril de 2023 (aqui está a publicação correspondente no Internet Archive), você pode fazer o seguinte:

# Chamar o troll-a diretamente com a URL do MegaWARC
troll-a -e https://archive.org/download/archiveteam_pastebin_20230421003309_a3b951b4/pastebin_20230421003309_a3b951b4.1603050931.megawarc.warc.zst

...o que resulta em...

Detected: secret="acf30fb56amsh654fa8104418601p1e420cjsn3152a0032f0b" rule="rapidapi-access-token" uri="https://pastebin.com/raw/bKMJXkQE" line=36 column=15
Detected: secret="acf30fb56amsh654fa8104418601p1e420cjsn3152a0032f0b" rule="rapidapi-access-token" uri="https://pastebin.com/raw/bKMJXkQE" line=36 column=15
Detected: secret="acf30fb56amsh654fa8104418601p1e420cjsn3152a0032f0b" rule="rapidapi-access-token" uri="https://pastebin.com/raw/nferefe2" line=37 column=6
Detected: secret="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" rule="github-pat" uri="https://pastebin.com/print/cQEA2GCS" line=39 column=123
Detected: secret="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" rule="github-pat" uri="https://pastebin.com/embed_js/cQEA2GCS" line=11 column=2688
Detected: secret="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" rule="github-pat" uri="https://pastebin.com/embed_iframe/cQEA2GCS?theme=dark" line=49 column=123
Detected: secret="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" rule="github-pat" uri="https://pastebin.com/cQEA2GCS" line=222 column=123
Detected: secret="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" rule="github-pat" uri="https://pastebin.com/raw/cQEA2GCS" line=22 column=22
Detected: secret="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" rule="github-pat" uri="https://pastebin.com/embed_iframe/cQEA2GCS" line=48 column=123
Detected: secret="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" rule="github-pat" uri="https://pastebin.com/embed_js/cQEA2GCS?theme=dark" line=11 column=2796
Detected: secret="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" rule="github-pat" uri="https://pastebin.com/clone/cQEA2GCS" line=152 column=27
Success: Processed https://archive.org/download/archiveteam_pastebin_20230421003309_a3b951b4/pastebin_20230421003309_a3b951b4.1603050931.megawarc.warc.zst (113372 records)

Créditos

O conjunto de regras usado para detectar os segredos reais faz parte do projeto Gitleaks. Somos muito gratos pelo trabalho tremendo que eles fizeram ao compilar todas essas informações!

Qual é a história por trás do nome?

A plataforma Troll A é uma plataforma de gás natural no campo de gás Troll, na costa oeste da Noruega. Em 2014, era a estrutura mais alta já movida para outra posição em relação à superfície da Terra, e está entre os maiores e mais complexos projetos de engenharia da história. Em 1996, a plataforma estabeleceu o Recorde Mundial do Guinness como a maior plataforma de gás offshore.

[!NOTE] Embora detestemos profundamente a exploração de recursos naturais, admiramos a façanha da engenharia!

troll-a

Mais Populares