crissyfield/troll-aExtrahiert Geheimnisse (Passwörter, API-Schlüssel, Token) aus WARC-Webarchiven mittels Gitleaks-Regeln. Unterstützt HTTP, S3, lokale Dateien und komprimierte Archive mit gleichzeitiger Verarbeitung.
Troll-A ist ein Kommandozeilenwerkzeug zum Extrahieren von Geheimnissen wie Passwörtern, API-Schlüsseln und Tokens aus WARC-Dateien (Web ARChive). Troll-A ist eine einfach zu verwendende, umfassende und schnelle Lösung zum Auffinden von Geheimnissen in Webarchiven.
*.megawarc.warc.zst-Dateien verwendet).c7g.12xlarge zu verarbeiten. Dies kann weiter verbessert werden, indem die zu verarbeitenden WARC-Datensätze über die Option --filter eingegrenzt werden.Troll-A wird als vorgefertigte Binärdateien, als Docker-Image oder im Quellcode vertrieben.Troll-A ist im Container-Registry von Github verfügbar und kann wie folgt verwendet werden:
docker run --rm ghcr.io/crissyfield/troll-a [flags] [url]
Troll-A ist auch in Binärform für macOS und Linux auf der Releases-Seite verfügbar.
[!NOTE] Im Gegensatz zum Docker-Image werden die vorgefertigten Binärdateien mit den regulären Ausdrücken von Gos Stdlib kompiliert und sind daher merklich langsamer. Wenn native Binärdateien bevorzugt werden und die Leistung entscheidend ist, wird empfohlen, die Binärdateien aus dem Quellcode zu erstellen.
Für eine bessere Leistung wird empfohlen, Troll-A aus dem Quellcode zu erstellen, da dies die Verwendung der optimierten Engine für reguläre Ausdrücke von go-re2 ermöglicht. Damit dies funktioniert, muss zunächst die Abhängigkeit RE2 installiert werden.
# Abhängigkeiten installieren
brew install re2
# Mit aktiviertem RE2 installieren
go install -tags re2_cgo github.com/crissyfield/[email protected]
# Abhängigkeiten installieren
sudo apt install -u build-essential libre2-dev
# Mit aktiviertem RE2 installieren
go install -tags re2_cgo github.com/crissyfield/[email protected]
Usage:
troll-a [flags] [url]
Dieses Werkzeug erlaubt es, (potenzielle) Geheimnisse wie Passwörter, API-Schlüssel und Tokens aus WARC-Dateien
(Web ARChive) zu extrahieren. Extrahierte Informationen werden als strukturierter Text oder JSON ausgegeben,
was die weitere Verarbeitung der Daten vereinfacht.
"url" kann entweder eine normale HTTP- oder HTTPS-Referenz ("https://domain/path"), eine Amazon
S3-Referenz ("s3://bucket/path"), ein Dateipfad (entweder "file:///path" oder einfach "path")
oder ein Bindestrich ("-") zum Lesen von STDIN sein. Wenn "url" weggelassen wird, werden die Daten von STDIN
gelesen. Wenn die Eingabedaten mit GZip, BZip2, XZ oder ZStd komprimiert sind, werden sie automatisch
dekomprimiert. ZStd mit einem vorangestellten benutzerdefinierten Wörterbuch (wie bei "*.megawarc.warc.zstd" verwendet)
wird ebenfalls transparent verarbeitet.
Dieses Werkzeug verwendet Regeln aus dem Gitleaks-Projekt (https://gitleaks.io) zur Erkennung von Geheimnissen.
Flags:
-c, --custom stringArray eine zusätzliche benutzerdefinierte Regel, die angewendet werden soll. Geheimnisse,
die auf den angegebenen regulären Ausdruck (unter Verwendung der RE2-Syntax) passen,
werden ebenfalls gemeldet. Kann mehrmals angegeben werden.
-e, --enclosed nur Geheimnisse melden, die in ihrem Kontext eingeschlossen sind
-f, --filter string Filter für die Ziel-URL jedes WARC-Datensatzes. Nur WARC-Datensätze,
die auf den angegebenen regulären Ausdruck (unter Verwendung der RE2-Syntax) passen,
werden auf Geheimnisse überprüft. Ein leerer Filter passt auf alles.
-h, --help Hilfe für troll-a
-j, --jobs uint Geheimnisse mit dieser Anzahl nebenläufiger Jobs erkennen (Standard 8)
-s, --json erkannte Geheimnisse als JSON ausgeben
-p, --preset rules-preset zu verwendende Regeln-Voreinstellung. Kann eine der folgenden sein:
all: Alle bekannten Regeln werden angewendet, was bei großen Datensätzen
zu einer erheblichen Menge an Rauschen führen kann.
most: Die meisten Regeln werden angewendet, wobei die größten Übeltäter
für Fehlalarme übersprungen werden.
secret: Es werden nur Regeln angewendet, die am ehesten zu einem tatsächlichen
Leck eines Geheimnisses führen.
none: Es werden überhaupt keine Regeln angewendet. Dies kann in Kombination
mit benutzerdefinierten Regeln über den Schalter --custom/-c verwendet werden.
Andere Werte sind nicht erlaubt. (Standard secret)
-q, --quiet Erfolgsmeldung(en) unterdrücken
-r, --retry retry-strategy zu verwendende Wiederholungsstrategie. Kann eine der folgenden sein:
never: Diese Strategie wird nach dem ersten Abruffehler fehlschlagen und
keinen Wiederholungsversuch unternehmen.
constant: Diese Strategie wird versuchen, bis zu 5 Mal zu wiederholen,
mit einer Verzögerung von 5s nach jedem Versuch.
exponential: Diese Strategie wird versuchen, 15 Minuten lang zu wiederholen,
mit einer exponentiell steigenden Verzögerung nach jedem Versuch.
always: Diese Strategie wird versuchen, für immer zu wiederholen,
ohne Verzögerung nach jedem Versuch.
Andere Werte sind nicht erlaubt. (Standard never)
-t, --timeout duration Abruf-Timeout (gilt nicht für Dateien) (Standard 30m0s)
-v, --version Version für troll-a