WARCannon - Katastrophal leistungsstarke parallele WARC-Verarbeitung

WARCannon wurde entwickelt, um den Prozess des 'Grepens des Internets' zu vereinfachen und zu verbilligen.

Mit WARCannon können Sie:

• Regex-Muster anhand realer Common-Crawl-Daten erstellen und testen
• Common-Crawl-Datensätze einfach für die parallele Verarbeitung laden
• Rechenkapazitäten skalieren, um WARCs asynchron mit geradezu unverschämter Kapazität zu verarbeiten.
• Ergebnisse speichern und einfach abrufen

So funktioniert es

WARCannon nutzt geschickt AWS-Technologien, um horizontal auf jede Kapazität zu skalieren, Kosten durch Spot-Flotten und Datenübertragung in derselben Region zu minimieren, mit unglaublichen Geschwindigkeiten (bis zu 100 Gbit/s pro Knoten) aus S3 zu ziehen, über Hunderte von CPU-Kernen zu parallelisieren, den Status über DynamoDB und CloudFront zu melden und Ergebnisse über S3 zu speichern.

Insgesamt kann WARCannon mehrere reguläre Ausdrucksmuster über 400 TB in wenigen Stunden für etwa 30 Dollar verarbeiten.

CloudShell-Installation

Der schnellste und einfachste Weg, um loszulegen, ist die Verwendung des AWS CloudShell. Fügen Sie einfach diesen Einzeiler ein:

source <(curl https://raw.githubusercontent.com/c6fc/warcannon/master/cloudshell/deploy.sh)

Wenn Sie einen anderen Branch als den Master von WARCannon verwenden möchten, geben Sie einfach ein:

export GIT_BRANCH=branch_name
source <(curl https://raw.githubusercontent.com/c6fc/warcannon/$GIT_BRANCH/cloudshell/deploy.sh)

Hinweis: Die CloudShell-Bereitstellung verwendet flüchtigen Speicher, was bedeutet, dass benutzerdefinierte Regex-Muster verloren gehen, wenn CloudShell beendet wird. Wenn Sie WARCannon häufig verwenden möchten, empfehle ich die 'Lokale Installation' unten.

Lokale Installation

WARCannon erfordert, dass Folgendes installiert ist:

• awscli (v2)
• cmake3
• node.js (v17.0.1+)

ProTipp: Um die Dinge sauber und von anderen Dingen, die Sie möglicherweise in AWS haben, getrennt zu halten, wird STRKST empfohlen, WARCannon in einem frischen Konto bereitzustellen. Sie können ein neues Konto einfach über die 'Organizations'-Konsole in AWS erstellen. Mit 'STRKST empfohlen' meine ich 'installieren Sie dies ernsthaft nicht neben anderen Sachen'.

Klonen Sie zuerst das Repo und kopieren Sie die Beispiel-Einstellungen.

$ git clone [email protected]:c6fc/warcannon.git
$ cd warcannon
warcannon$ cp settings.json.sample settings.json

Bearbeiten Sie settings.json nach Belieben:

Erforderliche Einstellungen

• nodeInstanceType: Ein Array von Instanztypen, die für die parallele Verarbeitung verwendet werden sollen. 'c'-Typen bieten für diesen Zweck das beste Preis-Leistungs-Verhältnis, und jede Größe kann verwendet werden. ["c5n.18xlarge"] ist der empfohlene Wert für echte Kampagnen.
• nodeCapacity: Die Anzahl der Knoten, die während der parallelen Verarbeitung angefordert werden sollen. Die resultierenden Knoten werden eine beliebige Verteilung der von Ihnen angegebenen nodeInstanceTypes sein.
• nodeParallelism: Die Anzahl der gleichzeitig zu verarbeitenden WARCs pro vCPU. 2 ist hier eine gute Zahl. Wenn Knoten nicht genügend RAM haben, um auf dieser Parallelitätsebene zu laufen (wie es bei 'c'-Typ-Instanzen der Fall sein kann), laufen sie stattdessen mit der höchsten sicheren Parallelität.
• nodeMaxDuration: Die maximale Lebensdauer von Rechenknoten in Sekunden. Knoten werden nach dieser Zeit automatisch beendet, wenn der Job noch nicht abgeschlossen ist. Standardwert ist 24 Stunden.

Optionale Einstellungen (bei Nichtgebrauch vollständig weglassen)

• sshKeyName: Der Name eines EC2-SSH-Keys, der bereits in us-east-1 existiert.
• allowSSHFrom: Eine CIDR-Maske, um SSH zu erlauben. Normalerweise ist dies <yourpublicip>/32

Um es zu installieren, führen Sie dies aus:

$ npm install
$ npm link
$ warcannon deploy

Kurzanleitung

Das Ausführen einer Kampagne in WARCannon verwendet einen einfachen, leicht verständlichen Arbeitsablauf, der am besten in diesen wenigen Schritten beschrieben werden kann:

1. Infrastruktur bereitstellen: warcannon deploy
2. Regex-Muster entwickeln und dann lokal testen: warcannon testLocal -s
3. Regex-Muster in AWS über Lambda verifizieren: warcannon test
4. Verfügbare Crawls anzeigen: warcannon list 2022
5. Warteschlange mit dem gewünschten Crawl füllen: warcannon populate 2022-21
6. Kampagne ausführen: warcannon fire
7. Warten, bis die Kampagne abgeschlossen ist, dann die Ergebnisse aus S3 mit warcannon syncResults abrufen

Lesen Sie weiter, um ein detaillierteres Verständnis der einzelnen Schritte zu erhalten.

Verwenden von WARCannon

WARCannon wird von Common Crawl über das AWS Open Data-Programm gespeist. Common Crawl ist einzigartig, da die von ihren Spiders abgerufenen Daten nicht nur Website-Text, sondern auch andere textbasierte Inhalte wie JavaScript, TypeScript, vollständiges HTML, CSS usw. erfassen. Durch die Erstellung geeigneter regulärer Ausdrücke, die einzigartige Komponenten identifizieren können, können Forscher Websites anhand der von ihnen verwendeten Technologien identifizieren, ohne jemals die Website selbst zu berühren. Das Problem ist, dass dafür Hunderte von Terabytes an Daten analysiert werden müssen, was unabhängig von den verfügbaren Ressourcen eine große Herausforderung darstellt. Glücklicherweise bietet WARCannon mehrere Tools, mit denen Sie dies bewerkstelligen können!

Entwickeln von regulären Ausdrücken

Das Internet zu greppen ist nichts für schwache Nerven, aber der erste Schritt ist ein effektives Sieb. WARCannon unterstützt dies, indem es die lokale Überprüfung von regulären Ausdrücken anhand realer Common-Crawl-Daten ermöglicht. Öffnen Sie zuerst lambda_functions/warcannon/matches.js und ändern Sie das Objekt regex_patterns, um die gewünschten regulären Ausdrücke im Format name: pattern aufzunehmen. Hier ist ein Beispiel aus dem Standard-Suchset:

exports.regex_patterns = {
	"access_key_id": /(\'A|"A)(SIA|KIA|IDA|ROA)[JI][A-Z0-9]{14}[AQ][\'"]/g,
};

Zeichenfolgen, die diesem Ausdruck entsprechen, werden unter dem entsprechenden Schlüssel in den Ergebnissen gespeichert; in diesem Fall access_key_id. Protipp: Verwenden Sie RegExr mit dem Format 'JavaScript', um reguläre Ausdrücke zu erstellen und gegen bekannte gute Treffer zu testen.

Sie haben auch die Möglichkeit, nur Ergebnisse von bestimmten Domänen zu erfassen. Füllen Sie dazu einfach das Array domains mit den FQDNs, die Sie einschließen möchten. Es wird empfohlen, dies leer [] zu lassen, da es fast nie lohnenswert ist (der eingesparte Verarbeitungsaufwand ist sehr gering), aber es kann in einigen Nischenfällen nützlich sein.

exports.domains = ["example1.com", "example2.com"];

Sobald matches.js ausgefüllt ist, führen Sie den folgenden Befehl aus:

warcannon$ warcannon testLocal -s

Sie können optional einen Pfad zu einem WARC im commoncrawl S3-Bucket hinzufügen, wenn Sie möchten, ansonsten wird eine hartcodierte Standardeinstellung verwendet.

WARCannon streamt die Verarbeitung der WARC-Datei (oder lädt sie vollständig herunter, wenn Sie -s weglassen), um Ihre konfigurierten Treffer zu finden. WARCannon speichert die Ergebnisse im Ordner ~/.warcannon/, wenn Sie mit ctrl+c unterbrechen oder wenn die Verarbeitung abgeschlossen ist. Dies erleichtert das schnelle Testen gängiger Treffer mit minimaler Bandbreite.