Evine

Interaktiver CLI-Webcrawler.

Evine ist ein einfacher, schneller und interaktiver Webcrawler und Web-Scraper, geschrieben in Golang. Evine ist für eine Vielzahl von Zwecken nützlich, wie z. B. Metadaten- und Datenextraktion, Data Mining, Aufklärung und Tests.

Wenn dir das Projekt gefällt, gib ihm einen Stern. Das zwingt mich, das Projekt weiterzuentwickeln!

Installation

Von Binärdateien

Vorgefertigte Binärversionen sind ebenfalls verfügbar (empfohlen).

Aus dem Quellcode

go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -h

Von GitHub

git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --help

Hinweis: golang 1.13.x erforderlich.

Befehle und Verwendung

evine -h

Es zeigt die Hilfe für das Tool an:

ANSICHTEN

• URL: In dieser Ansicht sollten Sie die URL-Zeichenfolge eingeben.
• Optionen: Diese Ansicht dient zum Festlegen von Optionen.
• Header: Diese Ansicht dient zum Festlegen der HTTP-Header.
• Abfrage: Diese Ansicht wird nach dem Crawlen des Webs verwendet. Sie wird verwendet, um die Daten (Dokumente, URLs usw.) aus den gecrawlten Webseiten zu extrahieren.
• Regex: Diese Ansicht ist nützlich, um Regex in gecrawlten Webseiten zu suchen. Schreiben Sie Ihren Regex in diese Ansicht und drücken Sie Enter.
• Antwort: Alle Ergebnisse werden in dieser Ansicht angezeigt.
• Suche: Diese Ansicht wird verwendet, um Regex im Inhalt der Antwortansicht zu suchen.

Extraktionsmethoden

Von Schlüsseln

Schlüssel sind vordefinierte Schlüsselwörter, die verwendet werden können, um Daten wie In-Scope-URLs, Out-of-Scope-URLs, E-Mails usw. anzugeben. Liste aller Schlüssel:

• url, zum Extrahieren von IN-SCOPE-URLs. Die URLs werden vollständig bereinigt.
• email, zum Extrahieren von IN-SCOPE- und Out-of-Scope-E-Mails.
• query_urls, zum Extrahieren von IN-SCOPE-URLs, die die GET-Abfrage enthalten: ?foo=bar.
• all_urls, zum Extrahieren von OUT-OF-SCOPE-URLs.
• phone, zum Extrahieren von a[href]s, die eine Telefonnummer enthalten.
• media, zum Extrahieren von Dateien, die keine ausführbaren Webdateien sind, wie .exe, .bat, .tar.xz, .zip usw. Adressen.
• css, zum Extrahieren von CSS-Dateien.
• script, zum Extrahieren von JavaScript-Dateien.
• cdn, zum Extrahieren von Content-Delivery-Network(CDN)-Adressen, wie //api.foo.bar/jquery.min.js
• comment, zum Extrahieren von HTML-Kommentaren, <!-- .* !-->
• dns, zum Extrahieren von Subdomains, die zur Website gehören.
• network, zum Extrahieren von Social-Network-IDs, wie Facebook, Twitter usw.
• all, zum Extrahieren der gesamten Liste von Schlüsseln. (url, query_url, ..) Schlüssel sind case-sensitiv. Es können auch zwei oder drei Schlüssel mit Komma getrennt geschrieben werden.

Von Erweiterungen

Vielleicht möchten Sie eine Datei, die nicht in Schlüsseln definiert ist. Was können Sie tun? Sie können einfach die Erweiterung der Datei in der Abfrageansicht schreiben, wie png, xml, txt, docx, xlsx, a, mp3 usw.

Von jQuery-Selektor

Wenn Sie grundlegende jQuery-Kenntnisse haben, können Sie diese Funktion leicht nutzen, aber wenn nicht, ist sie nicht sehr schwierig. Für einen schnellen Überblick über die Selektoren ist w3schools eine großartige Quelle.
Beispiel (um source[src] zu finden):

$("source").attr("src") // To find all of source[src] urls
$("h1").text() // To find h1 values

Vorlage:

$("SELECTOR").METHOD_NAME("arg")

Es unterstützt keine Abfragen wie die folgenden:

$('SELECTOR').METHOD("arg")
$('SELECTOR').METHOD('arg')
$("SELECTOR"  ).METHOD("arg" )

Methoden werden unten beschrieben:

• text(), gibt den Inhalt des SELECTORS ohne HTML-Tag zurück.
• html(), gibt den Inhalt des SELECTORS mit HTML-Tag zurück.
• attr("ATTR"), um das Attribut des SELECTORS zu erhalten. z.B. $("a").attr("href")

Fehler oder Vorschläge

Um Fehler oder Vorschläge zu melden, erstellen Sie ein Issue.

Evine ist stark inspiriert von wuzz.