Evine

Web Crawler CLI interattivo.

Evine è un web crawler e web scraper semplice, veloce e interattivo scritto in Golang. Evine è utile per un'ampia gamma di scopi come estrazione di metadati e dati, data mining, ricognizione e test.

Se ti piace il progetto, dagli una stella. Mi spinge a sviluppare il progetto!

Installazione

Da binario

Sono disponibili anche versioni binarie precompilate (consigliate).

Da sorgente

go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -h

Da GitHub

git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --help

Nota: è richiesto golang 1.13.x.

Comandi e Utilizzo

evine -h

Mostrerà l'aiuto per lo strumento:

VISTE

• URL, In questa vista, devi inserire la stringa dell'URL.
• Options, Questa vista serve per impostare le opzioni.
• Headers, Questa vista serve per impostare le intestazioni HTTP.
• Query, Questa vista viene usata dopo il crawling del web. Viene utilizzata per estrarre dati (documenti, URL, ecc.) dalle pagine web che sono state sottoposte a crawling.
• Regex, Questa vista è utile per cercare regex nelle pagine web sottoposte a crawling. Scrivi la tua regex in questa vista e premi Invio.
• Response, Tutti i risultati vengono scritti in questa vista.
• Search, Questa vista viene usata per cercare regex nel contenuto della vista Response.

Metodi di estrazione

Tramite Chiavi

Le chiavi sono parole chiave predefinite che possono essere usate per specificare dati come URL in-scope, URL fuori scope, email, ecc. Elenco di tutte le chiavi:

• url, per estrarre URL IN SCOPE. Gli URL sono completamente sanificati.
• email, per estrarre email IN SCOPE e fuori scope.
• query_urls, per estrarre URL IN SCOPE che contengono la query GET: ?foo=bar.
• all_urls, per estrarre URL FUORI SCOPE.
• phone, per estrarre a[href] che contengono un numero di telefono.
• media, per estrarre file che non sono eseguibili web. come .exe, .bat, .tar.xz, .zip, ecc.
• css, per estrarre file CSS.
• script, per estrarre file JavaScript.
• cdn, per estrarre indirizzi di Content Delivery Networks (CDN). come //api.foo.bar/jquery.min.js
• comment, per estrarre commenti html, <!-- .* !-->
• dns, per estrarre sottodomini che appartengono al sito web.
• network, per estrarre ID di social network. come facebook, twitter, ecc.
• all, per estrarre tutte le chiavi elencate. (url, query_url, ..) le chiavi sono sensibili alle maiuscole/minuscole. Possono anche essere scritte due o tre chiavi separate da virgola.

Tramite Estensioni

Forse vuoi un file che non è definito nelle chiavi. Cosa puoi fare? Puoi semplicemente scrivere l'estensione del file nella vista Query. come png, xml, txt, docx, xlsx, a, mp3, ecc.

Tramite selettore JQuery

Se hai competenze base di JQuery, puoi facilmente usare questa funzione, ma se non le hai, non è molto difficile. Per una panoramica rapida sui selettori w3schools è un'ottima fonte.
esempio (Per trovare source[src]):

$("source").attr("src") // Per trovare tutti gli URL di source[src]
$("h1").text() // Per trovare i valori h1

Template:

$("SELECTOR").METHOD_NAME("arg")

Non supporta query come quelle sotto:

$('SELECTOR').METHOD("arg")
$('SELECTOR').METHOD('arg')
$("SELECTOR"  ).METHOD("arg" )

I metodi sono descritti di seguito:

• text(), restituisce il contenuto del SELECTOR senza tag html.
• html(), restituisce il contenuto del SELECTOR con tag html.
• attr("ATTR"), per ottenere l'attributo del SELECTOR. es. $("a").attr("href")

Bug o Suggerimenti

Per segnalare bug o suggerimenti, crea un issue.

Evine è fortemente ispirato da wuzz.