Evine

Web Crawler Interativo de CLI.

Evine é um web crawler e web scraper simples, rápido e interativo escrito em Golang. Evine é útil para uma ampla gama de propósitos, como extração de metadados e dados, mineração de dados, reconhecimento e testes.

Se você gostou do projeto, dê uma estrela. Isso me força a desenvolvê-lo!

Instalação

A partir do Binário

Pré-compilações de binários também estão disponíveis (Recomendado).

A partir do Código Fonte

go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -h

A partir do GitHub

git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --help

Nota: necessário golang 1.13.x.

Comandos e Uso

evine -h

Isso exibirá a ajuda da ferramenta:

VISÕES

• URL, Nesta visão, você deve inserir a string da URL.
• Opções, Esta visão é para definir opções.
• Cabeçalhos, Esta visão é para definir os Cabeçalhos HTTP.
• Consulta, Esta visão é usada após o rastreamento da web. Será usada para extrair dados (documentos, URLs, etc) das páginas da web que foram rastreadas.
• Regex, Esta visão é útil para pesquisar as Expressões Regulares nas páginas da web que foram rastreadas. Escreva sua Regex nesta visão e pressione Enter.
• Resposta, Todos os resultados são escritos nesta visão.
• Pesquisa, Esta visão é usada para pesquisar as Expressões Regulares no conteúdo da visão Resposta.

Métodos de Extração

Por Chaves

Chaves são palavras-chave predefinidas que podem ser usadas para especificar dados como URLs no escopo, URLs fora do escopo, e-mails, etc. Lista de todas as chaves:

• url, para extrair URLs DENTRO DO ESCOPO. As URLs são completamente saneadas.
• email, para extrair e-mails DENTRO DO ESCOPO e fora do escopo.
• query_urls, para extrair URLs DENTRO DO ESCOPO que contêm a query GET: ?foo=bar.
• all_urls, para extrair URLs FORA DO ESCOPO.
• phone, para extrair a[href]s que contenham um número de telefone.
• media, para extrair arquivos que não são executáveis web. ex: .exe,.bat,.tar.xz,.zip, etc.
• css, para extrair arquivos CSS.
• script, para extrair arquivos JavaScript.
• cdn, para extrair endereços de Content Delivery Networks (CDNs). ex: //api.foo.bar/jquery.min.js
• comment, para extrair comentários html, <!-- .* !-->
• dns, para extrair subdomínios que pertencem ao site.
• network, para extrair IDs de redes sociais. ex: facebook, twitter, etc.
• all, para extrair todas as chaves da lista. (url,query_url,..) As chaves diferenciam maiúsculas de minúsculas. Além disso, pode-se escrever duas ou três chaves separadas por vírgula.

Por Extensões

Talvez você queira um arquivo que não está definido nas chaves. O que pode fazer? Basta escrever a extensão do arquivo na visão Consulta. ex: png,xml,txt,docx,xlsx,a,mp3, etc.

Por Seletor JQuery

Se você possui habilidades básicas em JQuery, pode facilmente usar este recurso, mas se não, não é muito difícil. Para uma visão rápida sobre os seletores, o w3schools é uma ótima fonte.
Exemplo (para encontrar source[src]):

$("source").attr("src") // Para encontrar todas as URLs de source[src]
$("h1").text() // Para encontrar os valores de h1

Modelo:

$("SELECTOR").METHOD_NAME("arg")

Não suporta consultas como as abaixo:

$('SELECTOR').METHOD("arg")
$('SELECTOR').METHOD('arg')
$("SELECTOR"  ).METHOD("arg" )

Os métodos são descritos abaixo:

• text(), para retornar o conteúdo do SELECTOR sem a tag html.
• html(), para retornar o conteúdo do SELECTOR com a tag html.
• attr("ATTR"), para obter o atributo do SELECTOR. ex: $("a").attr("href")

Bugs ou Sugestões

Para relatar bugs ou sugestões, crie uma issue.

Evine é fortemente inspirado por wuzz.