Evine

Crawleur Web CLI interactif.

Evine est un crawleur et scraper web simple, rapide et interactif écrit en Golang. Evine est utile pour un large éventail d'objectifs tels que l'extraction de métadonnées et de données, le data mining, la reconnaissance et les tests.

Si vous aimez le projet, donnez-lui une étoile. Cela m'oblige à développer le projet !

Installation

Depuis un binaire

Des versions binaires pré-compilées sont également disponibles (recommandé).

Depuis les sources

go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -h

Depuis GitHub

git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --help

Note : golang 1.13.x requis.

Commandes et utilisation

evine -h

Cela affichera l'aide de l'outil :

VUES

• URL, Dans cette vue, vous devez saisir la chaîne URL.
• Options, Cette vue permet de définir les options.
• Headers, Cette vue permet de définir les en-têtes HTTP.
• Query, Cette vue est utilisée après le crawling du web. Elle sera utilisée pour extraire les données (docs, URLs, etc.) des pages web qui ont été crawlées.
• Regex, Cette vue est utile pour rechercher des expressions régulières dans les pages web qui ont été crawlées. Écrivez votre regex dans cette vue et appuyez sur Entrée.
• Response, Tous les résultats s'écrivent dans cette vue.
• Search, Cette vue est utilisée pour rechercher des expressions régulières dans le contenu de la vue Response.

Méthodes d'extraction

Depuis les clés

Les clés sont des mots-clés prédéfinis qui peuvent être utilisés pour spécifier des données comme les URL dans le périmètre, les URL hors périmètre, les emails, etc. Liste de toutes les clés :

• url, pour extraire les URL DANS LE PÉRIMÈTRE. Les URL sont complètement nettoyées.
• email, pour extraire les emails dans le périmètre et hors périmètre.
• query_urls, pour extraire les URL dans le périmètre qui contiennent la requête GET : ?foo=bar.
• all_urls, pour extraire les URL HORS PÉRIMÈTRE.
• phone, pour extraire les a[href] qui contiennent un numéro de téléphone.
• media, pour extraire les fichiers qui ne sont pas des fichiers exécutables web. comme .exe, .bat, .tar.xz, .zip, etc.
• css, pour extraire les fichiers CSS.
• script, pour extraire les fichiers JavaScript.
• cdn, pour extraire les adresses des réseaux de diffusion de contenu (CDN). comme //api.foo.bar/jquery.min.js
• comment, pour extraire les commentaires HTML, <!-- .* !-->
• dns, pour extraire les sous-domaines appartenant au site web.
• network, pour extraire les identifiants de réseaux sociaux. comme facebook, twitter, etc.
• all, pour extraire toute la liste des clés. (url, query_url, ...) Les clés sont sensibles à la casse. De plus, elles peuvent être écrites avec deux ou trois clés séparées par des virgules.

Depuis les extensions

Peut-être voulez-vous un fichier qui n'est pas défini dans les clés. Que pouvez-vous faire ? Vous pouvez simplement écrire l'extension du fichier dans la vue Query. comme png, xml, txt, docx, xlsx, a, mp3, etc.

Depuis le sélecteur JQuery

Si vous avez des compétences de base en JQuery, vous pouvez facilement utiliser cette fonctionnalité, mais sinon, ce n'est pas très difficile. Pour un aperçu rapide des sélecteurs, w3schools est une excellente source.
exemple (Pour trouver source[src]) :

$("source").attr("src") // To find all of source[src] urls
$("h1").text() // To find h1 values

Modèle :

$("SELECTOR").METHOD_NAME("arg")

Il ne prend pas en charge les requêtes comme ci-dessous :

$('SELECTOR').METHOD("arg")
$('SELECTOR').METHOD('arg')
$("SELECTOR"  ).METHOD("arg" )

Les méthodes sont décrites ci-dessous :

• text(), pour retourner le contenu du SELECTEUR sans balise HTML.
• html(), pour retourner le contenu du SELECTEUR avec la balise HTML.
• attr("ATTR"), pour obtenir l'attribut du SELECTEUR. ex. $("a").attr("href")

Bugs ou suggestions

Pour signaler des bugs ou des suggestions, créez une issue.

Evine est fortement inspiré par wuzz.