Evine

対話型 CLI Webクローラー。

Evineは、Golangで書かれたシンプルで高速かつ対話的なWebクローラー兼Webスクレイパーです。 Evineは、メタデータやデータの抽出、データマイニング、偵察、テストなど、幅広い目的に役立ちます。

このプロジェクトが気に入ったら、スターを付けてください。それによって開発が促進されます！

インストール

バイナリから

ビルド済みのバイナリリリースも利用可能です（推奨）。

ソースから

go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -h

GitHubから

git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --help

注意: golang 1.13.x が必要です。

コマンドと使い方

evine -h

ツールのヘルプが表示されます：

ビュー

• URL: このビューでは、URL文字列を入力します。
• Options: このビューはオプション設定用です。
• Headers: このビューはHTTPヘッダー設定用です。
• Query: このビューはWebクロール後に使用します。 クロールされたWebページからデータ（ドキュメント、URLなど）を抽出するために使用されます。
• Regex: このビューは、クロールされたWebページ内で正規表現を検索するのに便利です。このビューに正規表現を入力し、Enterを押します。
• Response: すべての結果がこのビューに書き込まれます。
• Search: このビューは、Responseビューの内容に対して正規表現を検索するために使用します。

抽出方法

Keysから

Keysは、スコープ内URL、スコープ外URL、メールなど、データを指定するための定義済みキーワードです。 すべてのキーのリスト：

• url: スコープ内のURLを抽出します。URLは完全にサニタイズされます。
• email: スコープ内およびスコープ外のメールアドレスを抽出します。
• query_urls: GETクエリを含むスコープ内URLを抽出します: ?foo=bar.
• all_urls: スコープ外のURLを抽出します。
• phone: 電話番号を含むa[href]を抽出します。
• media: Web実行ファイルではないファイル（.exe, .bat, .tar.xz, .zip など）のアドレスを抽出します。
• css: CSSファイルを抽出します。
• script: JavaScriptファイルを抽出します。
• cdn: コンテンツ配信ネットワーク(CDN)のアドレスを抽出します。例: //api.foo.bar/jquery.min.js
• comment: HTMLコメントを抽出します <!-- .* !-->
• dns: ウェブサイトに属するサブドメインを抽出します。
• network: ソーシャルネットワークIDを抽出します（facebook, twitterなど）。
• all: すべてのキーのリストを抽出します（url, query_url, ...）。 キーは大文字小文字を区別します。また、カンマ区切りで2つまたは3つのキーを指定することもできます。

拡張子から

Keysに定義されていないファイルが必要な場合もあります。その場合は、Queryビューにファイルの拡張子を直接記述できます（例: png, xml, txt, docx, xlsx, a, mp3 など）。

jQueryセレクタから

基本的なjQueryスキルがあれば簡単に使えますが、なくてもそれほど難しくはありません。セレクタについての簡単な概要はw3schoolsが優れた情報源です。
例（source[src]を検索する場合）:

$("source").attr("src") // すべてのsource[src] URLを検索
$("h1").text() // h1の値を検索

テンプレート:

$("SELECTOR").METHOD_NAME("arg")

以下のようなクエリはサポートしていません:

$('SELECTOR').METHOD("arg")
$('SELECTOR').METHOD('arg')
$("SELECTOR"  ).METHOD("arg" )

メソッドの説明:

• text(): SELECTORの内容をHTMLタグなしで返します。
• html(): SELECTORの内容をHTMLタグ付きで返します。
• attr("ATTR"): SELECTORの属性を取得します。例: $("a").attr("href")

バグや提案

バグの報告や提案は、issueを作成してください。

Evineはwuzzに強く影響を受けています。