Evine

交互式 CLI 网络爬虫。

Evine 是一个用 Golang 编写的简单、快速且交互式的网络爬虫和网页抓取工具。 Evine 适用于多种用途，例如元数据和数据提取、数据挖掘、侦察和测试。

如果您喜欢这个项目，请给它一个星标。这能激励我继续开发该项目！

安装

从二进制文件

预编译的二进制发布版也提供（建议使用）。

从源码

go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -h

从 GitHub

git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --help

注意：需要 golang 1.13.x 或更高版本。

命令与用法

evine -h

这将显示工具的帮助信息：

视图

• URL, 在此视图中，您应输入 URL 字符串。
• Options, 此视图用于设置选项。
• Headers, 此视图用于设置 HTTP 头部。
• Query, 此视图在爬取网页后使用。它将用于从已爬取的网页中提取数据（文档、URL 等）。
• Regex, 此视图用于在已爬取的网页中搜索正则表达式。在此视图中输入正则表达式并按下 Enter。
• Response, 所有结果都写入此视图。
• Search, 此视图用于在响应视图内容中搜索正则表达式。

提取方法

从键

键是预定义的关键字，可用于指定数据，如范围内 URL、范围外 URL、电子邮件等。 所有键的列表：

• url, 提取范围内的 URL（完全净化）。
• email, 提取范围内和范围外的电子邮件。
• query_urls, 提取包含 GET 查询参数的范围内 URL：?foo=bar。
• all_urls, 提取范围外的 URL。
• phone, 提取包含电话号码的 a[href]。
• media, 提取非 Web 可执行文件，如 .exe、.bat、.tar.xz、.zip 等地址。
• css, 提取 CSS 文件。
• script, 提取 JavaScript 文件。
• cdn, 提取内容分发网络（CDN）地址，如 //api.foo.bar/jquery.min.js。
• comment, 提取 HTML 注释，<!-- .* !-->。
• dns, 提取属于该网站的子域名。
• network, 提取社交网络 ID，如 facebook、twitter 等。
• all, 提取所有键的列表（url、query_url 等）。 键区分大小写。此外，可以用逗号分隔写两个或三个键。

从扩展名

也许你想要一个未在键中定义的文件。该怎么办？你可以在 Query 视图中简单地写入文件的扩展名，如 png、xml、txt、docx、xlsx、a、mp3 等。

从 jQuery 选择器

如果你具备基本的 jQuery 技能，可以轻松使用此功能；即使没有，也不太困难。要快速了解选择器，w3schools 是一个很好的资源。
示例（查找 source[src]）：

$("source").attr("src") // 查找所有 source[src] 的 URL
$("h1").text() // 查找 h1 的值

模板：

$("SELECTOR").METHOD_NAME("arg")

它不支持如下查询：

$('SELECTOR').METHOD("arg")
$('SELECTOR').METHOD('arg')
$("SELECTOR"  ).METHOD("arg" )

方法描述如下：

• text(), 返回选择器的文本内容（不含 HTML 标签）。
• html(), 返回选择器的 HTML 内容（含标签）。
• attr("ATTR"), 获取选择器的属性。例如 $("a").attr("href")

错误或建议

要报告错误或提出建议，请创建一个问题。

Evine 的灵感主要来自 wuzz。