Evine

Интерактивный веб-сканер командной строки.

Evine — это простой, быстрый и интерактивный веб-сканер и парсер, написанный на Golang. Evine полезен для широкого круга задач, таких как извлечение метаданных и данных, интеллектуальный анализ данных, разведка и тестирование.

Если вам нравится проект, поставьте звёздочку. Это мотивирует меня развивать проект!

Установка

Из бинарного файла

Предварительно собранные бинарные релизы также доступны (рекомендуется).

Из исходников

go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -h

Из GitHub

git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --help

Примечание: требуется golang 1.13.x.

Команды и использование

evine -h

Будет показана справка по инструменту:

ПРЕДСТАВЛЕНИЯ

• URL, в этом представлении необходимо ввести URL-строку.
• Параметры, это представление для настройки параметров.
• Заголовки, это представление для настройки HTTP-заголовков.
• Запрос, это представление используется после обхода веб-страниц. Оно служит для извлечения данных (документов, URL и т. д.) с обойденных веб-страниц.
• Регулярное выражение, это представление удобно для поиска регулярных выражений на обойденных веб-страницах. Напишите своё регулярное выражение в этом представлении и нажмите Enter.
• Ответ, все результаты отображаются в этом представлении.
• Поиск, это представление используется для поиска регулярных выражений в содержимом представления «Ответ».

Методы извлечения

По ключам

Ключи — это предопределённые ключевые слова, которые можно использовать для указания данных, таких как URL в области, URL вне области, электронные письма и т. д. Список всех ключей:

• url, для извлечения URL в области. URL полностью очищаются.
• email, для извлечения электронных писем как в области, так и вне области.
• query_urls, для извлечения URL в области, содержащих GET-параметры: ?foo=bar.
• all_urls, для извлечения URL вне области.
• phone, для извлечения a[href], содержащих номер телефона.
• media, для извлечения файлов, не являющихся веб-исполняемыми. Например, .exe, .bat, .tar.xz, .zip и т. д.
• css, для извлечения CSS-файлов.
• script, для извлечения JavaScript-файлов.
• cdn, для извлечения адресов Content Delivery Networks (CDN), например //api.foo.bar/jquery.min.js.
• comment, для извлечения HTML-комментариев, <!-- .* !-->.
• dns, для извлечения поддоменов, принадлежащих веб-сайту.
• network, для извлечения ID социальных сетей, таких как facebook, twitter и т. д.
• all, для извлечения всех ключей из списка (url, query_url, ...). Ключи чувствительны к регистру. Также можно записать два или три ключа через запятую.

По расширениям

Возможно, вам нужен файл, который не определён в ключах. Что делать? Вы можете просто написать расширение файла в представлении «Запрос», например png, xml, txt, docx, xlsx, a, mp3 и т. д.

По селектору JQuery

Если у вас есть базовые навыки JQuery, вы легко сможете использовать эту функцию. Если нет, это тоже не очень сложно. Для быстрого ознакомления с селекторами отличным источником является w3schools.
Пример (поиск source[src]):

$("source").attr("src") // Найти все URL source[src]
$("h1").text() // Найти значения h1

Шаблон:

$("SELECTOR").METHOD_NAME("arg")

Запросы вида ниже не поддерживаются:

$('SELECTOR').METHOD("arg")
$('SELECTOR').METHOD('arg')
$("SELECTOR"  ).METHOD("arg" )

Описание методов:

• text(), возвращает содержимое селектора без HTML-тегов.
• html(), возвращает содержимое селектора с HTML-тегами.
• attr("ATTR"), получает атрибут селектора. Например: $("a").attr("href").

Ошибки или предложения

Чтобы сообщить об ошибках или предложениях, создайте issue.

Evine вдохновлён проектом wuzz.