Evine

대화형 CLI 웹 크롤러.

Evine는 Golang으로 작성된 간단하고 빠르며 대화형 웹 크롤러이자 웹 스크래퍼입니다. Evine는 메타데이터 및 데이터 추출, 데이터 마이닝, 정찰 및 테스트와 같은 다양한 목적에 유용합니다.

프로젝트가 마음에 드시면 별표를 눌러주세요. 그러면 제가 프로젝트를 개발하는 데 힘이 됩니다!

설치

바이너리로 설치

미리 빌드된 바이너리 릴리스도 사용 가능합니다(권장).

소스로 설치

go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -h

GitHub에서

git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --help

참고: golang 1.13.x 필요.

명령 및 사용법

evine -h

도구의 도움말을 표시합니다:

뷰

• URL: 이 뷰에서는 URL 문자열을 입력해야 합니다.
• 옵션: 이 뷰는 옵션 설정을 위한 것입니다.
• 헤더: 이 뷰는 HTTP 헤더 설정을 위한 것입니다.
• 쿼리: 이 뷰는 웹 크롤링 후에 사용됩니다. 크롤링된 웹 페이지에서 데이터(문서, URL 등)를 추출하는 데 사용됩니다.
• Regex: 이 뷰는 크롤링된 웹 페이지에서 정규식을 검색하는 데 유용합니다. 이 뷰에서 정규식을 작성하고 Enter를 누르세요.
• 응답: 모든 결과가 이 뷰에 기록됩니다.
• 검색: 이 뷰는 응답 뷰 내용에서 정규식을 검색하는 데 사용됩니다.

추출 방법

키에서

키는 인-스코프 URL, 아웃-스코프 URL, 이메일 등과 같은 데이터를 지정하는 데 사용할 수 있는 미리 정의된 키워드입니다. 모든 키 목록:

• url: 인-스코프 URL을 추출합니다. URL은 완전히 정리됩니다.
• email: 인-스코프 및 아웃-스코프 이메일을 추출합니다.
• query_urls: GET 쿼리(?foo=bar)를 포함하는 인-스코프 URL을 추출합니다.
• all_urls: 아웃-스코프 URL을 추출합니다.
• phone: 전화번호를 포함하는 a[href]를 추출합니다.
• media: 웹 실행 파일이 아닌 파일(.exe, .bat, .tar.xz, .zip 등) 주소를 추출합니다.
• css: CSS 파일을 추출합니다.
• script: JavaScript 파일을 추출합니다.
• cdn: 콘텐츠 전송 네트워크(CDN) 주소(예: //api.foo.bar/jquery.min.js)를 추출합니다.
• comment: HTML 주석()을 추출합니다.
• dns: 웹사이트에 속한 서브도메인을 추출합니다.
• network: 소셜 네트워크 ID(예: facebook, twitter 등)를 추출합니다.
• all: 모든 키 목록(url, query_url 등)을 추출합니다. 키는 대소문자를 구분합니다. 또한 쉼표로 구분하여 두세 개의 키를 작성할 수 있습니다.

확장자에서

키에 정의되지 않은 파일을 원할 수도 있습니다. 어떻게 해야 할까요? Query 뷰에 파일 확장자를 쉽게 작성할 수 있습니다. 예: png, xml, txt, docx, xlsx, a, mp3 등.

jQuery 선택자에서

기본적인 jQuery 기술이 있다면 이 기능을 쉽게 사용할 수 있지만, 그렇지 않더라도 매우 어렵지 않습니다. 선택자에 대한 빠른 개요를 보려면 w3schools가 좋은 자료입니다.
예시(source[src] 찾기):

$("source").attr("src") // 소스[src] URL을 모두 찾기
$("h1").text() // h1 값 찾기

템플릿:

$("선택자").메서드_이름("인자")

다음과 같은 쿼리는 지원하지 않습니다:

$('SELECTOR').METHOD("arg")
$('SELECTOR').METHOD('arg')
$("SELECTOR"  ).METHOD("arg" )

메서드는 아래에 설명되어 있습니다:

• text(): HTML 태그 없이 선택자의 내용을 반환합니다.
• html(): HTML 태그를 포함하여 선택자의 내용을 반환합니다.
• attr("ATTR"): 선택자의 속성을 가져옵니다. 예: $("a").attr("href")

버그 또는 제안

버그나 제안을 보고하려면 이슈를 생성하세요.

Evine는 wuzz에서 많은 영감을 받았습니다.