				o  	  Utku Sen's
				 \_/\o   
				( Oo)                    \|/
				(_=-)  .===O-  ~~U~R~L~~ -O-
				/   \_/U'        hunter  /|\
				||  |_/
				\\  |    utkusen.com
				|K ||	twitter.com/utkusen_en

urlhunter는 bit.ly 및 goo.gl과 같은 단축 서비스를 통해 노출된 URL을 검색할 수 있는 리콘 도구입니다. 이 프로젝트는 Go로 작성되었습니다.

어떻게?

URLTeam이라는 그룹(감사합니다)이 URL 단축 서비스를 무차별 대입하고 일치하는 결과를 매일 게시합니다. urlhunter는 그들의 컬렉션을 다운로드하여 분석할 수 있게 해줍니다.

설치

바이너리로부터

릴리스 페이지에서 미리 빌드된 바이너리를 다운로드하여 실행할 수 있습니다. 예:

tar xzvf urlhunter_0.1.0_Linux_amd64.tar.gz

./urlhunter --help

소스로부터

시스템에 Go를 설치합니다.
실행: go install github.com/utkusen/urlhunter@latest

Windows 사용자 참고: urlhunter는 Linux 및 macOS 시스템에 사전 설치된 XZ Utils를 사용합니다. Windows 시스템에서는 https://tukaani.org/xz/에서 다운로드해야 합니다.

사용법

urlhunter가 실행되려면 3개의 매개변수가 필요합니다: -keywords, -date.

예: urlhunter --keywords keywords.txt --date 2020-11-20

--keywords

URL에서 검색할 키워드가 포함된 txt 파일을 지정해야 합니다. 키워드는 한 줄에 하나씩 작성해야 합니다. 키워드를 지정하는 세 가지 방법이 있습니다:

단일 키워드: urlhunter는 주어진 키워드를 부분 문자열로 검색합니다. 예:

acme.com 키워드는 https://acme.com/blabla 및 https://another.com/?referrer=acme.com 모두와 일치합니다.

다중 키워드: urlhunter는 AND 논리로 주어진 키워드를 검색합니다. 즉, URL은 제공된 모든 키워드를 포함해야 합니다. 키워드는 , 문자로 구분해야 합니다. 예:

acme.com,admin은 https://acme.com/secret/adminpanel와 일치하지만 https://acme.com/somethingelse와는 일치하지 않습니다.

정규식 값: urlhunter는 주어진 정규식 값을 검색합니다. 키워드 파일에서 정규식 공식을 포함하는 줄은 regex 문자열로 시작해야 합니다. 형식은 regex 정규식공식입니다. 예:

regex 1\d{10}은 https://example.com/index.php?id=12938454312와 일치하지만 https://example.com/index.php?id=abc223와는 일치하지 않습니다.

--date

urlhunter는 주어진 날짜(들)의 아카이브 파일을 다운로드합니다. 날짜를 지정하는 세 가지 방법이 있습니다:

최신: urlhunter는 최신 아카이브를 다운로드합니다. -date latest

단일 날짜: urlhunter는 주어진 날짜의 아카이브를 다운로드합니다. 날짜 형식은 YYYY-MM-DD입니다.

예: -date 2020-11-20

년: urlhunter는 주어진 연도의 아카이브를 다운로드합니다. 연도 형식은 YYYY입니다.

예: -date 2024

날짜 범위: urlhunter는 주어진 시작 날짜와 종료 날짜 사이의 모든 아카이브를 다운로드합니다.

예: -date 2020-11-10:2020-11-20

--output

출력 파일을 -o 매개변수로 지정할 수 있습니다. 예: -o out.txt

--rm

처리 후 다운로드된 아카이브 폴더를 제거하려면 -rm 매개변수를 지정할 수 있습니다. 이는 디스크 공간을 절약하는 데 유용합니다.

데모 비디오

속도 문제

Archive.org는 파일을 다운로드할 때 속도를 제한합니다. 따라서 아카이브를 다운로드하는 데 평소보다 더 많은 시간이 소요됩니다. 해결 방법으로 토렌트를 통해 아카이브를 다운로드하고 urlhunter 바이너리와 같은 디렉토리에 있는 archive/ 폴더에 넣을 수 있습니다. 디렉토리 트리는 다음과 같습니다:

|-urlhunter
|---urlhunter(바이너리)
|---archive
|-----urlteam_2020-11-20-11-17-04
|-----urlteam_2020-11-17-11-17-04

예제 사용 사례

urlhunter는 사이버 인텔리전스 및 버그 바운티 목적으로 유용할 수 있습니다. 예:

docs.google.com/a/acme.com drive.google.com/a/acme.com 키워드를 사용하면 Acme 회사의 공개 Google Docs&Drive 공유 링크를 찾을 수 있습니다.

acme.com,password_reset_token 키워드를 사용하면 acme.com의 작동 중인 비밀번호 재설정 토큰을 찾을 수 있습니다.

trello.com을 사용하면 공개 Trello 주소를 찾을 수 있습니다.

감사

이 도구의 아이디어를 제공한 Samet Bekmezci(@sametbekmezci)에게 특별히 감사드립니다.

urlhunter

인기