FProbe

FProbe - 빠른 HTTP 프로브

설치

GO111MODULE=on go get -u github.com/theblackturtle/fprobe

기능

도메인/서브도메인 목록을 가져와 작동 중인 http/https 서버를 확인합니다.
실행 중 RAM과 CPU를 최적화합니다.
각 도메인에 대해 특수 포트 지원
JSON 형식의 상세 출력이며 Status Code, Content Type, Location 같은 추가 헤더를 포함합니다.

사용법

Usage of fprobe:
  -c int
        Concurrency (default 50)
  -cidr
        Generate IP addresses from CIDR
  -i string
        Input file (default is stdin) (default "-")
  -l    Use ports in the same line (google.com,2087,2086)
  -p value
        add additional probe (proto:port)
  -prefer-https
        only try plain HTTP if HTTPS fails
  -s    skip the default probes (http:80 and https:443)
  -t int
        Timeout (seconds) (default 9)
  -v    Turn on verbose

기본 사용법

Stdin 입력

❯ cat domains.txt | fprobe

파일 입력

❯ fprobe -i domains.txt

동시성

❯ cat domains.txt | fprobe -c 200

인라인 포트 사용

각 도메인에 대해 특수 포트를 사용하려면 -l 플래그를 사용할 수 있습니다. Nmap/Masscan 출력을 파싱하여 이 기능을 사용하도록 재구성할 수 있습니다.

입력 (domains.txt)

google.com,2087,2086,8880,2082,443,80,2052,2096,2083,8080,8443,2095,2053
yahoo.com,2087,2086,8880,2082,443,80,2052,2096,2083,8080,8443,2095,2053
sport.yahoo.com,2086,443,2096,2053,8080,2082,80,2083,8443,2052,2087,2095,8880

명령

❯ cat domains.txt | fprobe -l

타임아웃

❯ cat domains.txt | fprobe -t 10

특수 포트

❯ cat domains.txt | fprobe -p http:8080 -p https:8443

작동하는 URL 확인

❯ echo 'https://google.com/path1?param=1' | fprobe

https://google.com/path1?param=1

CIDR 입력

❯ echo '192.168.1.1/24' | fprobe -cidr

내장 포트 컬렉션 사용 (기본적으로 80, 443 포함)

중간: 8000, 8080, 8443
대형: 81, 591, 2082, 2087, 2095, 2096, 3000, 8000, 8001, 8008, 8080, 8083, 8443, 8834, 8888
초대형: 81, 300, 591, 593, 832, 981, 1010, 1311, 2082, 2087, 2095, 2096, 2480, 3000, 3128, 3333, 4243, 4567, 4711, 4712, 4993, 5000, 5104, 5108, 5800, 6543, 7000, 7396, 7474, 8000, 8001, 8008, 8014, 8042, 8069, 8080, 8081, 8088, 8090, 8091, 8118, 8123, 8172, 8222, 8243, 8280, 8281, 8333, 8443, 8500, 8834, 8880, 8888, 8983, 9000, 9043, 9060, 9080, 9090, 9091, 9200, 9443, 9800, 9981, 12443, 16080, 18091, 18092, 20720, 28017

❯ cat domains.txt | fprobe -p medium/large/xlarge

기본 프로브 건너뛰기

포트 80에서 HTTP 또는 포트 443에서 HTTPS를 프로브하지 않으려면 -s 플래그를 사용할 수 있습니다.

❯ cat domains.txt | fprobe -s

상세 출력

상세 출력은 JSON 형식으로 제공되며 Status Code, Content Type, Location 같은 추가 헤더를 포함합니다.

❯ cat domains.txt | fprobe -v

{"site":"http://google.com","status_code":301,"server":"gws","content_type":"text/html; charset=UTF-8","location":"http://www.google.com/"}
{"site":"https://google.com","status_code":301,"server":"gws","content_type":"text/html; charset=UTF-8","location":"https://www.google.com/"}

크레딧

이 도구는 @tomnomnom이 작성한 httprobe에서 아이디어와 일부 코드를 얻었습니다.