GO111MODULE=on go install github.com/jaeles-project/gospider@latest

# 저장소 클론
git clone https://github.com/jaeles-project/gospider.git
# 컨테이너 빌드
docker build -t gospider:latest gospider
# 컨테이너 실행
docker run -t gospider -h

Go로 작성된 빠른 웹 스파이더 - v1.1.5 by @thebl4ckturtle & @j3ssiejjj

사용법:
  gospider [플래그]

플래그:
  -s, --site string               크롤링할 사이트
  -S, --sites string              크롤링할 사이트 목록
  -p, --proxy string              프록시 (예: http://127.0.0.1:8080)
  -o, --output string             출력 폴더
  -u, --user-agent string         사용할 User-Agent
                                  	web: 무작위 웹 user-agent
                                  	mobi: 무작위 모바일 user-agent
                                  	또는 특별한 user-agent 설정 가능 (기본값 "web")
      --cookie string             사용할 쿠키 (testA=a; testB=b)
  -H, --header stringArray        사용할 헤더 (여러 헤더를 설정하려면 플래그를 여러 번 사용)
      --burp string               Burp 원시 HTTP 요청에서 헤더와 쿠키 로드
      --blacklist string          블랙리스트 URL 정규식
      --whitelist string          화이트리스트 URL 정규식
      --whitelist-domain string   화이트리스트 도메인
  -t, --threads int               스레드 수 (사이트를 병렬로 실행) (기본값 1)
  -c, --concurrent int            일치하는 도메인의 최대 허용 동시 요청 수 (기본값 5)
  -d, --depth int                 방문한 URL의 재귀 깊이 제한 (무한 재귀는 0으로 설정) (기본값 1)
  -k, --delay int                 일치하는 도메인에 새 요청을 보내기 전 대기 시간 (초)
  -K, --random-delay int          Delay에 추가되는 임의의 대기 시간 (초)
  -m, --timeout int               요청 시간 초과 (초) (기본값 10)
  -B, --base                      모든 기능 비활성화 및 HTML 콘텐츠만 사용
      --js                        JavaScript 파일에서 linkfinder 활성화 (기본값 true)
      --subs                      서브도메인 포함
      --sitemap                   sitemap.xml 크롤링 시도
      --robots                    robots.txt 크롤링 시도 (기본값 true)
  -a, --other-source              타사에서 URL 찾기 (Archive.org, CommonCrawl.org, VirusTotal.com, AlienVault.com)
  -w, --include-subs              타사에서 크롤링된 서브도메인 포함. 기본값은 메인 도메인
  -r, --include-other-source      other-source의 URL도 포함 (여전히 크롤링 및 요청 수행)
      --debug                     디버그 모드 켜기
      --json                      JSON 출력 활성화
  -v, --verbose                   상세 출력 켜기
  -l, --length                    길이 표시 켜기
  -L, --filter-length             길이 필터 켜기
  -R, --raw                       원시 출력 켜기
  -q, --quiet                     모든 출력 억제 및 URL만 표시
      --no-redirect               리디렉션 비활성화
      --version                   버전 확인
  -h, --help                      gospider 도움말

gospider -q -s "https://google.com/"

gospider -s "https://google.com/" -o output -c 10 -d 1

gospider -S sites.txt -o output -c 10 -d 1

gospider -S sites.txt -o output -c 10 -d 1 -t 20

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source --include-subs

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source -H "Accept: */*" -H "Test: test" --cookie "testA=a; testB=b"

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source --burp burp_req.txt

gospider -s "https://google.com/" -o output -c 10 -d 1 --blacklist ".(woff|pdf)"

gospider -s "https://google.com/" -o output -c 10 -d 1 --length --filter-length "6871,24432"