CloudScraper

CloudScraper는 클라우드 리소스를 찾기 위해 대상 URL을 스파이더링하고 스크래핑하는 도구입니다. URL을 입력하면 페이지를 크롤링하여 's3.amazonaws.com', 'windows.net', 'digitaloceanspaces' 등의 문자열을 찾습니다. 현재 AWS, Azure, Digital Ocean 리소스를 지원합니다.

@ok_bye_now

사전 요구사항

비표준 Python 라이브러리:

• requests
• rfc3987
• termcolor

Python 3.6으로 제작됨

일반

이 도구는 Bryce Kunz의 최근 발표에서 영감을 받았습니다. 발표 Blue Cloud of Death: Red Teaming Azure는 흔한 S3 버킷 외에도 잘 알려지지 않은 일반적인 정보 노출에 대해 다룹니다.

사용법

usage: CloudScraper.py [-h] [-v] [-p Processes] [-d DEPTH] [-u URL] [-l TARGETLIST]

선택적 인자:
  -h, --help     이 도움말 메시지를 표시하고 종료합니다
  -u URL         대상 범위
  -d DEPTH       링크의 최대 깊이. 기본값: 5
  -l TARGETLIST  줄로 구분된 대상이 있는 텍스트 파일의 위치
  -v Verbose     자세한 출력
  -p Processes   병렬로 실행할 프로세스 수. 기본값: 2
  --no-verify    TLS 검증 건너뛰기

예: python3 CloudScraper.py -u https://rottentomatoes.com

할 일

• 키워드 사용자 정의 추가

기타

키워드를 추가하려면 파서 함수의 목록에 추가하기만 하면 됩니다.

기여

공유는 나눔! 풀 리퀘스트를 환영합니다. 더 많은 탐지 지원, 멀티스레딩 등이 추가되면 좋겠습니다 :)

이유

Bryce Kunz가 실제로 비슷한 작업을 하는 도구를 만들었지만 scrapy를 사용했고, 저는 Python2나 scrapy 같은 스크래핑 모듈에 의존하지 않는 도구를 직접 만들고 싶었습니다. 결국 스파이더링을 위해 href 링크를 파싱하는 데 BeautifulSoup를 사용하게 되었습니다. 그래서 CloudScraper가 탄생했습니다. 원시 정규식을 사용하여 href 링크를 파싱하지 않는 장점은, 많은 경우 이러한 링크가 href에 포함되지 않고 JS나 다른 위치에 숨겨져 있을 수 있다는 점입니다. CloudScraper는 전체 페이지를 가져와 정규식을 사용하여 링크를 찾습니다. 이것은 너무 많이 또는 너무 적게 가져오는 등의 단점도 있지만, 적어도 기본을 다루고 있다는 것을 알 수 있습니다 :)