
크롤링/침투 테스트를 위한 URL 목록 정리
보안 테스트를 위해 URL 목록을 사용하는 것은 흥미롭지 않거나 중복된 콘텐츠가 많은 URL이 많아 고통스러울 수 있습니다. uro는 이를 해결하기 위해 설계되었습니다.
URL에 HTTP 요청을 전혀 보내지 않으며 다음을 제거합니다:
/page/1/ 및 /page/2/)/posts/a-brief-history-of-time)/page.php?id=1 및 /page.php?id=2)
uro를 설치하는 권장 방법은 다음과 같습니다:
pipx install uro
참고: 이전 버전의 Python을 사용하는 경우
pipx대신pip를 사용하세요.
워크플로에 uro를 포함하는 가장 빠른 방법은 stdin을 통해 데이터를 전달하고 터미널에 출력하는 것입니다.
cat urls.txt | uro
uro -i input.txt
파일이 이미 존재하면 uro는 내용을 덮어쓰지 않습니다. 그렇지 않으면 새 파일을 생성합니다.
uro -i input.txt -o output.txt
-w/--whitelist)uro는 제공된 확장자를 제외한 모든 다른 확장자를 무시합니다.
uro -w php asp html
참고: 확장자가 없는 페이지(예: /books/1)는 계속 포함됩니다. 이를 제거하려면 --filter hasext를 사용하세요.
-b/--blacklist)uro는 주어진 확장자를 무시합니다.
uro -b jpg png js pdf
참고: uro는 기본적으로 제거하는 "쓸모없는" 확장자 목록을 가지고 있습니다; 차단 목록 옵션을 통해 제공하는 확장자로 해당 목록이 대체됩니다. 확장자가 없는 페이지(예: /books/1)는 계속 포함됩니다. 이를 제거하려면 --filter hasext를 사용하세요.
세밀한 제어를 위해 uro는 다음 필터를 지원합니다:
http://example.com/page.php?id=)http://example.com/page.php)http://example.com/page.php)http://example.com/page).jpg 유지)http://example.com/page/)예시: uro --filters hasexts hasparams