UDdup - URL 중복 제거 도구

이 도구는 URL 목록을 가져와서, 동일한 웹 템플릿을 가리키는 중복될 가능성이 높은 URL 패턴(즉, 반복적인 패턴)을 가진 "중복" 페이지를 제거합니다.

예를 들어:

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

위의 모든 URL은 동일한 제품 "템플릿"을 가리킬 가능성이 높습니다. 따라서 여러 스캐너로 이러한 URL 중 일부만 스캔해도 충분합니다.

UDdup을 적용한 후의 결과는 다음과 같아야 합니다:

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

왜 필요한가요?

주로 더 나은 (자동화된) 정찰 과정을 위해, (테스터와 대상 모두에게) 노이즈를 줄이기 위해서입니다.

예시

demo.txt 파일(원시 URL 목록)과 그 결과인 demo-results.txt를 확인하세요.

설치

pip 사용 (권장)

pip install uddup

수동 설치 (코드로)

# 저장소를 클론합니다.
git clone https://github.com/rotemreiss/uddup.git

# Python 패키지를 설치합니다.
cd uddup
pip install -r requirements.txt

사용법

uddup -u demo.txt -o ./demo-result.txt

추가 사용 옵션

uddup -h

정규식으로 경로 필터링

사용자 지정 경로 패턴을 필터링할 수 있습니다. 예를 들어, /product로 시작하는 모든 경로를 필터링하려면 다음 명령을 실행합니다:

# 단일 정규식
uddup -u demo.txt -fp "^product"

입력:

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

출력:

https://www.example.com/
https://www.example.com/privacy-policy

여러 경로 필터를 사용한 고급 정규식

uddup -u demo.txt -fp "(^product)|(^category)"

기여하기

저장소를 포크하고 풀 리퀘스트를 제출해 주세요.

지원

새 GitHub 이슈 만들기

감사 인사를 하고 싶으신가요? Linkedin으로 메시지를 보내 주세요.

라이선스

MIT 라이선스

-h	--help	이 도움말 메시지를 표시하고 종료
-u	--urls	URL 목록이 포함된 파일
-o	--output	결과를 파일로 저장
-s	--silent	결과 URL만 출력
-fp	--filter-path	주어진 정규식으로 경로 필터링

uddup

인기