UDdup - URL डिडुप्लिकेशन टूल

यह उपकरण URL की एक सूची लेता है, और उन URL पैटर्न के आधार पर 'डुप्लिकेट' पृष्ठों को हटाता है जो संभवतः दोहराए जाने वाले हैं और एक ही वेब टेम्पलेट की ओर इशारा करते हैं।

उदाहरण के लिए:

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

उपरोक्त सभी संभवतः एक ही उत्पाद 'टेम्पलेट' की ओर इशारा करते हैं। इसलिए हमारे विभिन्न स्कैनर्स द्वारा इनमें से केवल कुछ URL को स्कैन करना पर्याप्त होना चाहिए।

उपरोक्त का UDdup के बाद परिणाम होना चाहिए:

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

मुझे इसकी आवश्यकता क्यों है?

ज्यादातर बेहतर (स्वचालित) टोही प्रक्रिया के लिए, कम शोर के साथ (परीक्षक और लक्ष्य दोनों के लिए)।

उदाहरण

demo.txt पर एक नज़र डालें जो कच्चे URL फ़ाइल है जिसके परिणामस्वरूप demo-results.txt मिलता है।

स्थापना

pip के साथ (अनुशंसित)

pip install uddup

मैन्युअल (कोड से)

# Clone the repository.
git clone https://github.com/rotemreiss/uddup.git

# Install the Python requirements.
cd uddup
pip install -r requirements.txt

उपयोग

uddup -u demo.txt -o ./demo-result.txt

अधिक उपयोग विकल्प

uddup -h

Regex द्वारा पथ फ़िल्टर करें

कस्टम पथ पैटर्न को फ़िल्टर करने की अनुमति देता है। उदाहरण के लिए, यदि हम उन सभी पथों को फ़िल्टर करना चाहते हैं जो /product से शुरू होते हैं, तो हमें चलाना होगा:

# Single Regex
uddup -u demo.txt -fp "^product"

इनपुट:

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

आउटपुट:

https://www.example.com/
https://www.example.com/privacy-policy

एकाधिक पथ फ़िल्टर के साथ उन्नत Regex

uddup -u demo.txt -fp "(^product)|(^category)"

योगदान

बेझिझक रिपॉजिटरी को फोर्क करें और पुल-रिक्वेस्ट सबमिट करें।

सहायता

Create new GitHub issue

धन्यवाद कहना चाहते हैं? :) मुझे Linkedin पर संदेश भेजें

लाइसेंस

• MIT लाइसेंस