UDdup - أداة إزالة ازدواجية عناوين URL

تحصل الأداة على قائمة بعناوين URL، وتزيل الصفحات "المكررة" بمعنى أنماط URL التي من المحتمل أن تكون متكررة وتشير إلى نفس القالب من الويب.

على سبيل المثال:

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

جميع الأمثلة أعلاه من المحتمل أنها تشير إلى نفس "القالب" للمنتج. لذلك يجب أن يكون كافياً مسح بعض عناوين URL هذه فقط بواسطة ماسحاتنا المختلفة.

النتيجة بعد UDdup للأمثلة أعلاه يجب أن تكون:

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

لماذا أحتاجها؟

بشكل أساسي لتحسين عملية الاستطلاع (المؤتمتة)، مع تقليل الضوضاء (لكلاً من المختبر والهدف).

أمثلة

ألق نظرة على demo.txt وهو ملف عناوين URL الخام الذي ينتج عنه demo-results.txt.

التثبيت

باستخدام pip (موصى به)

pip install uddup

يدوياً (من الكود)

# استنساخ المستودع.
git clone https://github.com/rotemreiss/uddup.git

# تثبيت متطلبات Python.
cd uddup
pip install -r requirements.txt

الاستخدام

uddup -u demo.txt -o ./demo-result.txt

خيارات استخدام إضافية

uddup -h

تصفية المسارات باستخدام Regex

يسمح بتصفية أنماط المسارات المخصصة. على سبيل المثال، إذا أردنا تصفية جميع المسارات التي تبدأ بـ /product سنحتاج إلى تشغيل:

# تعبير عادي واحد
uddup -u demo.txt -fp "^product"

الإدخال:

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

الإخراج:

https://www.example.com/
https://www.example.com/privacy-policy

تعبيرات عادية متقدمة مع مرشحات مسارات متعددة

uddup -u demo.txt -fp "(^product)|(^category)"

المساهمة

لا تتردد في عمل fork للمستودع وتقديم طلبات السحب (pull-requests).

الدعم

إنشاء مشكلة جديدة على GitHub

تريد أن تقول شكراً؟ :) راسلني على Linkedin

الترخيص

• ترخيص MIT