s0md3v/uroक्रॉलिंग/पेंटेस्टिंग के लिए URL सूचियों को साफ करता है
सुरक्षा परीक्षण के लिए URL सूची का उपयोग करना कष्टदायक हो सकता है क्योंकि कई URL ऐसे होते हैं जिनमें अरुचिकर/डुप्लिकेट सामग्री होती है; uro इस समस्या को हल करने का लक्ष्य रखता है।
यह URL पर कोई HTTP अनुरोध नहीं करता है और हटाता है:
/page/1/ और /page/2//posts/a-brief-history-of-time/page.php?id=1 और /page.php?id=2
uro को स्थापित करने का अनुशंसित तरीका इस प्रकार है:
pipx install uro
नोट: यदि आप पुराने संस्करण का उपयोग कर रहे हैं, तो
pipxके बजायpipका उपयोग करें
अपने वर्कफ़्लो में uro को शामिल करने का सबसे तेज़ तरीका इसे stdin के माध्यम से डेटा फीड करना और अपने टर्मिनल पर प्रिंट करना है।
cat urls.txt | uro
uro -i input.txt
यदि फ़ाइल पहले से मौजूद है, तो uro सामग्री को अधिलेखित नहीं करेगा। अन्यथा, यह एक नई फ़ाइल बनाएगा।
uro -i input.txt -o output.txt
-w/--whitelist)uro प्रदान किए गए एक्सटेंशन को छोड़कर अन्य सभी एक्सटेंशन को अनदेखा करेगा।
uro -w php asp html
नोट: बिना एक्सटेंशन वाले पेज जैसे /books/1 अभी भी शामिल होंगे। उन्हें भी हटाने के लिए, --filter hasext का उपयोग करें।
-b/--blacklist)uro दिए गए एक्सटेंशन को अनदेखा करेगा।
uro -b jpg png js pdf
नोट: uro के पास "बेकार" एक्सटेंशन की एक सूची है जिसे वह डिफ़ॉल्ट रूप से हटाता है; वह सूची ब्लैकलिस्ट विकल्प के माध्यम से आपके द्वारा प्रदान किए गए किसी भी एक्सटेंशन द्वारा ओवरराइड हो जाएगी। बिना एक्सटेंशन वाले पेज जैसे /books/1 अभी भी शामिल होंगे। उन्हें भी हटाने के लिए, --filter hasext का उपयोग करें।
ग्रैन्युलर नियंत्रण के लिए, uro निम्नलिखित फ़िल्टर का समर्थन करता है:
http://example.com/page.php?id=http://example.com/page.phphttp://example.com/page.phphttp://example.com/page.jpg रखें जो अन्यथा हटा दिया जाएगाhttp://example.com/page/उदाहरण: uro --filters hasexts hasparams