RobotsDisallowed

RobotsDisallowed परियोजना दुनिया की शीर्ष वेबसाइटों---विशेष रूप से Alexa 100K और Majestic 100K की---के robots.txt में अस्वीकृत (disallowed) निर्देशिकाओं की एक फ़सल है।

अस्वीकृत निर्देशिकाओं की यह सूची वेब सुरक्षा मूल्यांकन या बग बाउंटी के दौरान सामग्री खोज (content discovery) को पूरक बनाने का एक शानदार तरीका है, क्योंकि वेबसाइट का मालिक मूल रूप से कह रहा है,

"यहाँ मत जाओ; यहाँ संवेदनशील चीज़ें हैं!"

दूसरे शब्दों में, यह संभावित उच्च-मूल्य लक्ष्यों की एक सूची है।

परियोजना

तो हमने क्या किया कि Alexa Top 100,000 वेबसाइटें लीं, उनकी robots.txt फ़ाइलें डाउनलोड कीं, सभी अस्वीकृत निर्देशिकाएँ निकालीं, और फिर उन पर बहुत सारी सफ़ाई की (वे बहुत अव्यवस्थित हैं) ताकि वेब मूल्यांकन के दौरान सूचियों को यथासंभव उपयोगी बनाया जा सके।

इतिहास और अपडेट

• यह परियोजना शुरू में 2017 में बनाई गई थी, और इसमें Alexa 100K का उपयोग किया गया था।
• यह परियोजना अंतिम बार मार्च 2019 में अपडेट की गई थी, और इसमें Majestic Million top 100K का उपयोग किया गया था। Alexa के बजाय Majestic सूची का उपयोग करने के अलावा (Alexa एक भुगतान मॉडल पर चला गया), हमने user-agent के रूप में Chromium पर भी स्विच किया (curl के बजाय), फ़ाइल संरचना को सरल बनाया, और एक /archive निर्देशिका बनाई ताकि फ़ाइलों के पुराने संस्करण बने रह सकें। पुरानी कोड निर्देशिका भी वहीं है। अंत में, हमने वास्तविक robots.txt फ़ाइलें हटा दीं क्योंकि…खैर, वे बड़ी और बेकार हैं।

परियोजना का उपयोग कैसे करें

1. निर्देशिका को अपने सिस्टम पर क्लोन करें।
2. आप जो मूल्यांकन कर रहे हैं उसके आधार पर वह फ़ाइल चुनें जिसे आप उपयोग करना चाहते हैं। यदि आपके पास बहुत समय है, तो शायद बड़ी top-N सूचियों में से एक का उपयोग करें---बनाम छोटी सूची का उपयोग करना यदि आपके पास कम समय है।

हालाँकि, मेरा व्यक्तिगत पसंदीदा विकल्प curated.txt सूची के साथ जाना है, क्योंकि इसमें केवल लगभग 500 आइटम हैं, और यह निम्नलिखित स्ट्रिंग्स और सामग्री वाली निर्देशिकाओं का संग्रह है:

• "admin"
• "user"
• "account"
• "password"
• "forgot"
• "login"
• "backup"
• पूरी सूची से शीर्ष 25 प्रविष्टियाँ

संक्षेप में, यह सर्वश्रेष्ठ में से सर्वश्रेष्ठ है। मैंने इसके बारे में और अधिक यहाँ ब्लॉग किया है।

TL;DR: यदि आप अपने समय का सर्वोत्तम उपयोग चाहते हैं, तो curated.txt के साथ जाएँ।

श्रेय

यह अवधारणा नई नहीं है। RAFT परियोजना इस विचार को करने वाली पहली थी, और हम इस विचार के अग्रणी होने के लिए उन्हें धन्यवाद देते हैं। लेकिन यह परियोजना अब मृत और समाप्त हो चुकी है, और चूँकि यह विचार सबसे अच्छा तब काम करता है जब इसे अद्यतित रखा जाए, हमने इसे RobotsDisallowed के रूप में नया रूप देने का निर्णय लिया।

आभार

Jason Haddix और Tim Tomes को ट्विटर पर और दुनिया भर में अपनी बाउंटी/रीकॉन/हैकिंग प्रस्तुतियों में इस परियोजना के बारे में बात करने के लिए बहुत-बहुत धन्यवाद।

प्रतिक्रिया

यदि आपके पास सुधार के बारे में कोई विचार है, तो कृपया हमें [email protected] पर ईमेल करें या एक pull request सबमिट करें।

धन्यवाद, और हैप्पी हैकिंग!