RobotsDisallowed

مشروع RobotsDisallowed هو حصاد للمجلدات المحظورة في ملفات robots.txt الخاصة بأكبر المواقع الإلكترونية في العالم---وتحديدًا مواقع قائمة Alexa 100K وقائمة Majestic 100K.

تُعدّ قائمة المجلدات المحظورة هذه طريقة رائعة لتكميل اكتشاف المحتوى أثناء تقييم أمن الويب أو برامج مكافآت الثغرات (bug bounty)، إذ يقول مالك الموقع ببساطة:

"لا تذهب إلى هنا؛ فهناك مواد حساسة في الداخل!"

بعبارة أخرى، إنها قائمة بأهداف محتملة عالية القيمة.

المشروع

إذن ما فعلناه هو أخذ أفضل 100,000 موقع إلكتروني من Alexa، وتنزيل ملفات robots.txt الخاصة بها، واستخراج جميع المجلدات المحظورة، ثم إجراء مجموعة من عمليات التنظيف عليها (فهي في حالة فوضى) لجعل القوائم مفيدة قدر الإمكان أثناء تقييمات الويب.

التاريخ والتحديثات

• أُنشئ هذا المشروع في البداية عام 2017، واستخدم قائمة Alexa 100K.
• جرى تحديث هذا المشروع آخر مرة في مارس 2019، واستخدم أفضل 100K من قائمة Majestic Million. بالإضافة إلى استخدام قائمة Majestic بدلًا من Alexa (لأن Alexa تحوّلت إلى نموذج الدفع)، انتقلنا أيضًا إلى استخدام Chromium كـ user-agent (بدلًا من curl)، وبسّطنا بنية الملفات، وأنشأنا مجلد /archive حتى تتمكن الإصدارات الأقدم من الملفات من البقاء. كما يوجد مجلد الكود القديم هناك أيضًا. وأخيرًا، أزلنا ملفات robots.txt الفعلية لأنها… حسنًا، إنها كبيرة وعديمة الفائدة.

كيفية استخدام المشروع

1. استنسخ المجلد إلى نظامك.
2. اختر الملف الذي تريد استخدامه بناءً على التقييم الذي تجريه. إذا كان لديك الكثير من الوقت، فربما استخدم إحدى قوائم top-N الأكبر---بدلًا من استخدام قائمة أصغر إذا كان وقتك أقل.

لكن خياري الشخصي المفضل هو الاعتماد على قائمة curated.txt، لأنها تحتوي على نحو 500 عنصر فقط، وهي مجموعة من المجلدات التي تحتوي على السلاسل والمحتوى التالي:

• "admin"
• "user"
• "account"
• "password"
• "forgot"
• "login"
• "backup"
• أفضل 25 مدخلًا من القائمة الكاملة

باختصار، إنها الأفضل من بين الأفضل. كتبت المزيد عنها في مدونتي هنا.

باختصار: إذا أردت أفضل استغلال لوقتك، فاعتمد على curated.txt.

الشكر والتقدير

هذا المفهوم ليس جديدًا. كان مشروع RAFT أول من فعل ذلك، ونشكرهم على ريادتهم للفكرة. لكن المشروع الآن ميت ومضى، وبما أن الفكرة تعمل على أفضل وجه عندما تبقى محدّثة، قررنا إحياءها من جديد في صورة RobotsDisallowed.

تحيات

شكرًا جزيلًا لـ Jason Haddix وTim Tomes على حديثهما عن المشروع على Twitter وفي عروضهما التقديمية حول مكافآت الثغرات والاستطلاع والاختراق حول العالم.

الملاحظات

إذا كانت لديك أي أفكار حول ما يمكن تحسينه، فيرجى مراسلتنا عبر البريد الإلكتروني على [email protected] أو إرسال pull request.

شكرًا لكم، واختراقًا سعيدًا!