CWFF - قوائم كلمات مخصصة للاختبار بالفحص

CWFF هي أداة تقوم بإنشاء قائمة كلمات خاصة عالية الجودة لاختبار الفحص/اكتشاف المحتوى بأقصى سرعة ممكنة باستخدام التزامن، وهي مستوحاة بشكل كبير من @tomnomnom في Who, What, Where, When, Wordlist #NahamCon2020.

الاستخدام

CWFF [-h] [--threads] [--github] [--subdomains] [--recursive] [--js-libraries] [--connected-websites] [--juicy-files] [--use-filter-model] [-o] domain

positional arguments:
  domain                Target website(ofc)

optional arguments:
  -h, --help            Show this help message and exit
  --threads             The number of maximum concurrent threads to use (Default:1000)
  --github              Collect endpoints from a given github repo (ex:https://github.com/google/flax)
  --subdomains          Extract endpoints from subdomains also while search in the wayback machine!
  --recursive           Work on extracted endpoints recursively (Adds more endpoints but less accurate sometimes)!
  --js-libraries        Extract endpoints from JS libraries also, not just the JS written by them!
  --connected-websites  Include endpoints extracted from connected websites
  --juicy-files         Include endpoints extracted from juicy files like sitemap.xml and robots.txt
  --use-filter-model    Filter result endpoints with filter_model file
  -o                    The output directory for the endpoints and parameters. (Default: website name)

الوصف (مهم)

إذًا فهو بشكل أساسي يقوم بجمع النقاط النهائية (endpoints) والمعلمات (parameters) للهدف ونطاقاته الفرعية باستخدام العديد من المصادر التي سنتحدث عنها الآن:

1. آلة Wayback: تقوم بالمرور عبر جميع سجلات الموقع الهدف ونطاقاته الفرعية وتسحب عناوين URL التي تعطي رمز حالة 200.

العديد من الأدوات تمر عبر الصفحة العلوية فقط من Wayback لتوفير الوقت، ولكن هنا نمر عبر جميع السجلات في وقت قليل، ولكن هذا أيضًا يجعل الأمر يستغرق وقتًا طويلاً عند استخدام العلم --subdomains.

2. ملفات JavaScript التي تم جمعها أثناء مرحلة Wayback وتلك التي تم جمعها عن طريق تحليل الصفحة الهدف للحصول على وسم <script>

يحاول CWFF فصل مكتبات JS عن ملفات JS التي كتبها مطورو الموقع بالفعل، ويقوم بذلك من خلال النظر في أسماء ملفات JS. بشكل افتراضي، يستخرج CWFF النقاط النهائية من ملفات JS التي كتبها المطورون فقط، لاستخدام مكتبات JS (غير مفيدة في الغالب) قم بتفعيل العلم --js-libraries.

3. فهرس Common crawl CDX و Alien vault OTX (تبادل التهديدات المفتوح)
4. إذا أعطيت CWFF العلم --juicy-files، فسيقوم أيضًا باستخراج النقاط النهائية من ملفات مثل Sitemap.xml و robots.txt (قد يتم إضافة المزيد في المستقبل)
5. إذا أعطيت CWFF مستودعًا على GitHub باستخدام العلم --github، فسيقوم باستخراج المسارات من ذلك المستودع باستخدام واجهة برمجة تطبيقات GitHub (لا حاجة لمفتاح API).

فقط للتوضيح، سيستخدم CWFF مسارات الملفات والأدلة فقط، لذا لن يقوم باستخراج النقاط النهائية من داخل الملفات نفسها!

6. عند استخدام العلم --connected-websites، سيستخدم CWFF واجهة برمجة تطبيقات موقع builtwith (تحتاج إلى مفتاح ولكنه مجاني) لاستخراج المواقع المتصلة بالهدف من ملف العلاقات، ثم يستخرج النقاط النهائية من مصدر هذه المواقع.

ملاحظة: يمكنك الحصول على مفتاح API الخاص بك من هذه الصفحة وتعيين المتغير في ملف API_keys.py.

بعد جمع النقاط النهائية من كل هذه المصادر، إذا استخدمت العلم --recursive، فسيقوم CWFF باستخراج أجزاء من النقاط النهائية المجمعة بشكل متكرر.

• مثال: نقطة نهائية مثل parseq/javadoc/1.1.0/com ستصبح كل هذه النقاط النهائية:
  root@kitploit:~

  parseq/javadoc/1.1.0/com
  parseq/javadoc/1.1.0/
  parseq/javadoc/
  parseq/
  javadoc/
  1.1.0/
  com
  

ملاحظة: جميع النقاط النهائية/المعلمات التي تم جمعها يتم تنظيفها وترتيبها بدون تكرار للحصول على نتيجة فريدة.

تصفية النتائج

بالطبع بعد كل هذه المصادر وهذا العمل، سيكون هناك الكثير من النقاط النهائية غير المرغوب فيها/غير المفيدة بين المهمة، وهنا يأتي دور التصفية لتوفير الوقت والموارد.

في CWFF يمكنك اكتشاف وإزالة النقاط النهائية غير المرغوب فيها باستخدام ثلاث طرق:

• إزالة النقاط النهائية التي تنتهي بأي سلسلة من قائمة معينة (مثل الامتدادات).
• إزالة النقاط النهائية التي تحتوي على أي سلسلة من قائمة سلاسل معينة.
• وأخيرًا الطريقة الكبيرة، إزالة النقاط النهائية التي تطابق أي تعبير عادي من قائمة معينة أيضًا.

يمكن تقديم جميع خيارات التصفية هذه عن طريق تعيين المتغيرات في ملف filter_model.py ثم استخدام العلم --use-filter-model عند بدء تشغيل CWFF. إذا لم تكن لديك فكرة عن كيفية تعيين هذه المتغيرات، فانظر إلى التعليقات التي تركتها في الملف، إنها تلك التي أستخدمها غالبًا وفي لقطة الشاشة خفضت عدد النقاط النهائية المجمعة من 26,177 إلى 3,629. في حال نسيت استخدام التصفية أثناء تشغيل CWFF، لا تقلق، لقد غطيت ذلك 😄

يمكنك استخدام السكريبت filter.py لتصفية النقاط النهائية التي لديك بالطريقة التالية وسيقوم بتحميل ملف filter_model.py تلقائيًا دون الحاجة إلى إعادة تشغيل CWFF:

python filter.py wordlist.txt output.txt

المتطلبات

• Python 3.6+
• يجب أن يعمل على أي نظام تشغيل ولكنني اختبرته فقط على Linux Manjaro.
• التعليمات التالية

التثبيت

python3 -m pip install -r requirements.txt
python3 cwff.py --help

الاتصال

• Twitter
• Telegram

المهام المستقبلية

• دمج النقاط النهائية بشكل متكرر
• استخراج الكلمات الفريدة للموقع عن طريق المقارنة مع RFC.

التبرع

إذا كان عملي مفيدًا لك، فلا تتردد في شكري بشراء فنجان قهوة لي.

إخلاء مسؤولية

تم إنشاء CWFF للمساعدة في اختبار الاختراق وهي ليست مسؤولة عن أي استخدام خاطئ أو لأغراض غير قانونية.

نسخ كود من هذه الأداة أو استخدامه في أداة أخرى مسموح به طالما تذكر المصدر :smile