NetScout

NetScout هي أداة OSINT تعثر على النطاقات، والنطاقات الفرعية، والدلائل، ونقاط النهاية، والملفات لعنوان URL أساسي معيّن. تتكون من المكونات التالية:

• عميل BinaryEdge: يجلب النطاقات الفرعية
• DNS: يحاول تنفيذ نقل منطقة DNS لاستخراج النطاقات الفرعية
• الزاحف: يجلب عناوين URL والدلائل من عنوان URL الأساسي
• عميل SERP: يجلب روابط الملفات. يستخدم تقنيات Google dorking للبحث عن أنواع ملفات محددة بناءً على امتدادات الملفات التي يعثر عليها الزاحف
• فحص الروابط المختصرة: تستفيد هذه الوحدة من قوائم الروابط المختصرة الخاصة بـ URLTeam. وتقوم بتنزيل آخر قائمة تم رفعها، وتفحص كل إدخال للتحقق من وجود مضيف يطابق مضيف عنوان URL الأساسي. يمكن أن تكون هذه الملفات النصية كبيرة جدًا (أكبر من 500 ميجابايت)، ويستغرق هذا الفحص عدة دقائق. وقد استُلهمت هذه الوحدة بشكل كبير من urlhunter.

الإعداد

كيفية التثبيت

• التثبيت عبر Go: - شغّل go install github.com/caio-ishikawa/netscout@latest
• البناء من المصدر: - استنسخ المستودع - شغّل make install

واجهات API الخارجية

يستخدم NetScout واجهتين خارجيتين: BinaryEdge و SerpAPI. تُستخدم BinaryEdge للاستعلام عن البيانات التاريخية للنطاقات الفرعية المسجلة لعنوان URL الأساسي، وتُستخدم SERP API لجمع نتائج بحث Google لأنواع ملفات محددة خاصة بعنوان URL الأساسي.

ضبط مفاتيح API

يتوقع NetScout ضبط مفاتيح API كمتغيرات بيئة:

• export BINARYEDGE_API_KEY="<key>"
• export SERP_API_KEY="<key>"

أمثلة

الاستخدام:

=======================================================================
 ███▄    █ ▓█████▄▄▄█████▓  ██████  ▄████▄   ▒█████   █    ██ ▄▄▄█████▓
 ██ ▀█   █ ▓█   ▀▓  ██▒ ▓▒▒██    ▒ ▒██▀ ▀█  ▒██▒  ██▒ ██  ▓██▒▓  ██▒ ▓▒
▓██  ▀█ ██▒▒███  ▒ ▓██░ ▒░░ ▓██▄   ▒▓█    ▄ ▒██░  ██▒▓██  ▒██░▒ ▓██░ ▒░
▓██▒  ▐▌██▒▒▓█  ▄░ ▓██▓ ░   ▒   ██▒▒▓▓▄ ▄██▒▒██   ██░▓▓█  ░██░░ ▓██▓ ░ 
▒██░   ▓██░░▒████▒ ▒██▒ ░ ▒██████▒▒▒ ▓███▀ ░░ ████▓▒░▒▒█████▓   ▒██▒ ░ 
░ ▒░   ▒ ▒ ░░ ▒░ ░ ▒ ░░   ▒ ▒▓▒ ▒ ░░ ░▒ ▒  ░░ ▒░▒░▒░ ░▒▓▒ ▒ ▒   ▒ ░░   
░ ░░   ░ ▒░ ░ ░  ░   ░    ░ ░▒  ░ ░  ░  ▒     ░ ▒ ▒░ ░░▒░ ░ ░     ░    
   ░   ░ ░    ░    ░      ░  ░  ░  ░        ░ ░ ░ ▒   ░░░ ░ ░   ░      
         ░    ░  ░              ░  ░ ░          ░ ░     ░              
=======================================================================
Usage:
  -u string
        A string representing the URL
  -d int
        An integer representing the depth of the crawl
  -t int
        An integer representing the amount of threads to use for the scans (default 5)
  -delay-ms int
        An integer representing the delay between requests in miliseconds
  -lock-host
        A boolean - if set, it will only save URLs with the same host as the seed
  -o string
        A string representing the name of the output file
  -h string
        A comma-separated key-value string representing request headers
  -c string
        A comma-separated key-value string representing the cookies
  -v
        A boolean - if set, it will display all found URLs


  -skip-axfr
        A bool - if set, it will skip the DNS zone transfer attempt
  -skip-binaryedge
        A bool - if set, it will skip BinaryEdge subdomain scan
  -skip-google-dork 
        A bool - if set, it will skip the Google filetype scan
  -headless
        A bool - if set, all requests in the crawler will be made through a headless Chrome browser (requires Google Chrome)
  -deep
        A bool - if set, the shortened URL scan will be performed (can take several minutes)

يحدد عنوان URL الأساسي والعمق وملف الإخراج:

netscout -u https://crawler-test -d 2 -o netscout.txt

يتخطى BinaryEdge وGoogle dork:

netscout -u https://crawler-test.com -d 2 --skip-binaryedge --skip-google-dork -o netscout.txt

يضبط عدد الخيوط على 5، وتأخير الطلبات على 1000 مللي ثانية، ويفرض إجراء الطلبات عبر متصفح Chrome بدون واجهة رسومية (headless).

netscout -u https://crawler-test.com -d 2 -t 5 --delay-ms 1000 --headless -o netscout.txt

يضبط العمق على 2، ويضيف قيم الكوكيز والترويسات

netscout -u https://crawler-test.com --deep -d 2 -t 5 -h "key=test,key_two=test_2" -c "key=test,key_two=test_2"

يفعّل فحص الروابط المختصرة، ويضبط عمق الزاحف على 2، وعدد الخيوط على 5

netscout -u https://crawler-test.com --deep -d 2 -t 5

التطوير

قبل تقديم طلب سحب (PR)، يرجى التأكد من أن المشروع يُبنى بنجاح وأن جميع الاختبارات الحالية تجتاز بنجاح. مزيد من المعلومات في الاختبار

شكرًا لاهتمامك بالمساهمة في هذا المشروع!

الاختبار

تُوضع الاختبارات في نفس الدليل الذي يحتوي الملف المختبر، وتتطلب اختبارات الزاحف تشغيل DVWA (Damn Vulnerable Web App) محليًا مع فتح المنفذ 80. قبل تشغيل الاختبارات، يجب إعداد ملفات الاختبار.

تُدار جميع الإعدادات اللازمة للاختبارات في Makefile:

• لسحب صورة DVWA، شغّل make test-container-pull
• لإعداد ملفات الاختبار make testfiles-setup
• لتشغيل الحاوية make test-container-run
• لتشغيل الاختبارات make test
• لإزالة ملفات الاختبار make testfiles-teardown