WebStor

التحديد السريع لتقنيات الويب الضعيفة في مؤسستك

WebStor هي أداة مطبقة بلغة بايثون تحت رخصة MIT لعدد سريع لجميع مواقع الويب عبر جميع شبكات مؤسستك، وتخزين استجاباتها، والاستعلام عن تقنيات وإصدارات الويب المعروفة، مثل تلك التي تحتوي على ثغرات يوم الصفر. وهي موجهة بشكل خاص لحل المشكلة الفريدة التي تظهر في المؤسسات المتوسطة والكبيرة ذات الإدارة اللامركزية، حيث قد يكون من المستحيل تقريبًا تتبع جميع تقنيات الويب المنشورة من قبل مسؤولين مختلفين موزعين عبر وحدات وشبكات مختلفة.

يحقق WebStor هدفه من خلال تنفيذ الإجراءات التالية:

1. يقوم بنقل مناطق DNS (DNS zone transfers) لجمع سجلات A و CNAME الخاصة بالمؤسسة.
2. يستخدم Masscan لمسح المنافذ المفتوحة HTTP/HTTPS على نطاقات الشبكة الخاصة بالمؤسسة، بالإضافة إلى أي عناوين IP خارج تلك النطاقات التي كانت موجودة في سجلات A و CNAME الخاصة بالمؤسسة.
3. يستخدم مكتبة طلبات Paithon (Python requests library) لجمع جميع الاستجابات وتخزينها في قاعدة بيانات MariaDB. سيتم تضمين جميع أسماء DNS المقابلة لعنوان IP بمنافذ HTTP/HTTPS مفتوحة في الطلبات بالإضافة إلى عنوان IP، بحيث لا يتسبب استخدام المواقع لرؤوس مختلفة في فقدان موقع ويب.
4. يقوم بتنزيل قاعدة بيانات تقنيات الويب Wappalyzer وتخزينها في قاعدة بيانات MariaDB، مما يسمح للمستخدمين بالاستعلام عن موقع (مواقع) تقنية ويب شائعة بالاسم.
5. يسمح للمستخدمين بالاستعلام عن المواقع التي تحتوي على تعبيرات منتظمة (regexes) مخصصة ضمن الاستجابات المخزنة.

المنصات المدعومة

يعمل WebStor حاليًا على أنظمة لينكس. نظرًا لأنه مكتوب بلغة بايثون، فإن التحويل لدعم ويندوز سيكون بسيطًا ومن المرجح أن يحدث في المستقبل.

المتطلبات الأساسية

التطبيقات

• Masscan
  • إذا كنت ستستخدم وظيفة cron لتحديث قاعدة البيانات (وهو أمر نموذجي)، فمن الضروري جدًا تكوين sudo بدون كلمة مرور (nopasswd) لأي مستخدم ينفذ مسح Masscan عبر WebStor.
• MariaDB 10.0.5 أو أحدث
  • ستكون بيانات الاعتماد الافتراضية التي يحاولها WebStor هي 'root' وكلمة مرور فارغة. راجع قسم "الخيارات الآمنة" لتكوين WebStor لاستخدام أسماء مستخدمين وكلمات مرور أخرى للاتصال بقاعدة البيانات.

مكتبات بايثون

• pip3 install dnspython
• pip3 install beautifulsoup4
• pip3 install mysql-connector-python
• pip3 install js-regex
• pip3 install gevent
• pip3 install requests

التوفر عبر PyPI

• إذا كنت تبحث ببساطة عن تشغيل WebStor وليس تحريره، يمكنك تثبيت التطبيقات المطلوبة ثم استخدام 'sudo pip3 install webstor'.
• بعد تثبيت WebStor عبر PyPI، سيكون webstor في المسار ويمكن تشغيله من سطر الأوامر بغض النظر عن دليل العمل باستخدام 'webstor' بدلاً من 'webstor.py'، على سبيل المثال 'webstor -g'.

الاستخدام الأساسي

       webstor.py [-h] [--ADD-HTTP-PORT HTTPPORTTOADD] [--CLEAR-HTTP]
                  [--ADD-HTTPS-PORT HTTPSPORTTOADD] [--CLEAR-HTTPS]
                  [--ADD-CUSTOM-FINGERPRINT FINGERPRINT]
                  [--DELETE-CUSTOM-FINGERPRINT FINGERPRINTNAMETODELETE]
                  [--IMPORT-CUSTOM-FINGERPRINT IMPORTFINGERPRINTFILE]
                  [--CLEAR-CUSTOM-FINGERPRINTS] [--SHOW-CONFIG]
                  [--SHOW-CONFIG-FULL] [--RUN-MASSCAN]
                  [--SET-MASSCAN-RANGES SETSCANRANGES]
                  [--ADD-RANGE RANGETOADD] [--DELETE-RANGE RANGETODELETE]
                  [--IMPORT-MASSCAN-RANGES IMPORTSCANRANGES]
                  [--ADD-PATH PATHTOADD] [--DELETE-PATH PATHTODELETE]
                  [--CLEAR-PATHS] [--REFRESH-RESPONSES]
                  [--RESPONSES-ADD-FOR-PATH RESPONSESADDFORPATH]
                  [--SEARCH-PATTERN SEARCHPATTERN]
                  [--SEARCH-CUSTOM-FINGERPRINT SEARCHFINGERPRINT]
                  [--SEARCH-WAPPALYZER SEARCHWAPPALYZER] [--NO-TSIG-KEY]
                  [--TSIG-KEY-IMPORT IMPORTTSIGFILE]
                  [--TSIG-KEY-REPLACE REPLACEMENTTSIGFILE]
                  [--DELETE-TSIG TSIGTODELETE]
                  [--USE-TSIG-FILE-ONLY USETSIGFILEONLY]
                  [--DOWNLOAD-NEW-WAPPALYZER] [--LIST-WAPPALYZER-TECH-NAMES]
                  [--ZONE-XFER] [--ADD-DOMAIN DOMAINDETAILS]
                  [--DELETE-DOMAIN DOMAINTODELETE]
                  [--IMPORT-ZONE-FILE IMPORTZONEFILE] [--CLEAR-DOMAINS]
                  [--LIST-DOMAINS] [--LIST-OUTSIDE] [--SQL-CREDS SQLCREDSFILE]