السحابة

مراقبة مشهد السحابة

مهمتنا في هذا المشروع هي تقديم خريطة دائمة التحديث ومتاحة بحرية لمشهد السحابة لكل مزود خدمة سحابية رئيسي.

قررنا البدء بجمع بيانات شهادات SSL من أجهزة AWS EC2 و GCP، نظرًا لقيمة هذه البيانات للباحثين في مجال الأمن. لكننا نخطط لتوسيع المشروع ليشمل المزيد من البيانات والمزودين في المستقبل القريب. آراؤك واقتراحاتك قيّمة جدًا بالنسبة لنا، لذا لا تتردد في التواصل معنا عبر تويتر أو ديسكورد وأخبرنا ما المجالات التي تعتقد أننا يجب أن نعطيها الأولوية بعد ذلك!

كيف يمكن أن تفيدك بيانات شهادات SSL؟

بيانات SSL منظمة في ملفات CSV، مع الخصائص التالية التي يتم جمعها لكل شهادة موجودة:

• عنوان IP
• الاسم الشائع
• المؤسسة
• الدولة
• المنطقة
• المحافظة
• اسم DNS البديل للموضوع
• عنوان IP البديل للموضوع
• شهادة ذاتية التوقيع (قيمة منطقية)

إذًا، ماذا يمكنك أن تفعل بهذه البيانات؟

تعداد النطاقات الفرعية لنطاقاتك المستهدفة

ابحث عن أسماء نطاقات هدفك (مثل example.com) واعثر على النتائج في حقلي الاسم الشائع و اسم DNS البديل للموضوع من الشهادات المجمعة. يتم فحص جميع نطاقات IP يوميًا ويتم تحديث مجموعة البيانات وفقًا لذلك، لذا من المحتمل جدًا أن تجد المضيفات المؤقتة قبل إزالتها.

تعداد النطاقات التابعة لشركاتك المستهدفة

ابحث عن اسم شركة هدفك (مثل Example, Inc.)، واعثر على النتائج في حقل المؤسسة، واستكشف الحقول المرتبطة الاسم الشائع و اسم DNS البديل للموضوع. ستتضمن النتائج على الأرجح نطاقات فرعية للنطاقات التي تعرفها، وإذا كنت محظوظًا فقد تجد نطاقات جذرية جديدة توسع نطاق العمل.

تعداد الأهداف المحتملة لتعداد النطاقات الفرعية

إذا تم إصدار الشهادة لنطاق عام (مثل *.foo.example.com)، فمن المحتمل وجود نطاقات فرعية أخرى يمكنك العثور عليها من خلال التخمين العنيف هناك. وأنت تعلم مدى فعالية هذه التقنية. إليك بعض قوائم الكلمات لمساعدتك في ذلك!

💡 ملاحظة: تذكر مراقبة مجموعة البيانات للحصول على التحديثات اليومية ليتم إعلامك كلما ظهر أصل جديد!

إجراء عمليات بحث عن عنوان IP

ابحث عن عنوان IP (مثل 3.122.37.147) للعثور على أسماء المضيفات المرتبطة به، واستكشف حقول الاسم الشائع و اسم DNS البديل للموضوع و المؤسسة للحصول على مزيد من المعلومات حول هذا العنوان.

اكتشاف عناوين IP الأصلية لتجاوز خدمات الوكيل

عندما يكون موقع الويب مخفيًا خلف خدمات وكيل أمنية مثل Cloudflare و Akamai و Incapsula وغيرها، فمن الممكن البحث عن اسم المضيف (مثل example.com) في مجموعة البيانات. قد يكشف هذا البحث عن عنوان IP الأصلي، مما يسمح لك بتجاوز الوكيل. ناقشنا تقنية مماثلة في مدونتنا والتي يمكنك العثور عليها هنا!

الحصول على مجموعة بيانات حديثة لخوادم ويب حية

كل عنوان IP في مجموعة البيانات يتوافق مع خادم HTTPS يعمل على المنفذ 443. يمكنك استخدام هذه البيانات لأبحاث واسعة النطاق دون الحاجة إلى قضاء وقت في جمعها بنفسك.

أي شيء آخر يمكنك التفكير فيه

إذا كنت تستخدم هذه البيانات لمشروع أو بحث رائع، يسعدنا أن نسمع عن ذلك!

بالإضافة إلى ذلك، ستجد أدناه شرحًا تفصيليًا لعملية جمع البيانات وكيف يمكنك تنفيذ نفس التقنية لجمع المعلومات من نطاقات IP الخاصة بك.

كيف يعمل

TB; DZ (كبير جدًا؛ لم تقم بالتكبير):

1. نبدأ سير العمل بنصين شل بسيطين يقومان بجلب نطاقات IP:
   • نطاقات IP الخاصة بـ AWS يتم تصفيتها باستخدام استعلام JQ. نقوم باستخراج نطاقات IP لأجهزة EC2 عن طريق التصفية على .prefixes[] | select(.service=="EC2") | .ip_prefix. يتم استبعاد الخدمات الأخرى من سير العمل هذا لأنها لا تدعم شهادات SSL مخصصة، مما يجعل بياناتها غير مفيدة لمجموعة بياناتنا.
   • نطاقات IP الخاصة بـ GCP يتم استخراجها باستخدام استعلام JQ آخر: .prefixes[].ipv4Prefix.
2. ثم نستخدم mapcidr لتقسيم نطاقات IP التي تم الحصول عليها في الخطوة 1 إلى نطاقات أصغر، يحتوي كل منها على ما يصل إلى 100 ألف مضيف (شكرًا لفريق ProjectDiscovery!). ستكون هذه الخطوة مفيدة في الخطوة التالية عندما نقوم بتشغيل عملية المسح المتوازي.
3. في وقت كتابة هذا التقرير، تشمل نطاقات IP السحابية أكثر من 75 مليون عنوان IP، لذا فإن مسحها جميعًا على جهاز واحد سيكون غير عملي، وهنا يأتي دور عقدة file-splitter. هذه العقدة تقوم بالتكرار عبر المدخلات من mapcidr وتطلق مهامًا فردية لكل نطاق. عند تنفيذ سير العمل هذا عبر أجهزة متعددة (لنقل 30 جهازًا)، فإنها تقوم بمعالجة هذه المهام بالتوازي، مما يقلل بشكل كبير من وقت التشغيل الإجمالي. تمكننا هذه الكفاءة من تشغيل سير العمل يوميًا، مما يحافظ على تحديث البيانات باستمرار.
4. تقوم الأجهزة المتوازية بعد ذلك بتشغيل مثيلات zgrab2 لجمع شهادات SSL. بعد تجربة أدوات وتقنيات مختلفة، برزت وحدة tls الخاصة بـ zgrab2 كالخيار الأسرع والأكثر موثوقية. تحية لفريق مشروع ZMap!

المساهمة

كل المساهمات/الأفكار/الاقتراحات مرحب بها! لا تتردد في إنشاء تذكرة جديدة عبر مشكلات GitHub، أو التغريد لنا على @trick3st، أو الانضمام إلى المحادثة على ديسكورد.

بناء سير العمل الخاص بك

نحن نؤمن بقيمة التجريب؛ الحلول الجاهزة نادرًا ما تكون كافية. سجل للحصول على عرض توضيحي من Trickest لتخصيص سير العمل هذا وفقًا لحالة الاستخدام الخاصة بك، والحصول على إمكانية الوصول إلى العديد من سير العمل الأخرى، أو بناء سير العمل الخاص بك من الصفر!