leakScraper

إصدار mongodb

LeakScraper هي مجموعة فعّالة من الأدوات لمعالجة وتصور ملفات نصية ضخمة تحتوي على بيانات اعتماد. صُمّمت هذه الأدوات لمساعدة مختبرِي الاختراق/فريق الأحمر في جمع المعلومات مفتوحة المصدر (OSINT)، وتجميع بيانات الاعتماد، وهجمات حشو بيانات الاعتماد.

التثبيت

• أولاً وقبل كل شيء: يجب أن يكون لديك خادم mongodb يعمل.
• ثم:
  root@kitploit:~

  git clone -b mongodb https://github.com/Acceis/leakScraper
  cd leakScraper
  sudo ./install.sh
  

  سيقوم بتثبيت بعض حزم pip وحزم دبيان (python-magic, python3-pymongo و bottle).

المتطلبات

لينكس (ديبيان)، بايثون 3.x وخادم mongodb.

الاستخدام

انظر الويكي للحصول على التفاصيل

لقطة الشاشة

الأدوات المختلفة

ينقسم LeakScraper إلى ثلاثة أجزاء:

• leakStandardizer: أداة لتوحيد معايير التسريبات التي حصلت عليها من بعض الأماكن المشروعة على الإنترنت. تأخذ كمدخل ملفًا يحتوي على بيانات اعتماد بتنسيق غريب، يحتوي على أحرف غير ASCII أو أسطر فارغة، أو أسطر تحتوي على عناوين بريد إلكتروني غير صالحة أو لا تحتوي على كلمة مرور. ستُنتج، بمساعدتك (باستخدام التعبير العادي)، ملفًا قابلًا للبحث بسهولة باستخدام التنسيق التالي: email:hash:plain ("plain" تعني "كلمة مرور نصية عادية").
• leakImporter: أداة لاستيراد ملف تسريب موحد إلى قاعدة بيانات mongodb. ستتولى استخراج البيانات من الملف، ووضعها في تنسيق شامل لـ mysql، وإنشاء/إدارة الفهارس...
• leakScraper: أداة وواجهة لاستخراج البيانات من قاعدة البيانات وعرضها بشكل مرتب.

المسلمات

• حالة الاستخدام المغطاة هي التالية: البحث عن بيانات اعتماد تنتمي إلى منظمة/شركة/هيكل معين. يتم ذلك عن طريق البحث عن بيانات اعتماد مرتبطة ببريد إلكتروني ينتمي إلى المنظمة المعنية. مثال: البحث عن بيانات اعتماد تابعة لـ microsoft يتم عن طريق البحث عن بيانات اعتماد مرتبطة بحسابات مسجلة ببريد إلكتروني ينتهي بـ "@microsoft.com". هذه هي حالة الاستخدام الوحيدة المغطاة، ولها تأثير كبير على الخيارات التقنية (فهارس قاعدة البيانات وتمثيل البيانات بشكل عام).

• يمكن أن يصل وزن التسريبات إلى عدة غيغابايت. هذا يعني أن كل عملية (التوحيد القياسي، الاستيراد والبحوث) تستخدم خوارزميات في المكان من حيث الذاكرة. يمكنك معرفة مسبقًا مقدار الذاكرة التي ستستخدمها هذه الأدوات لمعالجة ملف معين، ولن تستنفد موارد جهاز الكمبيوتر الخاص بك أبدًا (إلا إذا كان لديك جهاز قديم جدًا).

• معالجة الملفات الضخمة والعمل مع الكثير من البيانات يستغرق وقتًا. من المهم برأيي أن يكون هناك ردود فعل مرئية/فورية لمعرفة المدة التي ستستغرقها معالجة/استيراد ملف. من المهم أن تعرف ما إذا كنت قد بدأت للتو عملية تستغرق 7 ساعات أم عملية تستغرق 1,200 سنة.