Steamer

استيراد وإدارة والبحث في التسريبات العامة.

هل لديك كميات هائلة من ملفات CSV، .sql، .txt التي تحتوي على بيانات اعتماد وكلمات مرور وتجزئات (hashes) بداخلها؟ استخدم Steamer لإدارتها! قم بتحميلها في قاعدة بيانات MongoDB، واستخدم إما وحدة التحكم مباشرة، أو فقط استخدم واجهة الويب المفيدة (مزودة بتصدير JSON).

التثبيت

• قم بتثبيت Go و MongoDB.
• تتم إدارة التبعيات باستخدام وحدات Go في go.mod. لذلك، سيقوم Go تلقائياً بتنزيل الوحدات المطلوبة إذا لم يتمكن من العثور على واحدة.

في هذه المرحلة، يُوصى باستيراد أحد التسريبات الأبسط التي لا تتطلب فهرساً للاستيراد.

• go run ./importers/adobe.go

الآن نحتاج إلى إنشاء فهارس ذات صلة لـ MongoDB:

• في وحدة تحكم mongo، أنشئ الفهارس كالتالي:
  • memberid: hashed
  • breach: 1
  • email: 1
  • liame: 1
  • passwordhash: 1

الأوامر اللازمة لإنشاء الفهارس هي:

• mongo
• use steamer
• db.dumps.createIndex( { memberid: "hashed"}, { background: true} )
• db.dumps.createIndex( { breach: 1}, { background: true} )
• db.dumps.createIndex( { email: 1}, { background: true} )
• db.dumps.createIndex( { liame: 1}, { background: true} )
• db.dumps.createIndex( { passwordhash: 1}, { background: true} )

اكتمل التثبيت!

تشغيل Steamer

إذا كنت ذكياً، فستفكر في تشغيل nginx أمام Go، لكننا كسالى، لذا شغّل ببساطة: go run ./steamer.go.

كتابة أداة استيراد

انسخ ملف importers/importer-template.go حسب الحاجة. املأه بالكود المناسب. اطلع على أدوات الاستيراد الأخرى للحصول على أمثلة. هذا القالب متعدد الخيوط ومصمم لملفات CSV. راجع ./importers/linkedin2016.go للحصول على مثال أكثر تعقيداً.

إذا كتبت أداة استيراد لاختراق عام، فيُرجى إرسال طلب سحب (pull request) ليتمكن الجميع من استيرادها أيضاً. يُرجى ملاحظة أنه لا يتم توفير أي اختراقات عامة هنا في المستودع نفسه.

تشغيل أداة الاستيراد

تشغيل أداة الاستيراد أمر مباشر. ما عليك سوى تشغيل go run ./importers/<importer_name>.go أو تقديم مسار بديل لملف التفريغ إذا لزم الأمر عن طريق تشغيل go run ./importers/<importer_name>.go -i <path_to_dump_file>. هناك أيضاً علامة verbose تُظهر شريط التقدم، إذا كنت ترغب في استخدامها فقط أضف العلامة go run importers/<importer_name>.go -v. ومع ذلك، ضع في اعتبارك أن تمكينها سيؤدي إلى إحداث تأخير لعدة دقائق في المتوسط اعتماداً على حجم الملف.

مشاكل؟

تأكد من تشغيل MongoDB 3.0 أو أعلى. الإصدارات السابقة واجهت مشاكل في عمل الفهارس بشكل صحيح، ويوجد بعض الصياغات الجديدة التي تتطلب هذا الإصدار.

أداء؟ جرب تعديل ملف تكوين MongoDB لإيقاف التسجيل (journaling) وتمكين محرك قاعدة البيانات الجديد.