Steamer

सार्वजनिक डंप आयात करें, प्रबंधित करें, खोजें।

क्या आपके पास CSV, .sql, .txt की भारी मात्रा है जिनमें क्रेडेंशियल्स, पासवर्ड और हैश हैं? उन्हें प्रबंधित करने के लिए Steamer का उपयोग करें! उन्हें MongoDB डेटाबेस में लोड करें, और या तो सीधे कंसोल का उपयोग करें, या बस आसान वेब इंटरफ़ेस (JSON निर्यात के साथ पूर्ण) का उपयोग करें।

स्थापना

• Go और MongoDB स्थापित करें।
• निर्भरताएँ go.mod में Go मॉड्यूल का उपयोग करके प्रबंधित की जाती हैं। इसलिए, यदि Go को कोई मॉड्यूल नहीं मिलता है, तो वह स्वचालित रूप से आवश्यक मॉड्यूल डाउनलोड करेगा।

इस बिंदु पर, सबसे सरल उल्लंघनों में से एक को आयात करने की अनुशंसा की जाती है जिसमें आयात करने के लिए इंडेक्स की आवश्यकता नहीं होती है।

• go run ./importers/adobe.go

अब हमें MongoDB के लिए प्रासंगिक इंडेक्स बनाने की आवश्यकता है:

• mongo कंसोल में, इस प्रकार इंडेक्स बनाएं:
  • memberid: hashed
  • breach: 1
  • email: 1
  • liame: 1
  • passwordhash: 1

इंडेक्स बनाने के लिए कमांड हैं:

• mongo
• use steamer
• db.dumps.createIndex( { memberid: "hashed"}, { background: true} )
• db.dumps.createIndex( { breach: 1}, { background: true} )
• db.dumps.createIndex( { email: 1}, { background: true} )
• db.dumps.createIndex( { liame: 1}, { background: true} )
• db.dumps.createIndex( { passwordhash: 1}, { background: true} )

स्थापना पूर्ण!

Steamer चलाना

यदि आप समझदार हैं, तो आप Go के सामने nginx चलाने पर विचार करेंगे, लेकिन हम आलसी हैं, इसलिए वास्तव में बस चलाएँ: go run ./steamer.go.

एक इम्पोर्टर लिखें

importers/importer-template.go फ़ाइल को उपयुक्त रूप में कॉपी करें। इसे प्रासंगिक कोड से भरें। उदाहरणों के लिए अन्य इम्पोर्टर देखें। वह टेम्पलेट थ्रेडेड है और CSV के लिए डिज़ाइन किया गया है। अधिक जटिल उदाहरण के लिए ./importers/linkedin2016.go देखें।

यदि आप किसी सार्वजनिक उल्लंघन के लिए एक इम्पोर्टर लिखते हैं, तो कृपया एक पुल रिक्वेस्ट भेजें ताकि हर कोई इसे आयात कर सके। कृपया ध्यान दें कि इस रिपॉजिटरी में कोई सार्वजनिक उल्लंघन प्रदान नहीं किए गए हैं।

इम्पोर्टर चलाना

इम्पोर्टर चलाना सीधा है। बस go run ./importers/<importer_name>.go चलाएँ या यदि आवश्यक हो तो go run ./importers/<importer_name>.go -i <path_to_dump_file> चलाकर डंप फ़ाइल का वैकल्पिक पथ प्रदान करें। एक वर्बोज़ फ़्लैग भी है जो प्रगति पट्टी दिखाता है, यदि आप इसका उपयोग करना चाहते हैं तो बस फ़्लैग go run importers/<importer_name>.go -v जोड़ें। हालाँकि, ध्यान रखें कि इसे सक्षम करने से फ़ाइल के आकार के आधार पर औसतन कई मिनट की देरी होगी।

समस्याएँ?

सुनिश्चित करें कि आप MongoDB 3.0 या उच्चतर चला रहे हैं। पिछले संस्करणों में इंडेक्स के ठीक से काम न करने की समस्याएँ रही हैं, और कुछ नया सिंटैक्स है जिसके लिए इस संस्करण की आवश्यकता है।

प्रदर्शन? अपनी MongoDB कॉन्फ़िगरेशन फ़ाइल में बदलाव करके जर्नलिंग बंद करने और नए डेटाबेस इंजन को सक्षम करने का प्रयास करें।