Krawl

विषय-सूची

• डेमो
• Krawl क्या है?
• Krawl डैशबोर्ड
• परिनियोजन मोड
• Krawl बैनलिस्ट
• क्विकस्टार्ट
  • Docker Run
  • Docker Compose
  • Kubernetes
  • Uvicorn (Python)
• कॉन्फ़िगरेशन
  • config.yaml
  • पर्यावरण चर
• दुर्भावनापूर्ण IP को बैन करें
• IP प्रतिष्ठा
• रिवर्स प्रॉक्सी या CDN के पीछे चलाना
• मेट्रिक्स और निगरानी
• अतिरिक्त दस्तावेज़ीकरण
• AI का उपयोग करके धोखा
• योगदान

डेमो

सुझाव: अतिरिक्त मज़े के लिए robots.txt पथों को क्रॉल करें

Krawl URL: http://demo.krawlme.com

डैशबोर्ड देखें http://demo.krawlme.com/das_dashboard

Krawl क्या है?

Krawl एक क्लाउड-नेटिव धोखा सर्वर है जिसे दुर्भावनापूर्ण हमलावरों, वेब क्रॉलरों और स्वचालित स्कैनरों का पता लगाने, विलंबित करने और विश्लेषण करने के लिए डिज़ाइन किया गया है।

यह संदिग्ध गतिविधि को आकर्षित करने और पहचानने के लिए एडमिन पैनल, कॉन्फ़िगरेशन फ़ाइलों और उजागर नकली क्रेडेंशियल्स जैसे आसान लक्ष्यों से भरे यथार्थवादी नकली वेब एप्लिकेशन बनाता है।

हमलावर संसाधनों को बर्बाद करके, Krawl दुर्भावनापूर्ण व्यवहार को वैध क्रॉलरों से स्पष्ट रूप से अलग करने में मदद करता है।

इसमें शामिल हैं:

• AI जनित धोखा पेज: हमलावरों को आपकी नकली कमजोर हमला सतह उत्पन्न करने में मदद करने दें
• स्पाइडर ट्रैप पेज: spidertrap प्रोजेक्ट पर आधारित क्रॉलर संसाधनों को बर्बाद करने के लिए अनंत यादृच्छिक लिंक
• नकली लॉगिन पेज: WordPress, phpMyAdmin, एडमिन पैनल
• हनीपॉट पथ: स्कैनरों को पकड़ने के लिए robots.txt में विज्ञापित
• नकली क्रेडेंशियल्स: यथार्थवादी दिखने वाले उपयोगकर्ता नाम, पासवर्ड, API कुंजियाँ
• कैनरी टोकन एकीकरण: बाहरी अलर्ट ट्रिगरिंग
• यादृच्छिक सर्वर हेडर: सर्वर हेडर और संस्करण पर आधारित हमलों को भ्रमित करें
• रीयल-टाइम डैशबोर्ड: संदिग्ध गतिविधि की निगरानी करें
• अनुकूलन योग्य वर्डलिस्ट: आसान JSON-आधारित कॉन्फ़िगरेशन
• यादृच्छिक त्रुटि इंजेक्शन: वास्तविक सर्वर व्यवहार की नकल करें

आप रिवर्स प्रॉक्सी का उपयोग करके अपनी अन्य सेवाओं के साथ Krawl को आसानी से उजागर कर सकते हैं ताकि उन्हें वेब क्रॉलरों और दुर्भावनापूर्ण उपयोगकर्ताओं से बचाया जा सके। अधिक जानकारी के लिए, रिवर्स प्रॉक्सी दस्तावेज़ीकरण देखें।

Krawl डैशबोर्ड

Krawl एक व्यापक डैशबोर्ड प्रदान करता है, जो स्टार्टअप पर उत्पन्न एक यादृच्छिक गुप्त पथ पर या KRAWL_DASHBOARD_SECRET_PATH के माध्यम से कॉन्फ़िगर किए गए कस्टम पथ पर सुलभ है। यह डैशबोर्ड को आपके हनीपॉट को स्कैन करने वाले हमलावरों से छिपाकर रखता है।

डैशबोर्ड छह टैब में व्यवस्थित है:

• अवलोकन: हमला गतिविधि का उच्च-स्तरीय दृश्य: IP मूल स्थानों का इंटरैक्टिव मानचित्र, हाल के संदिग्ध अनुरोध, और शीर्ष IP, User-Agents, और पथ।

• हमले: कैप्चर किए गए क्रेडेंशियल्स, हनीपॉट ट्रिगर्स, और पता लगाए गए हमला प्रकारों (SQLi, XSS, पथ ट्रैवर्सल, आदि) का विस्तृत विवरण चार्ट और तालिकाओं के साथ।

• खतरे: TLSH फ़ज़ी हैश द्वारा अभियानों में समूहीकृत पेलोड, ताकि एक वेबशेल और उसके संपादित रूपांतर असंबंधित हिट के बजाय एक अभियान के रूप में पढ़े जाएँ, प्रत्येक कैप्चर की गई फ़ाइल की अनुक्रमणिका के साथ।

• IP अंतर्दृष्टि: चयनित IP का गहन फोरेंसिक दृश्य: भू-स्थान, ISP/ASN जानकारी, प्रतिष्ठा फ़्लैग, व्यवहार समयरेखा, हमला प्रकार वितरण, रेफरर इतिहास, कैप्चर की गई फ़ाइलें और क्रेडेंशियल्स, और पूर्ण पहुँच इतिहास।

इसके अतिरिक्त, डैशबोर्ड पासवर्ड से प्रमाणित करने के बाद, संरक्षित टैब उपलब्ध हो जाते हैं:

• ट्रैक किए गए IP: उन IP पतों की वॉचलिस्ट बनाए रखें जिन्हें आप समय के साथ निगरानी करना चाहते हैं।
• IP बैनलिस्ट: IP बैन प्रबंधित करें, पता लगाए गए हमलावरों को देखें, और बैनलिस्ट को raw या IPTables प्रारूप में निर्यात करें।
• टाइम्ड आउट IP: वर्तमान में टारपिट में रखे गए IP की समीक्षा करें, और जो नहीं होने चाहिए उन्हें छूट दें।
• धोखा: AI जनित पेज प्रबंधित करें, उन्हें निर्यात करें या नए आयात करें।
• वेबहुक: CloudFlare और अन्य फ़ायरवॉल को बैन अग्रेषित करें।

हेडर आइकन API दस्तावेज़, बैनलिस्ट निर्यात, और एक सेटिंग्स पैनल खोलते हैं जो चल रहे कॉन्फ़िगरेशन और मांग पर निर्धारित कार्यों को चलाने के लिए एक रखरखाव पृष्ठ दिखाता है।

अधिक जानकारी के लिए, डैशबोर्ड दस्तावेज़ीकरण देखें।

परिनियोजन मोड

Krawl दो परिनियोजन मोड का समर्थन करता है, जो config.yaml में mode सेटिंग या KRAWL_MODE पर्यावरण चर द्वारा नियंत्रित होते हैं।

	Standalone	Scalable
डेटाबेस	SQLite (WAL मोड)	PostgreSQL
कैश	इन-मेमोरी Python dict	Redis (मल्टी-टियर TTL)
रेप्लिका	1 (एकल इंस्टेंस)	1+ (क्षैतिज स्केलिंग)
बाहरी निर्भरताएँ	कोई नहीं	PostgreSQL + Redis
इसके लिए सर्वोत्तम	डेव, होमलैब्स, <500k अनुरोध	उत्पादन, HA, >500k अनुरोध

Standalone: कम अनुरोध संख्या वाले विकास वातावरण या होमलैब्स के लिए आदर्श। शून्य अतिरिक्त कॉन्फ़िगरेशन की आवश्यकता, बस Krawl चलाएँ और यह काम करता है।

• बिना किसी बाहरी निर्भरता के एकल कंटेनर परिनियोजन
• कम RAM और संसाधन उपयोग

Scalable: उत्पादन वातावरण या उच्च-ट्रैफ़िक हनीपॉट के लिए डिज़ाइन किया गया। Helm चार्ट डिफ़ॉल्ट रूप से इस मोड पर सेट होता है।

• Redis मल्टी-टियर कैशिंग के कारण तेज़, अधिक उत्तरदायी डैशबोर्ड
• PostgreSQL के सामने हॉट-पाथ कैश के रूप में कार्य करने वाले Redis के साथ कम डिस्क I/O
• क्षैतिज स्केलिंग लोड बैलेंसर के पीछे Krawl रेप्लिकाओं की संख्या बढ़ाती है