Krawl

جدول المحتويات

• العرض التوضيحي
• ما هو Krawl؟
• لوحة تحكم Krawl
• أوضاع النشر
• قائمة حظر Krawl
• البدء السريع
  • Docker Run
  • Docker Compose
  • Kubernetes
  • Uvicorn (Python)
• الإعدادات
  • config.yaml
  • متغيرات البيئة
• حظر عناوين IP الخبيثة
• سمعة عنوان IP
• التشغيل خلف وكيل عكسي أو شبكة CDN
• المقاييس والمراقبة
• وثائق إضافية
• الخداع باستخدام الذكاء الاصطناعي
• المساهمة

العرض التوضيحي

نصيحة: قم بزحف مسارات robots.txt لمزيد من المتعة

رابط Krawl: http://demo.krawlme.com

عرض لوحة التحكم http://demo.krawlme.com/das_dashboard

ما هو Krawl؟

Krawl هو خادم خداع سحابي أصلي مصمم لاكتشاف المهاجمين الخبيثين وعناكب الويب والماسحات الضوئية الآلية وإبطائها وتحليلها.

يقوم بإنشاء تطبيقات ويب مزيفة واقعية مليئة بالثغرات السهلة مثل لوحات الإدارة وملفات الإعدادات وبيانات الاعتماد المزيفة المكشوفة لجذب النشاط المشبوه وتحديده.

من خلال إهدار موارد المهاجم، يساعد Krawl في التمييز بوضوح بين السلوك الخبيث وعناكب الويب الشرعية.

يتميز بـ:

• صفحات خداع مُولّدة بالذكاء الاصطناعي: دع المهاجمين يساعدون في توليد سطح هجوم مزيف قابل للاستغلال
• صفحات فخ العنكبوت: روابط عشوائية لا نهائية لإهدار موارد الزاحف بناءً على مشروع spidertrap
• صفحات تسجيل دخول مزيفة: WordPress، phpMyAdmin، لوحات الإدارة
• مسارات المصيدة: يتم الإعلان عنها في robots.txt لالتقاط الماسحات الضوئية
• بيانات اعتماد مزيفة: أسماء مستخدمين وكلمات مرور ومفاتيح API تبدو واقعية
• دمج رمز الكناري: تفعيل التنبيهات الخارجية
• ترويسات خادم عشوائية: إرباك الهجمات بناءً على ترويسة الخادم وإصداره
• لوحة تحكم في الوقت الفعلي: مراقبة النشاط المشبوه
• قوائم كلمات قابلة للتخصيص: إعدادات سهلة قائمة على JSON
• حقن أخطاء عشوائي: محاكاة سلوك الخادم الحقيقي

يمكنك بسهولة كشف Krawl إلى جانب خدماتك الأخرى لحمايتها من عناكب الويب والمستخدمين الخبيثين باستخدام وكيل عكسي. لمزيد من التفاصيل، راجع وثائق الوكيل العكسي.

لوحة تحكم Krawl

يوفر Krawl لوحة تحكم شاملة، يمكن الوصول إليها عبر مسار سري عشوائي يتم إنشاؤه عند بدء التشغيل أو عبر مسار مخصص يتم تكوينه عبر KRAWL_DASHBOARD_SECRET_PATH. هذا يُبقي لوحة التحكم مخفية عن المهاجمين الذين يفحصون مصيدتك.

تنقسم لوحة التحكم إلى ستة تبويبات:

• نظرة عامة: عرض عالي المستوى لنشاط الهجوم: خريطة تفاعلية لأصول عناوين IP، والطلبات المشبوهة الأخيرة، وأهم عناوين IP ووكلاء المستخدم والمسارات.

• الهجمات: تفصيل دقيق لبيانات الاعتماد الملتقطة ومحفزات المصيدة وأنواع الهجمات المكتشفة (SQLi، XSS، اجتياز المسار، إلخ) مع رسوم بيانية وجداول.

• التهديدات: الحمولات مجمعة في حملات حسب تجزئة TLSH الضبابية، بحيث يُقرأ webshell ونسخه المعدلة كحملة واحدة بدلاً من إصابات غير مترابطة، مع فهرس لكل ملف تم التقاطه.

• رؤية IP: عرض جنائي متعمق لعنوان IP محدد: الموقع الجغرافي، معلومات ISP/ASN، علامات السمعة، الجدول الزمني السلوكي، توزيع أنواع الهجمات، سجل المُحيل، الملفات وبيانات الاعتماد الملتقطة، وسجل الوصول الكامل.

بالإضافة إلى ذلك، بعد المصادقة بكلمة مرور لوحة التحكم، تصبح التبويبات المحمية متاحة:

• عناوين IP المتتبعة: الاحتفاظ بقائمة مراقبة لعناوين IP التي تريد مراقبتها بمرور الوقت.
• قائمة حظر IP: إدارة حظر عناوين IP، وعرض المهاجمين المكتشفين، وتصدير قائمة الحظر بصيغة خام أو IPTables.
• عناوين IP المنتهية مهلتها: مراجعة عناوين IP المحتجزة حالياً في المصيدة، وإعفاء أي منها لا ينبغي احتجازه.
• الخداع: إدارة الصفحات المُولّدة بالذكاء الاصطناعي، وتصديرها أو استيراد صفحات جديدة.
• Webhooks: تمرير عمليات الحظر إلى CloudFlare وجدران الحماية الأخرى.

تفتح أيقونات الترويسة وثائق API، وتصدير قائمة الحظر، ولوحة إعدادات تعرض التكوين الجاري وصفحة صيانة لتشغيل المهام المجدولة عند الطلب.

لمزيد من التفاصيل، راجع وثائق لوحة التحكم.

أوضاع النشر

يدعم Krawl وضعي نشر، يتم التحكم فيهما عبر إعداد mode في config.yaml أو متغير البيئة KRAWL_MODE.

	مستقل	قابل للتوسع
قاعدة البيانات	SQLite (وضع WAL)	PostgreSQL
التخزين المؤقت	قاموس Python في الذاكرة	Redis (TTL متعدد المستويات)
النسخ المتماثلة	1 (مثيل واحد)	1+ (توسع أفقي)
الاعتماديات الخارجية	لا شيء	PostgreSQL + Redis
الأفضل لـ	التطوير، المختبرات المنزلية، أقل من 500 ألف طلب	الإنتاج، التوافر العالي، أكثر من 500 ألف طلب

مستقل: مثالي لبيئات التطوير أو المختبرات المنزلية ذات أعداد الطلبات المنخفضة. لا حاجة لتكوين إضافي، فقط شغّل Krawl وسيعمل.

• نشر بحاوية واحدة بدون اعتماديات خارجية
• استخدام أقل للذاكرة والموارد

قابل للتوسع: مصمم لبيئات الإنتاج أو المصائد ذات الحركة العالية. مخطط Helm يستخدم هذا الوضع افتراضياً.

• لوحة تحكم أسرع وأكثر استجابة بفضل التخزين المؤقت متعدد المستويات في Redis
• إدخال/إخراج قرص أقل مع عمل Redis كذاكرة تخزين مؤقت للمسار الساخن أمام PostgreSQL
• التوسع الأفقي يزيد عدد نسخ Krawl خلف موازن التحميل

للحصول على التكوين التفصيلي، وأمثلة Docker Compose، وإعداد Kubernetes/Helm، وتعليمات الترحيل خطوة بخطوة، راجع وثائق أوضاع النشر.

قائمة حظر Krawl

يحتفظ Krawl بـ banlist.txt محدّثة بانتظام لعناوين IP من المهاجمين الذين فعّلوا مصائد honeypot الخاصة به. تُنشر قائمة الحظر أسبوعياً ومتاحة للتنزيل، مما يساعد المجتمع على حظر الجهات الخبيثة المعروفة استباقياً حتى بدون استخدام Krawl.