إطار عمل AIL

إطار عمل مفتوح المصدر لجمع وزحف ومعالجة وتحليل المعلومات غير المهيكلة.

إطار عمل AIL هو منصة مفتوحة المصدر لجمع وزحف ومعالجة وتحليل البيانات غير المهيكلة من الويب العادي، وتور، وI2P، والدردشات، والملفات، والتغذيات الخارجية.

تم تطويره في البداية في CIRCL، يساعد AIL المحللين على تحويل المحتوى الخام والفوضوي إلى معلومات استخباراتية مهيكلة من خلال الاستخراج والوسم والكشف والربط وتحقيق سير العمل.

ما هو AIL؟ https://ail-project.org

AIL (تحليل تسريبات المعلومات) هو إطار عمل مفتوح المصدر لجمع وزحف ومعالجة وتحليل المعلومات غير المهيكلة. يدعم استخبارات التهديدات، وتحليل التسريبات، وسير العمل التحقيقي من خلال مساعدة المحللين على استخراج واكتشاف وربط ومشاركة المعلومات ذات الصلة من مجموعة واسعة من المصادر.

يشمل AIL:

• إطار عمل قابل للتوسع قائم على Python لمعالجة وتحليل المعلومات غير المهيكلة،
• مدير زاحف للجمع المستمر والمصادق عليه،
• مغذيات لمنصات الاتصال والتيارات الخارجية،
• محرك كشف وصيد بأثر رجعي يعتمد على الكلمات الرئيسية والتعبيرات المنتظمة وYARA،
• قدرات بحث وربط وتحقيق للتنقل عبر البيانات المستخرجة،
• وميزات تصدير/تكامل لمنصات مثل MISP.

دورة حياة استخبارات AIL

يتبع AIL سير عمل استخباراتي عملي:

1. الجمع إدخال مستمر من الدردشات والمواقع الإلكترونية والخدمات المخفية والملفات والتغذيات.
2. المعالجة الاستخراج، وفك التشفير، والتعرف الضوئي على الحروف (OCR)، وتحليل رموز QR/الباركود، والإثراء والوسم.
3. الكشف التتبع في الوقت الفعلي باستخدام الكلمات والمجموعات والتعبيرات المنتظمة واكتشاف التشابه الإملائي وقواعد YARA.
4. التحليل البحث والتنقل ورسوم الربط والتحقيقات.
5. النشر تصدير النتائج والكائنات إلى منصات مشاركة استخبارات MISP.

ما الجديد في AIL v6.7

AIL الآن في v6.7 وقد وسعت الإصدارات الأخيرة بشكل كبير قدرات البحث وتحليل الصور والزحف ومعالجة المستندات.

تشمل أبرز الميزات:

• واجهة بحث موحدة مع ترتيب حسب أفضل تطابق والأحدث
• تصفية حسب النطاق الزمني وتحسين سير العمل المتقدم للبحث
• أوصاف الصور ولقطات الشاشة لتحليل بصري أسرع وإمكانية البحث
• استخراج OCR و QR موسع، بما في ذلك دعم حالات الصور الأكثر صعوبة
• خط أنابيب معالجة PDF كامل، بما في ذلك استخراج البيانات الوصفية ودعم الترجمة
• دعم الزحف إلى I2P بالإضافة إلى جمع الويب العادي وتور
• ربط SSH السلبي لتحليل البنية التحتية وسير عمل إزالة الإخفاء
• استكشاف دردشة محسّن لمنصات مثل Discord وTelegram وMatrix

الميزات

الجمع

• بنية معيارية للتعامل مع تيارات المعلومات غير المهيكلة
• دعم مغذيات ومستوردات متعددة
• مغذيات لمصادر الدردشة والبث مثل Discord وTelegram ومزودين آخرين
• دعم الزحف إلى الويب العادي والشبكة المظلمة، خدمات تور المخفية (.onion)، وI2P
• زحف مصادق عليه مع جلسات المتصفح وملفات تعريف الارتباط وإعادة استخدام التخزين المحلي
• مراقبة مستمرة أو حسب الطلب للمواقع الإلكترونية والخدمات المخفية بمرور الوقت
• قدرات إرسال/استيراد من واجهة المستخدم

المعالجة والإثراء

• فهرسة النص الكامل للمعلومات غير المهيكلة (الدردشات، المحتويات المزحوفة)
• استخراج عناوين URL، وأسماء المضيفين، وعناوين البريد الإلكتروني، وبيانات الاعتماد
• كشف أرقام الهواتف، ومفاتيح API، وIBAN، والشهادات، والمفاتيح الخاصة
• كشف عناوين Bitcoin والمفاتيح الخاصة والقطع الأثرية ذات الصلة بالعملات الرقمية
• استخراج الملفات وفك التشفير من المحتوى المشفر (Base64، hex)
• معالجة OCR للقطات الشاشة والصور
• استخراج رموز QR والباركود مع إعادة معالجة المحتوى المضمن
• أوصاف بمساعدة الذكاء الاصطناعي للصور ولقطات الشاشة والمجالات
• استخراج البيانات الوصفية لـ PDF والإدخال والترجمة
• نظام الوسم باستخدام MISP Galaxy وMISP Taxonomies

الكشف والتتبع

المتتبعات هي قواعد أو أنماط يحددها المستخدم تكتشف تلقائياً وتوسم وتُبلغ المحللين عن المعلومات ذات الصلة التي تم جمعها بواسطة AIL.

أنواع المتتبعات المدعومة:

• تتبع الكلمات
• تتبع مجموعات الكلمات
• تتبع التعبيرات المنتظمة
• قواعد YARA
• كشف التشابه الإملائي

تشمل قدرات الكشف:

• الوسم والتصنيف في الوقت الفعلي
• تتبع حدوث الكائنات
• سير عمل الإشعارات عبر webhook أو البريد الإلكتروني
• محرر YARA مدمج

يدعم AIL أيضاً عمليات الصيد بأثر رجعي (Retro Hunts)، مما يسمح للمحللين بتشغيل قواعد YARA المنشأة حديثاً ضد البيانات التاريخية للكشف عن المحتوى الذي فاتهم سابقاً.

البحث والربط والتحقيق

• واجهة بحث موحدة مع ترتيب حسب الأحدث والأكثر صلة
• بحث حسب النطاق الزمني وبحث متقدم متخصص لأنواع بيانات محددة
• بحث عبر الدردشات، والمجالات المزحوفة، والعناوين، وأسماء الملفات، والأوصاف المولدة بالذكاء الاصطناعي
• محرك الربط وتصور الرسوم البيانية للعلاقات بين:
  • الملفات المفكوكة والتجزئات
  • بيانات PGP الوصفية
  • المجالات، والعناوين، وتجزئة المجال، والأيقونات المفضلة، وأسماء ملفات تعريف الارتباط
  • أسماء المستخدمين وحسابات المستخدمين
  • CVEs
  • مفاتيح SSH
  • العملات الرقمية
  • بيانات PDF الوصفية
  • ...
• سير عمل التحقيق لتجميع وإثراء ومتابعة نتائج المحللين

التصدير والتكاملات

• التنبيه والمشاركة إلى MISP
• تصدير كائنات AIL والتحقيقات إلى صيغ MISP
• تصدير تلقائي عند اكتشافات ووسوم محددة
• تكاملات تدعم الاستخبارات التعاونية وسير عمل الاستجابة للحوادث

لماذا AIL؟

AIL مبني للمحللين الذين يحتاجون للعمل مع بيانات فوضوية من العالم الحقيقي:

• نص حر،
• لقطات شاشة،
• ملفات PDF وملفات،
• رسائل دردشة،
• حمولات مشفرة،
• محتوى تم جمعه من الويب وتور ومصادر I2P.

بدلاً من معالجة هذه المصادر بشكل منفصل، يساعد AIL في تحويلها إلى استخبارات قابلة للبحث والربط والتنفيذ.

لقطات الشاشة

المواقع الإلكترونية والمنتديات والخدمات المخفية