إطار عمل AIL

إطار عمل مفتوح المصدر لجمع وزحف ومعالجة وتحليل المعلومات غير المهيكلة.

إطار عمل AIL هو منصة مفتوحة المصدر لجمع وزحف ومعالجة وتحليل البيانات غير المهيكلة من الويب العادي، وتور، وI2P، والدردشات، والملفات، والتغذيات الخارجية.

تم تطويره في البداية في CIRCL، يساعد AIL المحللين على تحويل المحتوى الخام والفوضوي إلى معلومات استخباراتية مهيكلة من خلال الاستخراج والوسم والكشف والربط وتحقيق سير العمل.

ما هو AIL؟ https://ail-project.org

AIL (تحليل تسريبات المعلومات) هو إطار عمل مفتوح المصدر لجمع وزحف ومعالجة وتحليل المعلومات غير المهيكلة. يدعم استخبارات التهديدات، وتحليل التسريبات، وسير العمل التحقيقي من خلال مساعدة المحللين على استخراج واكتشاف وربط ومشاركة المعلومات ذات الصلة من مجموعة واسعة من المصادر.

يشمل AIL:

• إطار عمل قابل للتوسع قائم على Python لمعالجة وتحليل المعلومات غير المهيكلة،
• مدير زاحف للجمع المستمر والمصادق عليه،
• مغذيات لمنصات الاتصال والتيارات الخارجية،
• محرك كشف وصيد بأثر رجعي يعتمد على الكلمات الرئيسية والتعبيرات المنتظمة وYARA،
• قدرات بحث وربط وتحقيق للتنقل عبر البيانات المستخرجة،
• وميزات تصدير/تكامل لمنصات مثل MISP.

دورة حياة استخبارات AIL

يتبع AIL سير عمل استخباراتي عملي:

1. الجمع إدخال مستمر من الدردشات والمواقع الإلكترونية والخدمات المخفية والملفات والتغذيات.
2. المعالجة الاستخراج، وفك التشفير، والتعرف الضوئي على الحروف (OCR)، وتحليل رموز QR/الباركود، والإثراء والوسم.
3. الكشف التتبع في الوقت الفعلي باستخدام الكلمات والمجموعات والتعبيرات المنتظمة واكتشاف التشابه الإملائي وقواعد YARA.
4. التحليل البحث والتنقل ورسوم الربط والتحقيقات.
5. النشر تصدير النتائج والكائنات إلى منصات مشاركة استخبارات MISP.

ما الجديد في AIL v6.7

AIL الآن في v6.7 وقد وسعت الإصدارات الأخيرة بشكل كبير قدرات البحث وتحليل الصور والزحف ومعالجة المستندات.

تشمل أبرز الميزات:

• واجهة بحث موحدة مع ترتيب حسب أفضل تطابق والأحدث
• تصفية حسب النطاق الزمني وتحسين سير العمل المتقدم للبحث
• أوصاف الصور ولقطات الشاشة لتحليل بصري أسرع وإمكانية البحث
• استخراج OCR و QR موسع، بما في ذلك دعم حالات الصور الأكثر صعوبة
• خط أنابيب معالجة PDF كامل، بما في ذلك استخراج البيانات الوصفية ودعم الترجمة
• دعم الزحف إلى I2P بالإضافة إلى جمع الويب العادي وتور
• ربط SSH السلبي لتحليل البنية التحتية وسير عمل إزالة الإخفاء
• استكشاف دردشة محسّن لمنصات مثل Discord وTelegram وMatrix

الميزات

الجمع

• بنية معيارية للتعامل مع تيارات المعلومات غير المهيكلة
• دعم مغذيات ومستوردات متعددة
• مغذيات لمصادر الدردشة والبث مثل Discord وTelegram ومزودين آخرين
• دعم الزحف إلى الويب العادي والشبكة المظلمة، خدمات تور المخفية (.onion)، وI2P
• زحف مصادق عليه مع جلسات المتصفح وملفات تعريف الارتباط وإعادة استخدام التخزين المحلي
• مراقبة مستمرة أو حسب الطلب للمواقع الإلكترونية والخدمات المخفية بمرور الوقت
• قدرات إرسال/استيراد من واجهة المستخدم

المعالجة والإثراء

• فهرسة النص الكامل للمعلومات غير المهيكلة (الدردشات، المحتويات المزحوفة)
• استخراج عناوين URL، وأسماء المضيفين، وعناوين البريد الإلكتروني، وبيانات الاعتماد
• كشف أرقام الهواتف، ومفاتيح API، وIBAN، والشهادات، والمفاتيح الخاصة
• كشف عناوين Bitcoin والمفاتيح الخاصة والقطع الأثرية ذات الصلة بالعملات الرقمية
• استخراج الملفات وفك التشفير من المحتوى المشفر (Base64، hex)
• معالجة OCR للقطات الشاشة والصور
• استخراج رموز QR والباركود مع إعادة معالجة المحتوى المضمن
• أوصاف بمساعدة الذكاء الاصطناعي للصور ولقطات الشاشة والمجالات
• استخراج البيانات الوصفية لـ PDF والإدخال والترجمة
• نظام الوسم باستخدام MISP Galaxy وMISP Taxonomies

الكشف والتتبع

المتتبعات هي قواعد أو أنماط يحددها المستخدم تكتشف تلقائياً وتوسم وتُبلغ المحللين عن المعلومات ذات الصلة التي تم جمعها بواسطة AIL.

أنواع المتتبعات المدعومة:

• تتبع الكلمات
• تتبع مجموعات الكلمات
• تتبع التعبيرات المنتظمة
• قواعد YARA
• كشف التشابه الإملائي

تشمل قدرات الكشف:

• الوسم والتصنيف في الوقت الفعلي
• تتبع حدوث الكائنات
• سير عمل الإشعارات عبر webhook أو البريد الإلكتروني
• محرر YARA مدمج

يدعم AIL أيضاً عمليات الصيد بأثر رجعي (Retro Hunts)، مما يسمح للمحللين بتشغيل قواعد YARA المنشأة حديثاً ضد البيانات التاريخية للكشف عن المحتوى الذي فاتهم سابقاً.

البحث والربط والتحقيق

• واجهة بحث موحدة مع ترتيب حسب الأحدث والأكثر صلة
• بحث حسب النطاق الزمني وبحث متقدم متخصص لأنواع بيانات محددة
• بحث عبر الدردشات، والمجالات المزحوفة، والعناوين، وأسماء الملفات، والأوصاف المولدة بالذكاء الاصطناعي
• محرك الربط وتصور الرسوم البيانية للعلاقات بين:
  • الملفات المفكوكة والتجزئات
  • بيانات PGP الوصفية
  • المجالات، والعناوين، وتجزئة المجال، والأيقونات المفضلة، وأسماء ملفات تعريف الارتباط
  • أسماء المستخدمين وحسابات المستخدمين
  • CVEs
  • مفاتيح SSH
  • العملات الرقمية
  • بيانات PDF الوصفية
  • ...
• سير عمل التحقيق لتجميع وإثراء ومتابعة نتائج المحللين

التصدير والتكاملات

• التنبيه والمشاركة إلى MISP
• تصدير كائنات AIL والتحقيقات إلى صيغ MISP
• تصدير تلقائي عند اكتشافات ووسوم محددة
• تكاملات تدعم الاستخبارات التعاونية وسير عمل الاستجابة للحوادث

لماذا AIL؟

AIL مبني للمحللين الذين يحتاجون للعمل مع بيانات فوضوية من العالم الحقيقي:

• نص حر،
• لقطات شاشة،
• ملفات PDF وملفات،
• رسائل دردشة،
• حمولات مشفرة،
• محتوى تم جمعه من الويب وتور ومصادر I2P.

بدلاً من معالجة هذه المصادر بشكل منفصل، يساعد AIL في تحويلها إلى استخبارات قابلة للبحث والربط والتنفيذ.

لقطات الشاشة

المواقع الإلكترونية والمنتديات والخدمات المخفية

زحف محمي بتسجيل الدخول باستخدام ملفات تعريف الارتباط للجلسة المسجلة مسبقاً

الملفات المستخرجة والمفكوكة

محرك الربط

التحقيق

نظام الوسم

تصدير MISP

الأحداث والتنبيهات التلقائية

الإرسال من واجهة المستخدم

التثبيت

لتثبيت إطار عمل AIL:

# استنساخ المستودع
git clone https://github.com/ail-project/ail-framework.git
cd ail-framework
git submodule update --init --recursive

# تثبيت التبعيات على توزيعات Debian/Ubuntu
./installing_deps.sh

# بدء AIL
cd bin
./LAUNCH.sh -l

البرنامج النصي الافتراضي installing_deps.sh يستهدف توزيعات Debian و Ubuntu.

المتطلبات

• Python 3.8+

كيفية تقدير متطلبات الأجهزة لـ AIL؟

ملاحظات التثبيت

تتطلب بعض المكونات الاختيارية تكويناً إضافياً، بما في ذلك زاحف Lacus، ومفهرس بحث Meilisearch، والترجمة. راجع HOWTO للحصول على تعليمات الإعداد التفصيلية.

بدء AIL

cd bin
./LAUNCH.sh -l

واجهة الويب متاحة على:

https://localhost:7000/

يتم تخزين بيانات الاعتماد الافتراضية في ملف DEFAULT_PASSWORD ويتم إزالة الملف بمجرد تغيير كلمة المرور.

التوثيق

• التوثيق الرئيسي: doc/README.md
• توثيق API: doc/api.md
• أدلة HOWTO: HOWTO.md

التدريب

مواد تدريبية حول كيفية استخدام وتوسيع إطار عمل AIL متاحة على ail-project/ail-training.

الخصوصية واللائحة العامة لحماية البيانات (GDPR)

للحصول على معلومات حول اعتبارات الخصوصية واللائحة العامة لحماية البيانات، راجع الوثيقة تحليل تسريبات معلومات AIL واللائحة العامة لحماية البيانات في سياق جمع وتحليل ومشاركة تسريبات المعلومات.

تقدم هذه الوثيقة إرشادات حول استخدام AIL في سياق قانوني، خاصة ضمن نطاق اللائحة العامة لحماية البيانات.

الأبحاث باستخدام AIL

إذا كنت تستخدم أو تشير إلى AIL في عمل أكاديمي، يمكنك الاستشهاد به على النحو التالي:

@inproceedings{mokaddem2018ail,
  title={AIL-The design and implementation of an Analysis Information Leak framework},
  author={Mokaddem, Sami and Wagener, G{\'e}rard and Dulaunoy, Alexandre},
  booktitle={2018 IEEE International Conference on Big Data (Big Data)},
  pages={5049--5057},
  year={2018},
  organization={IEEE}
}

التمويل 🇪🇺

يتم تطوير وصيانة AIL بدعم من الاتحاد الأوروبي كجزء من المشروع الأوروبي HOPLITE وجزء من المشروع الأوروبي AIPITCH.

إخلاء المسؤولية

ممول من الاتحاد الأوروبي. الآراء ووجهات النظر المعبر عنها هي فقط آراء المؤلف (المؤلفين) ولا تعكس بالضرورة آراء الاتحاد الأوروبي أو مركز الكفاءة الأوروبي للأمن السيبراني. لا يمكن تحميل الاتحاد الأوروبي أو سلطة المنح المسؤولية عنها.

الترخيص

Copyright (C) 2014 Jules Debra
Copyright (c) 2021 Olivier Sagit
Copyright (C) 2014-2026 CIRCL - Computer Incident Response Center Luxembourg
Copyright (c) 2014-2024 Raphaël Vinot
Copyright (c) 2014-2026 Alexandre Dulaunoy
Copyright (c) 2016-2024 Sami Mokaddem
Copyright (c) 2018-2026 Thirion Aurélien

هذا البرنامج هو برنامج حر: يمكنك إعادة توزيعه و/أو تعديله
بموجب شروط رخصة GNU Affero العامة كما نشرتها
مؤسسة البرمجيات الحرة، إما الإصدار 3 من الرخصة، أو
(حسب اختيارك) أي إصدار لاحق.

يتم توزيع هذا البرنامج على أمل أن يكون مفيداً،
ولكن دون أي ضمان؛ حتى بدون الضمان الضمني
للقابلية للتسويق أو الملاءمة لغرض معين. راجع
رخصة GNU Affero العامة لمزيد من التفاصيل.

يجب أن تكون قد تلقيت نسخة من رخصة GNU Affero العامة
مع هذا البرنامج. إذا لم يكن الأمر كذلك، فراجع <http://www.gnu.org/licenses/>.