أدوات أمن MSTIC لـ Jupyter و Python

أدوات أمن استخبارات التهديدات من مايكروسوفت لـ Python.

msticpy هي مكتبة للتحقيق في مجال أمن المعلومات والصيد في دفاتر Jupyter. تتضمن وظائف لـ:

الاستعلام عن بيانات السجلات من مصادر متعددة
إثراء البيانات باستخبارات التهديدات والمواقع الجغرافية وبيانات موارد Azure
استخراج مؤشرات النشاط (IoA) من السجلات وفك تشفير البيانات المشفرة
إجراء تحليلات متطورة مثل اكتشاف الجلسات الشاذة وتحليل السلاسل الزمنية
تصور البيانات باستخدام الجداول الزمنية التفاعلية وأشجار العمليات ومخططات Morph متعددة الأبعاد

كما يتضمن أدوات دفاتر موفرة للوقت مثل عناصر واجهة لتحديد حدود وقت الاستعلام، واختيار وعرض العناصر من القوائم، وتكوين بيئة الدفتر.

Timeline

تم تطوير حزمة msticpy في البداية لدعم إنشاء دفاتر Jupyter لـ Microsoft Sentinel. على الرغم من أن Azure Sentinel لا يزال محورًا كبيرًا لعملنا، إلا أننا نقوم بتوسيع مكونات الاستعلام/الحصول على البيانات لسحب بيانات السجلات من مصادر أخرى (حاليًا يتم دعم Splunk و Microsoft Defender for Endpoint و Microsoft Graph، ولكننا نعمل بنشاط على دعم البيانات من منصات SIEM أخرى). يمكن استخدام معظم المكونات أيضًا مع بيانات من أي مصدر. تُستخدم إطارات بيانات Pandas كتنسيق إدخال وإخراج عالمي لجميع المكونات تقريبًا. يوجد أيضًا موفر بيانات لتسهيل معالجة البيانات من ملفات CSV المحلية وإطارات بيانات المخللات (pickled).

تتناول الحزمة ثلاثة احتياجات مركزية للمحققين والصيادين في مجال الأمن:

الحصول على البيانات وإثرائها
تحليل البيانات
تصور البيانات

نرحب بالملاحظات وتقارير الأخطاء والاقتراحات للميزات الجديدة والمساهمات.

التثبيت

للتثبيت الأساسي:

pip install msticpy

أو لأحدث إصدار تطويري:

pip install git+https://github.com/microsoft/msticpy

الترقية

لترقية msticpy إلى أحدث إصدار عام غير تجريبي، قم بتشغيل:

pip install --upgrade msticpy

ملاحظة: من الجيد نسخ ملف msticpyconfig.yaml وتخزينه على القرص الخاص بك ولكن خارج مجلد msticpy، مع الإشارة إليه في متغير بيئة. هذا يمنع فقدان إعداداتك في كل مرة تقوم فيها بتحديث تثبيت msticpy.

التوثيق

التوثيق الكامل على ReadTheDocs

دفاتر العينات للعديد من الوحدات موجودة في مجلد docs/notebooks والدفاتر المصاحبة.

يمكنك أيضًا تصفح دفاتر العينات المشار إليها في نهاية هذا المستند لرؤية بعض الوظائف المستخدمة في السياق. يمكنك تجربة بعض وظائف الحزمة في هذا العرض التفاعلي على mybinder.org.

الحصول على بيانات السجلات

QueryProvider هي مكتبة استعلامات قابلة للتوسع تستهدف Microsoft Sentinel/Log Analytics، Microsoft XDR، Splunk، OData ومصادر بيانات السجلات الأخرى. كما أنها تدعم بشكل خاص مجموعات بيانات Mordor واستخدام البيانات المحلية.

تتيح الاستعلامات المضمنة ذات المعلمات تشغيل استعلامات معقدة من استدعاء دالة واحدة. أضف استعلاماتك الخاصة باستخدام مخطط YAML بسيط.

دفتر استعلامات البيانات

إثراء البيانات

موفرو استخبارات التهديدات

يمكن لفئة TILookup البحث عن مؤشرات الاختراق (IoCs) عبر عدة موفري TI. يشمل الموفّرون المدمجون AlienVault OTX و IBM XForce و VirusTotal و Azure Sentinel.

يمكن أن يكون الإدخال مؤشر اختراق واحد (IoC observable) أو إطار بيانات pandas يحتوي على عدة مؤشرات. اعتمادًا على الموفّر، قد تحتاج إلى حساب ومفتاح API. يفرض بعض الموفّرين أيضًا تقييدًا (خاصة للطبقات المجانية)، مما قد يؤثر على أداء عمليات البحث الجماعية.

موفرو TI و دفتر استخدام TILookup

بيانات الموقع الجغرافي

تتيح لك فئات البحث GeoIP مطابقة المواقع الجغرافية لعناوين IP باستخدام إما:

GeoLiteLookup - Maxmind Geolite (انظر https://www.maxmind.com)
IPStackLookup - IPStack (انظر https://ipstack.com)

Folium map

بحث GeoIP و دفتر GeoIP

بيانات موارد Azure والتخزين وواجهة برمجة تطبيقات Azure Sentinel

يحتوي وحدة AzureData على وظائف لإثراء البيانات المتعلقة بتفاصيل مضيف Azure بتفاصيل مضيف إضافية مكشوفة عبر واجهة برمجة تطبيقات Azure. تتيح لك وحدة AzureSentinel الاستعلام عن الحوادث واسترداد استعلامات الكشف والصيد. يتيح لك AzureBlogStorage قراءة وكتابة البيانات من تخزين الكائنات الثنائية (blob storage).

واجهات برمجة تطبيقات موارد Azure، واجهات برمجة تطبيقات Azure Sentinel، تخزين Azure

تحليل الأمن

تحتوي هذه الحزمة الفرعية على عدة وحدات مفيدة للعمل في التحقيقات الأمنية والصيد:

اكتشاف التسلسل الشاذ

اكتشف التسلسلات غير العادية للأحداث في بيانات Office أو Active Directory أو أي بيانات سجلات أخرى. يمكنك استخراج الجلسات (مثل النشاط الذي بدأه نفس الحساب) وتحديد وتصور التسلسلات غير العادية للنشاط. على سبيل المثال، اكتشاف مهاجم يقوم بتعيين قاعدة إعادة توجيه البريد على صندوق بريد شخص ما.

الجلسات الشاذة و دفتر التسلسل الشاذ

تحليل السلاسل الزمنية

يتيح لك تحليل السلاسل الزمنية تحديد الأنماط غير العادية في بيانات السجلات الخاصة بك مع مراعاة التغيرات الموسمية العادية (مثل المد والجزر المنتظم للأحداث على مدار ساعات اليوم، أيام الأسبوع، إلخ). باستخدام كل من التحليل والتصور، يتم إبراز تدفقات حركة المرور غير العادية أو نشاط الأحداث لأي مجموعة بيانات.

Time Series anomalies

السلاسل الزمنية

التصور

الجداول الزمنية للأحداث

اعرض أي أحداث سجلات على جدول زمني تفاعلي. باستخدام مكتبة تصور Bokeh يتيح لك عنصر التحكم في الجدول الزمني تصور تيار واحد أو أكثر من الأحداث، والتكبير/التصغير بشكل تفاعلي في فترات زمنية محددة وعرض تفاصيل الأحداث للأحداث المرسومة.