EXIST (نظام تجميع المعلومات الخارجية ضد التهديدات السيبرانية)

⚠️ هذا المستودع غير مُدار / مؤرشَف. لن يتم إصلاح المشكلات الأمنية.

EXIST هو تطبيق ويب لتجميع وتحليل CTI (استخبارات التهديدات السيبرانية).

EXIST كُتب باستخدام البرامج التالية.

• Python 3
• Django 1.11

المفهوم

EXIST هو تطبيق ويب لتجميع CTI لمساعدة مشغلي الأمن في التحقيق في الحوادث بناءً على المؤشرات ذات الصلة.

EXIST يجلب البيانات تلقائيًا من عدة خدمات CTI وتويتر عبر واجهات برمجة التطبيقات (APIs) والتغذيات. يمكنك البحث عن المؤشرات بشكل متعابر عبر واجهة الويب وواجهة API.

إذا كان لديك خوادم تسجل سلوكيات الشبكة للعملاء (مثل سجلات DNS وخوادم وكيل HTTP)، فستتمكن من تحليل السجلات من خلال الربط مع البيانات الموجودة في EXIST. إذا قمت بتنفيذ بعض البرامج باستخدام API، فستحقق مركز عمليات أمنية مدفوعًا بـ CTI تلقائيًا.

حالات الاستخدام

الحالة 1: التحقيق في نطاق تم اكتشافه بواسطة IDS

ما عليك سوى كتابة النطاق في نموذج البحث.

الحالة 2: الوصول إلى عنوان URL الضار نيابة عن المستخدم والحصول على صورة العرض للمتصفح والمحتوى الذي سيتم تنزيله

ما عليك سوى كتابة عنوان URL في نموذج البحث.

الحالة 3: مراقبة التهديدات السيبرانية

ما عليك سوى إضافة كلمات مفتاحية في Threat Hunter أو Twitter Hunter.

الميزات

المتتبع

المتتبع يجمع تلقائيًا تغذيات البيانات من عدة خدمات CTI.

• Threat Tracker
• Reputation Tracker
• Twitter Tracker
• Exploit Tracker
• News Tracker
• Vuln Tracker

الصياد

الصياد يمكننا من تعيين استعلامات لجمع البيانات من عدة خدمات CTI وتويتر.

• Twitter Hunter
• Threat Hunter
• News Hunter

البحث

البحث يسترجع المعلومات المتعلقة بمعلومات محددة (مثل عنوان IP، نطاق) من عدة خدمات إنترنت (مثل whois).

• IP Address
• Domain
• URL
• File Hash

الأدوات

أداة لتعليق التغريدات من متتبع التويتر.

• أداة التعليق

واجهة برمجة التطبيقات (API) للويب

توفر البيانات المخزنة في قاعدة بيانات EXIST عبر واجهة برمجة تطبيقات الويب.

• reputation
• twitter
• exploit
• threatEvent
• threatAttribute
• news
• vuln

البدء

بعد ذلك أفترض بيئة CentOS 7 أو Ubuntu 18.04 LTS. يرجى توخي الحذر عند النشر في بيئة أخرى.

تثبيت وحدات Python

$ sudo pip install -r requirements.txt

تثبيت MariaDB

• CentOS 7

$ curl -sS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | sudo bash
$ sudo yum install MariaDB-server MariaDB-client

• Ubuntu 18.04 LTS

$ sudo apt install mariadb-server mariadb-client

تشغيل قاعدة البيانات

$ sudo systemctl start mariadb
$ sudo systemctl enable mariadb

إعداد قاعدة البيانات

• قم بإنشاء قاعدة بيانات ومستخدم.
• أنشئ ملف .env بالاستناد إلى .env.example. وقم بالتعديل وفقًا لإعدادات قاعدة البيانات الخاصة بك.

إنشاء مفتاح سري لـ Django

يجب كتابة المفتاح السري لـ Django في ملف .env.

أولاً، قم بتشغيل منشئ المفتاح:

$ python keygen.py
(example)> 70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@

واكتب المفتاح السري إلى ملف .env:

...
# EXIST Application Settings
EXIST_SECRET_KEY="70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@"
...

ترحيل قاعدة البيانات

$ python manage.py makemigrations exploit reputation threat threat_hunter twitter twitter_hunter news news_hunter vuln
$ python manage.py migrate

تثبيت خادم Redis

متتبع السمعة يستخدم Redis كخلفية لذاكرة التخزين المؤقت لـ Celery.

• CentOS 7

$ sudo yum install redis
$ sudo systemctl start redis
$ sudo systemctl enable redis

• Ubuntu 18.04 LTS

$ sudo apt install redis-server
$ sudo systemctl start redis-server
$ sudo systemctl enable redis-server

إعداد Celery

متتبع السمعة يستخدم Celery كقائمة انتظار مهام غير متزامنة.

• قم بإنشاء إعدادات Celery. أوصي بأن يتم تعيين الإعدادات على المسارات التالية:
  • CentOS 7: /etc/sysconfig/celery
  • Ubuntu 18.04 LTS: /etc/celery.conf

# Name of nodes to start
# here we have a single node
CELERYD_NODES="w1"
# or we could have three nodes:
#CELERYD_NODES="w1 w2 w3"

# Absolute or relative path to the 'celery' command:
CELERY_BIN="/path/to/your/celery"

# App instance to use
# comment out this line if you don't use an app
CELERY_APP="intelligence"
# or fully qualified:
#CELERY_APP="proj.tasks:app"

# How to call manage.py
CELERYD_MULTI="multi"

# Extra command-line arguments to the worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"

# - %n will be replaced with the first part of the nodename.
# - %I will be replaced with the current child process index
# and is important when using the prefork pool to avoid race conditions.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"

• قم بإنشاء سكريبت إدارة خدمة Celery على /etc/systemd/system/celery.service. أيضًا، يجب عليك تعيين مسار إعدادات Celery في EnvironmentFile.

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=YOUR_USER
Group=YOUR_GROUP
EnvironmentFile=/etc/sysconfig/celery
WorkingDirectory=/path/to/your/exist
ExecStart=/bin/sh -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'
ExecStop=/bin/sh -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
--pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/sh -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target

• قم بإنشاء أدلة سجل وتشغيل Celery.

$ sudo mkdir /var/log/celery; sudo chown YOUR_USER:YOUR_GROUP /var/log/celery
$ sudo mkdir /var/run/celery; sudo chown YOUR_USER:YOUR_GROUP /var/run/celery

• قم بإنشاء ملف إعدادات في /etc/tmpfiles.d/exist.conf

#Type  Path               Mode  UID        GID         Age  Argument
d      /var/run/celery    0755  YOUR_USER  YOUR_GROUP  -

• تشغيل Celery

$ sudo systemctl start celery.service
$ sudo systemctl enable celery.service

تشغيل خادم الويب

$ python manage.py runserver 0.0.0.0:8000

• الوصول إلى http://[YourWebServer]:8000 باستخدام المتصفح.
• WebAPI: http://[YourWebServer]:8000/api/

ملاحظة: أوصي باستخدام Nginx و uWSGI عند التشغيل في بيئة إنتاج.

جمع التغذية

النصوص البرمجية لإدراج التغذية في قاعدة البيانات موجودة في scripts/insert2db/*/insert2db.py.

تكوين insert2db

• ملفات الإعدادات هي scripts/insert2db/conf/insert2db.conf. قم بإنشائه بالاستناد إلى insert2db.conf.template.
• إذا كنت تستخدم MISP، اكتب عنوان URL الخاص بـ MISP ومفتاح API في insert2db.conf.
• إذا كنت تستخدم Malshare، اكتب مفتاح API الخاص بك في insert2db.conf.
• أنشئ حساب API تويتر في https://developer.twitter.com/ للتتبع باستخدام EXIST.
• أنشئ تطبيقًا لـ EXIST.
• احصل على Consumer API key (CA)، Consumer API secret key (CS)، Access token (AT)، access token secret (AS).
• اكتب CA، CS، AT، AS في insert2db.conf.

تشغيل النصوص

$ python scripts/insert2db/reputation/insert2db.py
$ python scripts/insert2db/twitter/insert2db.py
$ python scripts/insert2db/exploit/insert2db.py
$ python scripts/insert2db/threat/insert2db.py
$ python scripts/insert2db/news/insert2db.py
$ python scripts/insert2db/vuln/insert2db.py