EXIST (نظام تجميع المعلومات الخارجية ضد التهديدات السيبرانية)

⚠️ هذا المستودع غير مُدار / مؤرشَف. لن يتم إصلاح المشكلات الأمنية.

EXIST هو تطبيق ويب لتجميع وتحليل CTI (استخبارات التهديدات السيبرانية).

EXIST كُتب باستخدام البرامج التالية.

• Python 3
• Django 1.11

المفهوم

EXIST هو تطبيق ويب لتجميع CTI لمساعدة مشغلي الأمن في التحقيق في الحوادث بناءً على المؤشرات ذات الصلة.

EXIST يجلب البيانات تلقائيًا من عدة خدمات CTI وتويتر عبر واجهات برمجة التطبيقات (APIs) والتغذيات. يمكنك البحث عن المؤشرات بشكل متعابر عبر واجهة الويب وواجهة API.

إذا كان لديك خوادم تسجل سلوكيات الشبكة للعملاء (مثل سجلات DNS وخوادم وكيل HTTP)، فستتمكن من تحليل السجلات من خلال الربط مع البيانات الموجودة في EXIST. إذا قمت بتنفيذ بعض البرامج باستخدام API، فستحقق مركز عمليات أمنية مدفوعًا بـ CTI تلقائيًا.

حالات الاستخدام

الحالة 1: التحقيق في نطاق تم اكتشافه بواسطة IDS

ما عليك سوى كتابة النطاق في نموذج البحث.

الحالة 2: الوصول إلى عنوان URL الضار نيابة عن المستخدم والحصول على صورة العرض للمتصفح والمحتوى الذي سيتم تنزيله

ما عليك سوى كتابة عنوان URL في نموذج البحث.

الحالة 3: مراقبة التهديدات السيبرانية

ما عليك سوى إضافة كلمات مفتاحية في Threat Hunter أو Twitter Hunter.

الميزات

المتتبع

المتتبع يجمع تلقائيًا تغذيات البيانات من عدة خدمات CTI.

• Threat Tracker
• Reputation Tracker
• Twitter Tracker
• Exploit Tracker
• News Tracker
• Vuln Tracker

الصياد

الصياد يمكننا من تعيين استعلامات لجمع البيانات من عدة خدمات CTI وتويتر.

• Twitter Hunter
• Threat Hunter
• News Hunter

البحث

البحث يسترجع المعلومات المتعلقة بمعلومات محددة (مثل عنوان IP، نطاق) من عدة خدمات إنترنت (مثل whois).

• IP Address
• Domain
• URL
• File Hash

الأدوات

أداة لتعليق التغريدات من متتبع التويتر.

• أداة التعليق

واجهة برمجة التطبيقات (API) للويب

توفر البيانات المخزنة في قاعدة بيانات EXIST عبر واجهة برمجة تطبيقات الويب.

• reputation
• twitter
• exploit
• threatEvent
• threatAttribute
• news
• vuln

البدء

بعد ذلك أفترض بيئة CentOS 7 أو Ubuntu 18.04 LTS. يرجى توخي الحذر عند النشر في بيئة أخرى.

تثبيت وحدات Python

$ sudo pip install -r requirements.txt

تثبيت MariaDB

• CentOS 7

$ curl -sS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | sudo bash
$ sudo yum install MariaDB-server MariaDB-client

• Ubuntu 18.04 LTS

$ sudo apt install mariadb-server mariadb-client

تشغيل قاعدة البيانات

$ sudo systemctl start mariadb
$ sudo systemctl enable mariadb

إعداد قاعدة البيانات

• قم بإنشاء قاعدة بيانات ومستخدم.
• أنشئ ملف .env بالاستناد إلى .env.example. وقم بالتعديل وفقًا لإعدادات قاعدة البيانات الخاصة بك.

إنشاء مفتاح سري لـ Django

يجب كتابة المفتاح السري لـ Django في ملف .env.

أولاً، قم بتشغيل منشئ المفتاح:

$ python keygen.py
(example)> 70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@

واكتب المفتاح السري إلى ملف .env:

...
# EXIST Application Settings
EXIST_SECRET_KEY="70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@"
...

ترحيل قاعدة البيانات

$ python manage.py makemigrations exploit reputation threat threat_hunter twitter twitter_hunter news news_hunter vuln
$ python manage.py migrate

تثبيت خادم Redis

متتبع السمعة يستخدم Redis كخلفية لذاكرة التخزين المؤقت لـ Celery.

• CentOS 7

$ sudo yum install redis
$ sudo systemctl start redis
$ sudo systemctl enable redis

• Ubuntu 18.04 LTS

$ sudo apt install redis-server
$ sudo systemctl start redis-server
$ sudo systemctl enable redis-server

إعداد Celery

متتبع السمعة يستخدم Celery كقائمة انتظار مهام غير متزامنة.

• قم بإنشاء إعدادات Celery. أوصي بأن يتم تعيين الإعدادات على المسارات التالية:
  • CentOS 7: /etc/sysconfig/celery
  • Ubuntu 18.04 LTS: /etc/celery.conf

# Name of nodes to start
# here we have a single node
CELERYD_NODES="w1"
# or we could have three nodes:
#CELERYD_NODES="w1 w2 w3"

# Absolute or relative path to the 'celery' command:
CELERY_BIN="/path/to/your/celery"

# App instance to use
# comment out this line if you don't use an app
CELERY_APP="intelligence"
# or fully qualified:
#CELERY_APP="proj.tasks:app"

# How to call manage.py
CELERYD_MULTI="multi"

# Extra command-line arguments to the worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"

# - %n will be replaced with the first part of the nodename.
# - %I will be replaced with the current child process index
# and is important when using the prefork pool to avoid race conditions.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"

• قم بإنشاء سكريبت إدارة خدمة Celery على /etc/systemd/system/celery.service. أيضًا، يجب عليك تعيين مسار إعدادات Celery في EnvironmentFile.

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=YOUR_USER
Group=YOUR_GROUP
EnvironmentFile=/etc/sysconfig/celery
WorkingDirectory=/path/to/your/exist
ExecStart=/bin/sh -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'
ExecStop=/bin/sh -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
--pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/sh -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target

• قم بإنشاء أدلة سجل وتشغيل Celery.

$ sudo mkdir /var/log/celery; sudo chown YOUR_USER:YOUR_GROUP /var/log/celery
$ sudo mkdir /var/run/celery; sudo chown YOUR_USER:YOUR_GROUP /var/run/celery

• قم بإنشاء ملف إعدادات في /etc/tmpfiles.d/exist.conf

#Type  Path               Mode  UID        GID         Age  Argument
d      /var/run/celery    0755  YOUR_USER  YOUR_GROUP  -

• تشغيل Celery

$ sudo systemctl start celery.service
$ sudo systemctl enable celery.service

تشغيل خادم الويب

$ python manage.py runserver 0.0.0.0:8000

• الوصول إلى http://[YourWebServer]:8000 باستخدام المتصفح.
• WebAPI: http://[YourWebServer]:8000/api/

ملاحظة: أوصي باستخدام Nginx و uWSGI عند التشغيل في بيئة إنتاج.

جمع التغذية

النصوص البرمجية لإدراج التغذية في قاعدة البيانات موجودة في scripts/insert2db/*/insert2db.py.

تكوين insert2db

• ملفات الإعدادات هي scripts/insert2db/conf/insert2db.conf. قم بإنشائه بالاستناد إلى insert2db.conf.template.
• إذا كنت تستخدم MISP، اكتب عنوان URL الخاص بـ MISP ومفتاح API في insert2db.conf.
• إذا كنت تستخدم Malshare، اكتب مفتاح API الخاص بك في insert2db.conf.
• أنشئ حساب API تويتر في https://developer.twitter.com/ للتتبع باستخدام EXIST.
• أنشئ تطبيقًا لـ EXIST.
• احصل على Consumer API key (CA)، Consumer API secret key (CS)، Access token (AT)، access token secret (AS).
• اكتب CA، CS، AT، AS في insert2db.conf.

تشغيل النصوص

$ python scripts/insert2db/reputation/insert2db.py
$ python scripts/insert2db/twitter/insert2db.py
$ python scripts/insert2db/exploit/insert2db.py
$ python scripts/insert2db/threat/insert2db.py
$ python scripts/insert2db/news/insert2db.py
$ python scripts/insert2db/vuln/insert2db.py

ملاحظة: لأتمتة جمع المعلومات، اكتبها في cron الخاص بك.

إعداد الصياد

Twitter Hunter

Twitter Hunter يمكنه اكتشاف التغريدات التي تحتوي على كلمات مفتاحية ومعرف مستخدم محدد. ويمكنك إشعار Slack إذا لزم الأمر.

• ملفات الإعدادات هي scripts/hunter/conf/hunter.conf. قم بإنشائه بالاستناد إلى hunter.conf.template.
• إذا كنت تستخدم Slack، اكتب رمز Slack الخاص بك في hunter.conf.
• أنشئ حساب API تويتر في https://developer.twitter.com/.
• أنشئ 18 تطبيقًا لـ EXIST.
• احصل على 18 Consumer API key (CA)، Consumer API secret key (CS)، Access token (AT)، access token secret (AS).
• اكتب CA، CS، AT، AS في auth-hunter[00-18] في hunter.conf.
• اجعل scripts/hunter/twitter/tw_watchhunter.py يعمل كل دقيقة باستخدام cron لجعل Twitter Hunter مستمرًا.

Threat Hunter

Threat Hunter يمكنه اكتشاف أحداث التهديدات التي تحتوي على كلمات مفتاحية محددة. ويمكنك إشعار Slack إذا لزم الأمر.

• ملفات الإعدادات هي scripts/hunter/conf/hunter.conf. قم بإنشائه بالاستناد إلى hunter.conf.template.
• إذا كنت تستخدم Slack، اكتب رمز Slack الخاص بك في hunter.conf.
• اجعل scripts/hunter/threat/th_watchhunter.py يعمل كل دقيقة باستخدام cron لجعل Threat Hunter مستمرًا.

أدوات وإعدادات أخرى مطلوبة

API VirusTotal

EXIST يستخدم API VirusTotal.

• أنشئ حساب VirusTotal الخاص بك.
• اكتب مفتاح API الخاص بك في conf/vt.conf.

ملاحظة: تحصل على معلومات أكثر إذا كان لديك مفتاح API خاص.

قاعدة بيانات GeoIP

Lookup IP / Domain يستخدم قاعدة بيانات GeoLite2.

• قم بتنزيل قاعدة بيانات GeoIP من http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.mmdb.gz
• اكتب المسار إلى ملف GeoLite2-City.mmdb في conf/geoip.conf الخاص بك.

wkhtmltopdf و Xvfb

Lookup URL يستخدم wkhtmltopdf و Xvfb.

• قم بتنزيل وتثبيت wkhtmltopdf من https://wkhtmltopdf.org/downloads.html
• قم بتثبيت Xvfb.

$ sudo yum install xorg-x11-server-Xvfb

إذا قمت بنشر EXIST على Ubuntu 18.04 LTS، يمكنك تثبيت هذه الحزم باستخدام apt.

$ sudo apt install wkhtmltopdf xvfb

مسح البيانات القديمة

• ملفات الإعدادات هي scripts/url/url.conf. قم بإنشائه بالاستناد إلى url.conf.template.
• اجعل scripts/url/delete_webdata.sh يعمل كل يوم باستخدام cron لمسح بيانات Lookup URL القديمة.
• اجعل scripts/url/delete_oldtaskresult.sh يعمل كل يوم باستخدام cron لمسح بيانات Celery القديمة.

أداة التعليق

أداة تعليق لإنشاء بيانات تدريب للتغريدات. هذه الأداة مخصصة لباحثي التعلم الآلي.

كيفية الاستخدام

1. تحقق من هدف التعليق.
2. انقر على زر التعليق.
3. حدد الكلمة التي سيتم وضع العلامة عليها.
4. انقر على زر العلامة.
5. حفظ

الإبلاغ عن الثغرات

يرجى مراسلتنا عبر البريد الإلكتروني إذا وجدت أي ثغرات.

قالب تقرير الثغرة

الاعتمادات

يحتوي هذا المنتج على بيانات GeoLite2 التي أنشأتها MaxMind، متاحة من https://www.maxmind.com.

الترخيص

رخصة MIT © Cybersecurity Laboratory, NICT