مشروع ManaTI

التعلم الآلي لتحليل التهديدات البديهي

الهدف من مشروع ManaTI هو تطوير تقنيات التعلم الآلي لمساعدة محلل التهديدات البديهي في تسريع اكتشاف مشكلات أمنية جديدة. سيساهم التعلم الآلي في التحليل من خلال إيجاد علاقات واستدلالات جديدة. سيتضمن المشروع تطوير واجهة ويب للمحلل للتفاعل مع البيانات ومخرجات التعلم الآلي.

هذا المشروع مدعوم جزئياً من قبل Cisco Systems. لمزيد من المعلومات حول المشروع، يرجى زيارة صفحة Stratosphere Lab

الإصدارات المستقرة

• Mon Sep 3 12:24:26 CEST 2018: الإصدار 0.12.0a
• Sun Aug 12 16:21:19 CEST 2018: الإصدار 0.11.0a
• Mon Jan 29 00:07:15 CEST 2018: الإصدار 0.9.0a
• Fri Nov 10 19:16:52 CEST 2017: الإصدار 0.8.0.537a
• Fri Mar 31 12:19:00 CEST 2017: الإصدار 0.7.1
• Sun Mar 5 00:04:41 CEST 2017: الإصدار 0.7
• Thu Nov 10 12:30:45 CEST 2016: الإصدار 0.6.2.1
• Wed Oct 12 21:19:21 CEST 2016: الإصدار 0.5.1
• Wed Sep 21 17:56:40 CEST 2016: الإصدار 0.41
• Tue Sep 13 10:52:36 CEST 2016: الإصدار 0.4
• Thu Aug 18 15:44:31 CEST 2016: الإصدار 0.3
• Wed Jun 29 10:44:15 CEST 2016: الإصدار 0.2

المؤلفون

• Raúl B. Netto (@Piuliss، [email protected]، [email protected])
• Sebastian García (@eldracote، [email protected]، [email protected])

لقطة شاشة التطبيق

التثبيت

ManaTI هو مشروع Django بقاعدة بيانات Postgres ويعمل على Linux و MacOS. نوصي باستخدام بيئة virtualenv لإعداده. خطوات التثبيت لنظام لينكس هي:

    sudo apt-get update ; sudo apt-get upgrade -y

1. استنساخ المستودع

    git clone [email protected]:stratosphereips/Manati.git; cd Manati
  

أو إذا كنت لا ترغب في استخدام SSH، استخدم HTTPS

    git clone https://github.com/stratosphereips/Manati.git; cd Manati

2. تثبيت Virtualenv لعزل مكتبات بايثون المطلوبة لـ ManaTI، أيضاً سيتم تثبيت مكتبات بايثون للتطوير

    sudo apt-get install virtualenv python-pip python-dev libpq-dev build-essential libssl-dev libffi-dev
    

3. إنشاء مجلد virtualenv

    virtualenv .vmanati
    

4. تفعيل Virtualenv

    source .vmanati/bin/activate
    

5. تثبيت محرك قاعدة بيانات PostgreSQL

    sudo apt-get install postgresql-server-dev-all postgresql-9.5 postgresql-client-9.5
    

6. إنشاء ملفات متغيرات البيئة. انسخ وأعد تسمية الملفات .env.example إلى .env، و .env-docker.example إلى .env-docker

    cp .env.example .env
    cp .env-docker.example .env-docker

اختياري

يمكنك تعديل كلمة المرور واسم قاعدة البيانات، إذا أردت. تذكر، انعكاس التغييرات في إعدادات قاعدة بيانات Postgres أدناه.

7. تثبيت مكتبات بايثون المطلوبة

    pip install -r requirements/local.txt
    

ربما ستواجه بعض المشاكل في الإذن في المجلد ~/.cache، فقط نفذ الأمر التالي وستحل المشكلة:

       sudo chmod 777 ~/.cache

إذا قمت بالنشر على Amazon AWS EC2 ولديك خطأ في الذاكرة جرب:

    pip install -r requirements/local.txt --no-cache-dir
    

8. بدء تشغيل postgresql

    sudo /etc/init.d/postgresql start

تكوين قاعدة البيانات

9. كجذر: (يجب أن يكون هناك مستخدم postgres بعد تثبيت قاعدة البيانات)

    su - postgres
     

10. إنشاء قاعدة البيانات:

    psql

    create user manati_db_user with password 'password';

    create database manati_db;

    grant all privileges on database manati_db to manati_db_user;

    alter role manati_db_user createrole createdb;
    
    CTRL-D (to output the postgres db shell)
    

اختياري

لتغيير كلمة المرور الافتراضية لمستخدم postgres (يمكنك وضع نفس كلمة المرور إذا أردت)، فكرة جيدة بشكل خاص إذا كنت تريد استخدام pgAdmin3-4 كعميل postgres. تذكر عدم الخروج من "sudo - postgres"

    psql
    
    \password;

    CTRL-D (to output the postgres db shell)

التحقق من إنشاء قاعدة البيانات بنجاح

11. كمستخدم postgres

    psql -h localhost -d manati_db -U manati_db_user

    (وضع كلمة المرور)

بعد وضع كلمة المرور يجب أن تكون قد سجلت الدخول في postgres.

12. تثبيت redis-server

    sudo apt-get install redis-server
    

اختياري

إذا كنت ترغب في تكوين Redis. على سبيل المثال، أنت مهتم بتغيير كلمة المرور، يمكنك:

    sudo vi /etc/redis/redis.conf
    

وابحث عن السطر requirepass واكتب بجانبه كلمة المرور التي تريدها.

    requirepass passwodUser

فقط تذكر تحديث متغير البيئة REDIS_PASSWORD في الملف .env في جذر المشروع.

13. تشغيل ملفات الترحيل

    python ./manage.py makemigrations guardian
    python ./manage.py migrate
    

14. تسجيل الوحدات الخارجية. يجب تشغيل هذا الأمر في كل مرة تضيف أو تزيل وحدة خارجية

     python ./manage.py check_external_modules

15. تنفيذ ملف redis_worker.sh (في الخلفية '&' أو في وحدة تحكم أخرى).

    ./utility/redis_worker.sh
    

16. إنشاء مستخدم فائق لتسجيل الدخول إلى النظام إذا كنت بحاجة

    python manage.py createsuperuser

كيفية تشغيله

لا يُنصح بتشغيل الخادم كجذر، ولكن نظرًا لأن الجذر فقط يمكنه فتح أرقام منافذ أقل من 1024، فالأمر متروك لك أي مستخدم تستخدم. بشكل افتراضي، يفتح المنفذ 8000، لذا يمكنك تشغيله كجذر:

python ./manage.py runserver

بعد ذلك، افتح متصفحك على http://localhost:8000/manati_project/manati_ui

إذا كنت ترغب في فتح الخادم على الشبكة، يمكنك القيام بذلك باستخدام:

python ./manage.py runserver <ip-address>:8000

إذا كنت ترغب في رؤية المهام الجارية أو في قائمة الانتظار، انتقل إلى http://localhost:8000/manati_project/django-rq/

الإعدادات: تحديث الإصدار من master

1. فتح دليل المشروع

cd path/to/project_directory
    

2. سحب آخر التغييرات من master

git pull origin master

3. تثبيت المكتبات المثبتة حديثًا

pip install -r requirements/local.txt
    

4. تثبيت redis-server وتنفيذ ملف redis_worker.sh (في الخلفية '&' أو في وحدة تحكم أخرى)

./utility/redis_worker.sh
    

5. تحضير ملفات الترحيل لمكتبة guardian (إذا كانت موجودة بالفعل، لا يحدث شيء)

python ./manage.py makemigrations guardian --noinput
    

6. تنفيذ ملفات الترحيل

python ./manage.py migrate --noinput

7. تسجيل الوحدات الخارجية. يجب تشغيل هذا الأمر في كل مرة تضيف أو تزيل وحدة خارجية

python ./manage.py check_external_modules
    

8. تشغيل الخادم

python ./manage.py runserver

التشغيل في الإنتاج.

باستخدام surpevisor و gunicorn كخادم مع RQ worker (مع خادم redis) للتعامل مع المهام الخلفية. في المستقبل نخطط لإعداد إعدادات لـ nginx

cd path/to/project_directory 
python manage.py collectstatic --noinput --clear
sudo supervisord -c supervisor-manati.conf -n

صورة Docker

إذا كان لديك docker مثبتًا، فقد تكون فكرة جيدة تثبيت صورة ManaTI docker. ملفات Dockerfile وتكوينات الخادم موجودة هنا. يتم تشغيل صورة ManaTI docker هذه على خادم NGINX وuWSGI. هذه الصورة يتم صيانتها بواسطة @Piuliss

docker pull honeyjack/manati:latest
docker run --name manati -p 8888:8888 -dti honeyjack/manati:latest bash

ثم، انتظر لمدة 5 أو 10 ثوانٍ واذهب إلى http://localhost:8888