EXIST (साइबर खतरों के विरुद्ध बाहरी सूचना एकत्रीकरण प्रणाली)

⚠️ यह रिपॉजिटरी अनुरक्षित / संग्रहीत है। सुरक्षा मुद्दों को ठीक नहीं किया जाएगा।

EXIST एक वेब एप्लिकेशन है जो CTI (साइबर खतरा खुफिया) को एकत्र और विश्लेषण करने के लिए है।

EXIST निम्नलिखित सॉफ़्टवेयर द्वारा लिखा गया है।

Python 3
Django 1.11

अवधारणा

EXIST एक वेब एप्लिकेशन है जो CTI को एकत्र करने के लिए है ताकि सुरक्षा ऑपरेटर संबंधित संकेतकों के आधार पर घटनाओं की जांच कर सकें।

EXIST स्वचालित रूप से कई CTI सेवाओं और Twitter से उनके APIs और फ़ीड के माध्यम से डेटा प्राप्त करता है। आप वेब इंटरफ़ेस और API के माध्यम से संकेतकों को क्रॉस-सर्च कर सकते हैं।

यदि आपके पास ग्राहकों के नेटवर्क व्यवहार को लॉग करने वाले सर्वर हैं (जैसे, DNS और HTTP प्रॉक्सी सर्वरों के लॉग), तो आप EXIST पर डेटा से सहसंबंध बनाकर लॉग का विश्लेषण करने में सक्षम होंगे। यदि आप API का उपयोग करके कुछ प्रोग्राम लागू करते हैं, तो आप स्वचालित CTI-संचालित सुरक्षा संचालन केंद्र का एहसास करेंगे।

overview

उपयोग के मामले

केस1: IDS द्वारा पता लगाए गए डोमेन की जांच करें

बस सर्च फॉर्म में डोमेन टाइप करें।

lookup_domain

केस2: उपयोगकर्ता की ओर से दुर्भावनापूर्ण URL तक पहुँचें और ब्राउज़र का डिस्प्ले इमेज और डाउनलोड की जाने वाली सामग्री प्राप्त करें

बस सर्च फॉर्म में url टाइप करें।

lookup_url

केस3: साइबर खतरों की निगरानी करें

बस Threat Hunter या Twitter Hunter में कीवर्ड जोड़ें।

twitter_hunter

विशेषताएं

ट्रैकर

ट्रैकर स्वचालित रूप से कई CTI सेवाओं से डेटा फ़ीड एकत्र करता है।

Threat Tracker
Reputation Tracker
Twitter Tracker
Exploit Tracker
News Tracker
Vuln Tracker

हंटर

हंटर हमें कई CTI सेवाओं और Twitter से डेटा एकत्र करने के लिए क्वेरी सेट करने में सक्षम बनाता है।

Twitter Hunter
Threat Hunter
News Hunter

लुकअप

लुकअप कई इंटरनेट सेवाओं (जैसे whois) से विशिष्ट जानकारी (जैसे IP पता, डोमेन) से संबंधित जानकारी प्राप्त करता है।

IP Address
Domain
URL
File Hash

उपकरण

ट्विटर ट्रैकर से ट्वीट्स पर एनोटेट करने का उपकरण।

एनोटेशन टूल

वेब API

EXIST डेटाबेस में संग्रहीत डेटा को वेब API द्वारा प्रदान करें।

reputation
twitter
exploit
threatEvent
threatAttribute
news
vuln

आरंभ करना

इसके बाद मैं CentOS 7 या Ubuntu 18.04 LTS का वातावरण मानता हूँ। कृपया अन्य वातावरण में तैनात करते समय अपने जोखिम पर करें।

python मॉड्यूल स्थापित करें

$ sudo pip install -r requirements.txt

MariaDB स्थापित करें

CentOS 7

$ curl -sS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | sudo bash
$ sudo yum install MariaDB-server MariaDB-client

Ubuntu 18.04 LTS

$ sudo apt install mariadb-server mariadb-client

डेटाबेस चलाएँ

$ sudo systemctl start mariadb
$ sudo systemctl enable mariadb

डेटाबेस सेटिंग

डेटाबेस और उपयोगकर्ता बनाएँ।
.env.example के संदर्भ में .env बनाएँ। और अपनी DB सेटिंग्स के अनुसार संपादित करें।

Django के लिए गुप्त कुंजी उत्पन्न करें

Django के लिए गुप्त कुंजी .env फ़ाइल में लिखी जानी चाहिए।

पहले, कुंजी जनरेटर चलाएँ:

$ python keygen.py
(example)> 70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@

और .env फ़ाइल में गुप्त कुंजी लिखें:

...
# EXIST Application Settings
EXIST_SECRET_KEY="70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@"
...

डेटाबेस माइग्रेट करें

$ python manage.py makemigrations exploit reputation threat threat_hunter twitter twitter_hunter news news_hunter vuln
$ python manage.py migrate

Redis सर्वर स्थापित करें

Reputation tracker, Celery कैश सर्वर बैकएंड के रूप में redis का उपयोग करता है।

CentOS 7

$ sudo yum install redis
$ sudo systemctl start redis
$ sudo systemctl enable redis

Ubuntu 18.04 LTS

$ sudo apt install redis-server
$ sudo systemctl start redis-server
$ sudo systemctl enable redis-server

Celery सेटअप करें

Reputation tracker, Celery का उपयोग असिंक्रोनस कार्य कार्य कतार के रूप में करता है।

एक celery config बनाएँ। मैं अनुशंसा करता हूँ कि config निम्नलिखित पथों पर सेट किया जाए:
- CentOS 7: /etc/sysconfig/celery
- Ubuntu 18.04 LTS: /etc/celery.conf

# Name of nodes to start
# here we have a single node
CELERYD_NODES="w1"
# or we could have three nodes:
#CELERYD_NODES="w1 w2 w3"

# Absolute or relative path to the 'celery' command:
CELERY_BIN="/path/to/your/celery"

# App instance to use
# comment out this line if you don't use an app
CELERY_APP="intelligence"
# or fully qualified:
#CELERY_APP="proj.tasks:app"

# How to call manage.py
CELERYD_MULTI="multi"

# Extra command-line arguments to the worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"

# - %n will be replaced with the first part of the nodename.
# - %I will be replaced with the current child process index
# and is important when using the prefork pool to avoid race conditions.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"

/etc/systemd/system/celery.service पर एक celery सेवा प्रबंधन स्क्रिप्ट बनाएँ। साथ ही, आपको अपना celery config पथ EnvironmentFile में सेट करना होगा।

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=YOUR_USER
Group=YOUR_GROUP
EnvironmentFile=/etc/sysconfig/celery
WorkingDirectory=/path/to/your/exist
ExecStart=/bin/sh -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'
ExecStop=/bin/sh -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
--pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/sh -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target

Celery लॉग और रन निर्देशिकाएँ बनाएँ।

$ sudo mkdir /var/log/celery; sudo chown YOUR_USER:YOUR_GROUP /var/log/celery
$ sudo mkdir /var/run/celery; sudo chown YOUR_USER:YOUR_GROUP /var/run/celery

/etc/tmpfiles.d/exist.conf में एक कॉन्फ़िगरेशन फ़ाइल बनाएँ

#Type  Path               Mode  UID        GID         Age  Argument
d      /var/run/celery    0755  YOUR_USER  YOUR_GROUP  -

Celery चलाएँ

$ sudo systemctl start celery.service
$ sudo systemctl enable celery.service

वेब सर्वर चलाएँ

$ python manage.py runserver 0.0.0.0:8000

अपने ब्राउज़र से http://[YourWebServer]:8000 पर पहुँचें।
WebAPI: http://[YourWebServer]:8000/api/

नोट: मैं उत्पादन वातावरण में चलाते समय Nginx और uWSGI का उपयोग करने की अनुशंसा करता हूँ।

फ़ीड एकत्र करें

डेटाबेस में फ़ीड डालने के लिए स्क्रिप्ट scripts/insert2db/*/insert2db.py हैं।

insert2db कॉन्फ़िगर करें

कॉन्फ़िगरेशन फ़ाइलें scripts/insert2db/conf/insert2db.conf हैं। इसे insert2db.conf.template के संदर्भ में बनाएँ।
यदि आप MISP का उपयोग करते हैं, तो insert2db.conf में MISP URL और API कुंजी लिखें।
यदि आप Malshare का उपयोग करते हैं, तो insert2db.conf में अपनी API कुंजी लिखें।
EXIST के साथ ट्रैकिंग के लिए https://developer.twitter.com/ पर अपना Twitter API खाता बनाएँ।
EXIST के लिए एक ऐप बनाएँ।
Consumer API key (CA), Consumer API secret key (CS), Access token (AT), access token secret (AS) प्राप्त करें।
CA, CS, AT, AS को insert2db.conf में लिखें।

स्क्रिप्ट चलाएँ

$ python scripts/insert2db/reputation/insert2db.py
$ python scripts/insert2db/twitter/insert2db.py
$ python scripts/insert2db/exploit/insert2db.py
$ python scripts/insert2db/threat/insert2db.py
$ python scripts/insert2db/news/insert2db.py
$ python scripts/insert2db/vuln/insert2db.py

नोट: सूचना संग्रह को स्वचालित करने के लिए, उन्हें अपने cron में लिखें।

हंटर सेटिंग

Twitter Hunter

Twitter Hunter विशिष्ट कीवर्ड और उपयोगकर्ता ID वाले ट्वीट का पता लगा सकता है। और यदि आवश्यक हो तो आप slack को सूचित कर सकते हैं।

कॉन्फ़िगरेशन फ़ाइलें scripts/hunter/conf/hunter.conf हैं। इसे hunter.conf.template के संदर्भ में बनाएँ।
यदि आप slack का उपयोग करते हैं, तो hunter.conf में अपना slack टोकन लिखें।
https://developer.twitter.com/ पर अपना Twitter API खाता बनाएँ।
EXIST के लिए 18 ऐप बनाएँ।
18 Consumer API key (CA), Consumer API secret key (CS), Access token (AT), access token secret (AS) प्राप्त करें।
CA, CS, AT, AS को auth-hunter[00-18] के रूप में hunter.conf में लिखें।
Twitter Hunter को स्थायी बनाने के लिए cron का उपयोग करके scripts/hunter/twitter/tw_watchhunter.py को हर मिनट चलाएँ।

Threat Hunter

Threat Hunter विशिष्ट कीवर्ड वाले खतरे की घटनाओं का पता लगा सकता है। और यदि आवश्यक हो तो आप slack को सूचित कर सकते हैं।

कॉन्फ़िगरेशन फ़ाइलें scripts/hunter/conf/hunter.conf हैं। इसे hunter.conf.template के संदर्भ में बनाएँ।
यदि आप slack का उपयोग करते हैं, तो hunter.conf में अपना slack टोकन लिखें।
Threat Hunter को स्थायी बनाने के लिए cron का उपयोग करके scripts/hunter/threat/th_watchhunter.py को हर मिनट चलाएँ।

अन्य आवश्यक उपकरण और सेटिंग्स

VirusTotal API

EXIST VirusTotal API का उपयोग करता है।

अपना VirusTotal खाता बनाएँ।
conf/vt.conf में अपनी API-कुंजी लिखें।

नोट: यदि आपके पास निजी API कुंजी है तो आपको अधिक जानकारी मिलती है।

GeoIP DB

IP / Domain लुकअप GeoLite2 Database का उपयोग करता है।

http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.mmdb.gz से GeoIP DB डाउनलोड करें।
अपने conf/geoip.conf में GeoLite2-City.mmdb का पथ लिखें।

wkhtmltopdf और Xvfb

URL लुकअप wkhtmltopdf और Xvfb का उपयोग करता है।

https://wkhtmltopdf.org/downloads.html से wkhtmltopdf डाउनलोड और स्थापित करें।
Xvfb स्थापित करें।

$ sudo yum install xorg-x11-server-Xvfb

यदि आप Ubuntu 18.04 LTS पर EXIST तैनात करते हैं, तो आप apt का उपयोग करके इन पैकेजों को स्थापित कर सकते हैं।

$ sudo apt install wkhtmltopdf xvfb

पुराने डेटा को फ्लश करें

कॉन्फ़िगरेशन फ़ाइलें scripts/url/url.conf हैं। इसे url.conf.template के संदर्भ में बनाएँ।
पुराने Lookup URL डेटा को फ्लश करने के लिए cron का उपयोग करके scripts/url/delete_webdata.sh को हर दिन चलाएँ।
पुराने Celery डेटा को फ्लश करने के लिए cron का उपयोग करके scripts/url/delete_oldtaskresult.sh को हर दिन चलाएँ।

एनोटेशन टूल

ट्वीट्स के लिए प्रशिक्षण डेटा बनाने हेतु एक एनोटेशन टूल। यह टूल मशीन लर्निंग शोधकर्ताओं के लिए है।

उपयोग कैसे करें

एनोटेशन लक्ष्य की जाँच करें।
एनोटेशन बटन पर क्लिक करें।
लेबल किए जाने वाले शब्द का चयन करें।
लेबल बटन पर क्लिक करें।
सहेजें।

भेद्यता की रिपोर्ट करें

यदि आपको कोई भेद्यता मिलती है, तो कृपया हमें ईमेल करें।

भेद्यता रिपोर्ट टेम्पलेट

श्रेय

इस उत्पाद में MaxMind द्वारा निर्मित GeoLite2 डेटा शामिल है, जो https://www.maxmind.com से उपलब्ध है।

exist

सबसे लोकप्रिय