EXIST (Sistema de Agregação de Informações Externas contra Ameaças Cibernéticas)

⚠️ Este repositório não é mantido / arquivado. Problemas de segurança não serão corrigidos.

EXIST é uma aplicação web para agregar e analisar CTI (inteligência de ameaças cibernéticas).

EXIST é escrito com os seguintes softwares.

• Python 3
• Django 1.11

Conceito

EXIST é uma aplicação web para agregar CTI, ajudando operadores de segurança a investigar incidentes com base em indicadores relacionados.

EXIST busca automaticamente dados de vários serviços de CTI e do Twitter através de suas APIs e feeds. Você pode pesquisar indicadores de forma cruzada através da interface web e da API.

Se você tiver servidores que registram comportamentos de rede dos clientes (por exemplo, logs de servidores DNS e proxy HTTP, etc.), você poderá analisar os logs correlacionando com os dados no EXIST. Se você implementar alguns programas usando a API, você realizará um centro de operações de segurança automatizado orientado por CTI.

Casos de Uso

Caso 1: Investigar domínio detectado por IDS

Basta digitar o domínio no formulário de busca.

Caso 2: Acessar a URL maliciosa em nome do usuário e adquirir a imagem de exibição do navegador e o conteúdo a ser baixado

Basta digitar a URL no formulário de busca.

Caso 3: Monitorar ameaças cibernéticas

Basta adicionar palavras-chave no Threat Hunter ou Twitter Hunter.

Funcionalidades

Tracker

Tracker coleta automaticamente feeds de dados de vários serviços de CTI.

• Threat Tracker
• Reputation Tracker
• Twitter Tracker
• Exploit Tracker
• News Tracker
• Vuln Tracker

Hunter

Hunter permite definir consultas para coletar dados de vários serviços de CTI e do Twitter.

• Twitter Hunter
• Threat Hunter
• News Hunter

Lookup

Lookup recupera informações relacionadas a informações específicas (ex: endereço IP, domínio) de vários serviços de internet (ex: whois).

• IP Address
• Domain
• URL
• File Hash

Ferramentas

Uma ferramenta para anotar tweets do tracker do Twitter.

• Annotation Tool

Web API

Fornece dados armazenados no banco de dados do EXIST via Web API.

• reputation
• twitter
• exploit
• threatEvent
• threatAttribute
• news
• vuln

Começando

Após isso, assumo o ambiente CentOS 7 ou Ubuntu 18.04 LTS. Por favor, por sua conta ao implantar em outro ambiente.

Instalar módulos python

$ sudo pip install -r requirements.txt

Instalar MariaDB

• CentOS 7

$ curl -sS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | sudo bash
$ sudo yum install MariaDB-server MariaDB-client

• Ubuntu 18.04 LTS

$ sudo apt install mariadb-server mariadb-client

Executar banco de dados

$ sudo systemctl start mariadb
$ sudo systemctl enable mariadb

Configuração do banco de dados

• Criar banco de dados e usuário.
• Criar .env conforme .env.example. E edite de acordo com suas configurações de BD.

Gerar chave secreta para Django

A chave secreta para Django deve ser escrita no arquivo .env.

Primeiro, execute o gerador de chaves:

$ python keygen.py
(exemplo)> 70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@

e escreva a chave secreta no arquivo .env:

...
# Configurações da Aplicação EXIST
EXIST_SECRET_KEY="70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@"
...

Migrar banco de dados

$ python manage.py makemigrations exploit reputation threat threat_hunter twitter twitter_hunter news news_hunter vuln
$ python manage.py migrate

Instalar servidor Redis

O Reputation tracker usa redis como backend do servidor de cache do Celery.

• CentOS 7

$ sudo yum install redis
$ sudo systemctl start redis
$ sudo systemctl enable redis

• Ubuntu 18.04 LTS

$ sudo apt install redis-server
$ sudo systemctl start redis-server
$ sudo systemctl enable redis-server

Configurar Celery

O Reputation tracker usa Celery como uma fila de tarefas assíncronas.

• Criar uma configuração do celery. Recomendo que a configuração seja definida nos seguintes caminhos:
  • CentOS 7: /etc/sysconfig/celery
  • Ubuntu 18.04 LTS: /etc/celery.conf

# Nome dos nós a iniciar
# aqui temos um único nó
CELERYD_NODES="w1"
# ou poderíamos ter três nós:
#CELERYD_NODES="w1 w2 w3"

# Caminho absoluto ou relativo para o comando 'celery':
CELERY_BIN="/caminho/para/seu/celery"

# Instância do App a usar
# comente esta linha se você não usa um app
CELERY_APP="intelligence"
# ou totalmente qualificado:
#CELERY_APP="proj.tasks:app"

# Como chamar manage.py
CELERYD_MULTI="multi"

# Argumentos extras de linha de comando para o worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"

# - %n será substituído pela primeira parte do nome do nó.
# - %I será substituído pelo índice do processo filho atual
# e é importante ao usar o pool prefork para evitar condições de corrida.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"

• Criar um script de gerenciamento de serviço do celery em /etc/systemd/system/celery.service. Além disso, você deve definir o caminho da configuração do celery no EnvironmentFile.

[Unit]
Description=Serviço Celery
After=network.target

[Service]
Type=forking
User=SEU_USUARIO
Group=SEU_GRUPO
EnvironmentFile=/etc/sysconfig/celery
WorkingDirectory=/caminho/para/seu/exist
ExecStart=/bin/sh -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'
ExecStop=/bin/sh -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
--pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/sh -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target

• Criar diretórios de log e execução do Celery.

$ sudo mkdir /var/log/celery; sudo chown SEU_USUARIO:SEU_GRUPO /var/log/celery
$ sudo mkdir /var/run/celery; sudo chown SEU_USUARIO:SEU_GRUPO /var/run/celery

• Criar um arquivo de configuração em /etc/tmpfiles.d/exist.conf

#Tipo  Caminho               Modo UID          GID          Idade  Argumento
d      /var/run/celery    0755  SEU_USUARIO  SEU_GRUPO  -

• Executar Celery

$ sudo systemctl start celery.service
$ sudo systemctl enable celery.service

Executar servidor web

$ python manage.py runserver 0.0.0.0:8000

• Acessar http://[SeuServidorWeb]:8000 com seu navegador.
• WebAPI: http://[SeuServidorWeb]:8000/api/

Nota: Recomendo usar Nginx e uWSGI ao executar em ambiente de produção.

Coletar feed

Os scripts para inserir feed no banco de dados estão em scripts/insert2db/*/insert2db.py.

Configurar insert2db

• Os arquivos de configuração estão em scripts/insert2db/conf/insert2db.conf. Crie-o conforme insert2db.conf.template.
• Se você usa MISP, escreva a URL do MISP e a chave API no insert2db.conf.
• Se você usa Malshare, escreva sua chave API no insert2db.conf.
• Crie sua conta da API do Twitter em https://developer.twitter.com/ para rastreamento com EXIST.
• Crie um App para EXIST.
• Obtenha a chave da API do Consumidor (CA), a chave secreta da API do Consumidor (CS), o token de acesso (AT) e o segredo do token de acesso (AS).
• Escreva CA, CS, AT, AS no insert2db.conf.

Executar scripts

$ python scripts/insert2db/reputation/insert2db.py
$ python scripts/insert2db/twitter/insert2db.py
$ python scripts/insert2db/exploit/insert2db.py
$ python scripts/insert2db/threat/insert2db.py
$ python scripts/insert2db/news/insert2db.py
$ python scripts/insert2db/vuln/insert2db.py

Nota: Para automatizar a coleta de informações, escreva-os no seu cron.

Configurar hunter

Twitter Hunter

O Twitter Hunter pode detectar tweets contendo palavras-chave específicas e ID de usuário. E você pode notificar o Slack se necessário.

• Os arquivos de configuração estão em scripts/hunter/conf/hunter.conf. Crie-o conforme hunter.conf.template.
• Se você usa Slack, escreva seu token do Slack no hunter.conf.
• Crie sua conta da API do Twitter em https://developer.twitter.com/.
• Crie 18 Apps para EXIST.
• Obtenha 18 chaves de API do Consumidor (CA), chaves secretas da API do Consumidor (CS), tokens de acesso (AT) e segredos de tokens de acesso (AS).
• Escreva CA, CS, AT, AS como auth-hunter[00-18] no hunter.conf.
• Faça scripts/hunter/twitter/tw_watchhunter.py executar a cada minuto usando cron para tornar o Twitter Hunter persistente.

Threat Hunter

O Threat Hunter pode detectar eventos de ameaça contendo palavras-chave específicas. E você pode notificar o Slack se necessário.

• Os arquivos de configuração estão em scripts/hunter/conf/hunter.conf. Crie-o conforme hunter.conf.template.
• Se você usa Slack, escreva seu token do Slack no hunter.conf.
• Faça scripts/hunter/threat/th_watchhunter.py executar a cada minuto usando cron para tornar o Threat Hunter persistente.

Outras ferramentas e configurações necessárias

VirusTotal API

EXIST usa a API do VirusTotal.

• Crie sua conta no VirusTotal.
• Escreva sua chave API no conf/vt.conf.

Nota: Você obtém mais informações se tiver uma chave API privada.

GeoIP DB

Lookup IP / Domain usa o Banco de Dados GeoLite2.

• Baixe o GeoIP DB de http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.mmdb.gz
• Escreva o caminho para o GeoLite2-City.mmdb no seu conf/geoip.conf.

wkhtmltopdf e Xvfb

Lookup URL usa wkhtmltopdf e Xvfb.

• Baixe e instale o wkhtmltopdf de https://wkhtmltopdf.org/downloads.html
• Instale o Xvfb.

$ sudo yum install xorg-x11-server-Xvfb

Se você implantar o EXIST no Ubuntu 18.04 LTS, pode instalar esses pacotes usando apt.

$ sudo apt install wkhtmltopdf xvfb

Limpar dados antigos

• Os arquivos de configuração estão em scripts/url/url.conf. Crie-o conforme url.conf.template.
• Faça scripts/url/delete_webdata.sh executar diariamente usando cron para limpar dados antigos do Lookup URL.
• Faça scripts/url/delete_oldtaskresult.sh executar diariamente usando cron para limpar dados antigos do Celery.

AnnotationTool

Uma ferramenta de anotação para criar dados de treinamento para tweets. Esta ferramenta é para pesquisadores de aprendizado de máquina.

Como usar

1. Verifique o alvo da anotação.
2. Clique no botão Annotation.
3. Selecione a palavra a ser rotulada.
4. Clique no botão de rótulo.
5. Salvar

Relatar vulnerabilidade

Por favor, envie-nos um e-mail se encontrar alguma vulnerabilidade.

Modelo de Relatório de Vulnerabilidade

Créditos

Este produto inclui dados GeoLite2 criados pela MaxMind, disponíveis em https://www.maxmind.com.

Licença

Licença MIT © Cybersecurity Laboratory, NICT