Sistema de Detecção de Intrusão Móvel

Este projeto implementa um Sistema de Detecção de Intrusão Móvel que processa o tráfego de rede capturado de dispositivos móveis, realiza engenharia de features e utiliza um modelo de deep learning baseado em autoencoder para detectar fluxos de rede anómalos. Inteligência de ameaças externa e dados de whitelist são utilizados para reduzir falsos positivos e melhorar a precisão da detecção.

Índice

• Funcionalidades
• Visão Geral da Arquitetura
• Instalação e Configuração do Ambiente
• Utilização
  • Modo de Treino
  • Modo de Previsão
  • Modo de Dashboard
• Fontes de Dados e Referências Externas
• Conclusão e Trabalho Futuro
• Referências
• Licença

Funcionalidades

• Captura de Fluxos de Rede: Utiliza o MITMProxy para capturar fluxos HTTP de dispositivos móveis.
• Processamento e Arquivamento de Fluxos: Arquiva capturas de fluxos anteriores renomeando flows.mitm para flows_1.mitm para evitar sobrescrita, e depois processa as novas capturas.
• Engenharia de Features: Extrai, escala e vetoriza features (utilizando TF-IDF) a partir dos fluxos capturados.
• Deteção de Anomalias: Treina um modelo de autoencoder com dados históricos para aprender o comportamento normal e sinalizar fluxos anómalos com base nos erros de reconstrução.
• Filtragem por Whitelist: Aplica filtragem por whitelist utilizando dados de fontes como o Majestic Million e os Top 1M domains (Kaggle) para filtrar anomalias benignas.
• Modo de Previsão: Processa novos dados capturados, aplica o modelo treinado e apresenta as anomalias juntamente com métricas.
• Modo de Dashboard: Disponibiliza um dashboard interativo (construído com Streamlit e Plotly) para visualização e análise dos resultados.

Visão Geral da Arquitetura

1. Captura e Arquivamento de Fluxos

   • O MITMProxy captura fluxos de rede de dispositivos móveis.
   • O ficheiro de captura existente (flows.mitm) é renomeado para flows_1.mitm antes da nova captura para evitar sobrescrita.
   • Os fluxos capturados são depois convertidos para os formatos CSV e JSON.

2. Engenharia de Features

   • As features são extraídas dos fluxos processados.
   • Os dados são escalados utilizando um scaler e vetorizados utilizando TF-IDF.
   • As features resultantes da engenharia são guardadas num ficheiro CSV e utilizadas para o treino e previsão do modelo.

3. Treino e Previsão do Modelo

   • Modo de Treino: Processa dados históricos para treinar o modelo de autoencoder. Os artefactos do modelo, como o modelo treinado e o scaler, são guardados.
   • Modo de Previsão: Processa novos dados capturados, executa previsões com o modelo treinado e aplica filtragem por whitelist para reduzir falsos positivos.

4. Visualização e Dashboard (Opcional)

   • Um dashboard interativo apresenta métricas como curvas de perda, distribuições de erros de reconstrução, contagens de anomalias e mais.

Instalação e Configuração do Ambiente

1. Clonar o Repositório

   git clone https://github.com/yourusername/Mobile-Intrusion-Detection-System.git
   cd Mobile-Intrusion-Detection-System
   

2. Criar e Ativar um Ambiente Virtual

   python3 -m venv venv
   source venv/bin/activate
   

3. Instalar os Pacotes Necessários

   pip install tensorflow pandas numpy scikit-learn matplotlib plotly streamlit
   

Utilização

Modo de Treino

Execute o pipeline de treino para processar dados históricos, realizar engenharia de features e treinar o modelo de autoencoder:

./run_project.sh train

Este comando executa as seguintes etapas:

• Processa os fluxos de rede capturados.
• Arquiva o arquivo de captura anterior (ou seja, flows.mitm é renomeado para flows_1.mitm).
• Engenheira e escala as features.
• Treina o modelo autoencoder e o avalia.
• Salva o modelo, o scaler e o resumo da execução no diretório results/ (incluindo run_log.json).

Modo de Predição

Antes de executar a predição, o arquivo flows_1.mitm existente é arquivado (com um timestamp) para preservar os dados de captura anteriores. Em seguida, novos fluxos são capturados e processados:

./run_project.sh predict

Este comando executa as seguintes etapas:

• Arquiva o arquivo flows_1.mitm atual com um timestamp.
• Processa os novos fluxos capturados e os converte para os formatos CSV e JSON.
• Copia o novo arquivo CSV para o local esperado e realiza a engenharia de features.
• Carrega o scaler e o modelo treinados.
• Executa previsões sobre os novos dados e aplica a filtragem por whitelist.
• Gera os resultados das previsões e os salva no diretório results/ juntamente com um run_log.json atualizado.

Modo Dashboard

Para visualizar os resultados e as métricas de desempenho, execute o modo dashboard usando o Streamlit:

./run_project.sh dashboard

O dashboard exibe:

• Curvas de perda de treinamento e validação.
• Distribuição dos erros de reconstrução com o limite definido.
• Contagem de anomalias ao longo de múltiplas execuções.
• Comparação das contagens de URLs únicas antes e depois da filtragem por whitelist.
• Gráficos interativos adicionais e tabelas de resumo para análises mais aprofundadas.

Fontes de Dados e Referências Externas

• Dados de Whitelist:
  • Majestic Million Report
  • Top 1M Domains Dataset (Kaggle)

Conclusão e Trabalhos Futuros

O Mobile Intrusion Detection System demonstra um processamento eficaz de dados de fluxo de rede provenientes de dispositivos móveis e utiliza uma abordagem baseada em autoencoder para detecção de anomalias. A integração da filtragem por whitelist reduz significativamente os falsos positivos; no entanto, a etapa de predição revelou desafios — particularmente na distinção entre fluxos benignos relacionados a pesquisas no Google e atividades genuinamente maliciosas. Isso indica que é necessário um refinamento adicional da lógica de detecção de anomalias, especialmente dentro da fase de filtragem por whitelist. Trabalhos futuros se concentrarão em aprimorar os algoritmos de filtragem, incorporar fontes adicionais de inteligência de ameaças e expandir as funcionalidades do dashboard para insights mais aprofundados.

Referências

• Majestic Million Report
• Top 1M Domains Dataset (Kaggle)
• MITMProxy
• TensorFlow
• Scikit-Learn
• Plotly
• Streamlit

Licença

Este projeto está licenciado sob a Licença MIT. Consulte o arquivo LICENSE para obter detalhes.