maltrieve

 _______ _______        _______  ______ _____ _______ _    _ _______
 |  |  | |_____| |         |    |_____/   |   |______  \  /  |______
 |  |  | |     | |_____    |    |    \_ __|__ |______   \/   |______

Maltrieve

O Maltrieve originou-se como um fork do mwcrawler. Ele recupera malware diretamente das fontes listadas em vários sites. Atualmente, rastreamos os seguintes:

• Malc0de
• Malware Domain List
• Malware URLs
• VX Vault
• URLquery
• CleanMX
• ZeusTracker

Outras melhorias incluem:

• Suporte a proxy
• Multithreading para melhor desempenho
• Registo de URLs de origem
• Suporte a múltiplos user agents
• Melhor tratamento de erros
• Suporte a VxCage, Viper e Cuckoo Sandbox

Instalação

O Maltrieve requer as seguintes dependências:

• Python 2 mais ficheiros de cabeçalho (2.6 deve ser suficiente)
• BeautifulSoup versão 4
• feedparser
• python-magic
• Requests

Com exceção dos ficheiros de cabeçalho do Python, todos estes podem ser encontrados em requirements.txt. Em distribuições baseadas em Debian, execute sudo apt-get install python-dev. Em distribuições baseadas em Red Hat, execute sudo yum install python-devel. Depois disso, basta pip install -e .. Pode ser necessário prefixar com sudo se não estiver a executar num ambiente virtual, mas o uso desse ambiente é altamente recomendado.

Alternativamente, evite tudo isto usando a imagem Docker.

Uso

Execução básica: maltrieve (se instalado normalmente) ou python maltrieve.py (se apenas descarregado e executado)

Opções

usage: maltrieve [-h] [-p PROXY] [-d DUMPDIR] [-l LOGFILE] [-x] [-v] [-c] [-s]

optional arguments:
  -h, --help            show this help message and exit
  -p PROXY, --proxy PROXY
                        Define HTTP proxy as address:port
  -d DUMPDIR, --dumpdir DUMPDIR
                        Define dump directory for retrieved files
  -l LOGFILE, --logfile LOGFILE
                        Define file for logging progress
  -x, --vxcage          Dump the files to a VxCage instance
  -v, --viper           Dump the files to a Viper instance
  -r, --crits           Dump the file and domain to a CRITs instance
  -c, --cuckoo          Enable Cuckoo analysis
  -s, --sort_mime       Sort files by MIME type

Ficheiro de Configuração

Muitas das opções da linha de comandos do Maltrieve podem ser especificadas em maltrieve.cfg.

Execução Automatizada (Opcional)

O Cron pode ser usado para automatizar a execução do Maltrieve. O seguinte exemplo é fornecido para ajudar a começar. Criará uma tarefa cron que executará o Maltrieve todos os dias às 2:01 como utilizador padrão. Dito isto, recomendamos melhorar isto criando um script personalizado para ambientes de produção.

Ubuntu

Como utilizador, execute

crontab -e

Se instalado normalmente, adicione o seguinte ao final do ficheiro.

01 02 * * * maltrieve <optional flags>

Se descarregado para uma pasta e executado, adicione o seguinte ao final do ficheiro.

01 02 * * * cd </folder/location> && /usr/bin/python maltrieve.py <optional flags>

Red Hat

Os sistemas Red Hat precisarão garantir que o utilizador seja adicionado ao ficheiro /etc/cron.allow.

Outras Ferramentas

O Maltrieve não faz análise. Além das integrações listadas acima, podemos recomendar o uso do VirusTotalApi para trabalhar com o VirusTotal. O Malwr é um site semelhante baseado no Cuckoo Sandbox.

Licença

Lançado sob a licença GPL versão 3. Consulte o ficheiro LICENSE para obter detalhes completos.

Erros Conhecidos

Listamos todos os erros que conhecemos (além de algumas coisas que sabemos que precisamos adicionar) na página de issues do GitHub.

Como Pode Ajudar

Além de pull requests, não-desenvolvedores podem abrir issues no GitHub. Coisas que realmente apreciaríamos:

• Relatórios de erros, de preferência com logs de erros
• Sugestões de fontes adicionais para listas de malware
• Descrições de como o utiliza e formas de o melhorar para si

Consulte o guia de contribuição para obter detalhes.