 _______ _______        _______  ______ _____ _______ _    _ _______
 |  |  | |_____| |         |    |_____/   |   |______  \  /  |______
 |  |  | |     | |_____    |    |    \_ __|__ |______   \/   |______

Maltrieve

Maltrieve изначально появился как форк mwcrawler. Он извлекает вредоносное ПО непосредственно из источников, перечисленных на ряде сайтов. В настоящее время мы обрабатываем следующие:

Другие улучшения включают:

Поддержка прокси
Многопоточность для повышения производительности
Логирование исходных URL
Поддержка нескольких пользовательских агентов
Улучшенная обработка ошибок
Поддержка VxCage, Viper и Cuckoo Sandbox

Установка

Maltrieve требует следующих зависимостей:

Python 2 и заголовочные файлы (достаточно версии 2.6)
BeautifulSoup версии 4
feedparser
python-magic
Requests

За исключением заголовочных файлов Python, все они перечислены в requirements.txt. В дистрибутивах на основе Debian выполните sudo apt-get install python-dev. В дистрибутивах на основе Red Hat выполните sudo yum install python-devel. После этого просто выполните pip install -e .. Возможно, потребуется добавить sudo в начало команды, если вы не используете виртуальное окружение, но использование такого окружения настоятельно рекомендуется.

В качестве альтернативы можно избежать всего этого, используя Docker-образ.

Использование

Базовый запуск: maltrieve (если установлен обычным образом) или python maltrieve.py (если просто скачан и запущен)

Параметры

usage: maltrieve [-h] [-p PROXY] [-d DUMPDIR] [-l LOGFILE] [-x] [-v] [-c] [-s]

optional arguments:
  -h, --help            show this help message and exit
  -p PROXY, --proxy PROXY
                        Define HTTP proxy as address:port
  -d DUMPDIR, --dumpdir DUMPDIR
                        Define dump directory for retrieved files
  -l LOGFILE, --logfile LOGFILE
                        Define file for logging progress
  -x, --vxcage          Dump the files to a VxCage instance
  -v, --viper           Dump the files to a Viper instance
  -r, --crits           Dump the file and domain to a CRITs instance
  -c, --cuckoo          Enable Cuckoo analysis
  -s, --sort_mime       Sort files by MIME type

Файл конфигурации

Многие параметры командной строки Maltrieve можно указать в файле maltrieve.cfg.

Автоматизированный запуск (опционально)

Cron можно использовать для автоматизации запуска Maltrieve. Следующий пример поможет вам начать. Он создаст задание cron, которое будет запускать Maltrieve каждый день в 2:01 от имени обычного пользователя. Тем не менее, мы рекомендуем улучшить это, создав собственный скрипт для производственных сред.

Ubuntu

От имени пользователя выполните

crontab -e

Если Maltrieve установлен обычным образом, добавьте в конец файла следующее:

01 02 * * * maltrieve <необязательные флаги>

Если Maltrieve скачан в папку и запускается оттуда, добавьте в конец файла следующее:

01 02 * * * cd </путь/к/папке> && /usr/bin/python maltrieve.py <необязательные флаги>

Red Hat

В системах Red Hat необходимо убедиться, что пользователь добавлен в файл /etc/cron.allow.

Другие инструменты

Maltrieve не занимается анализом. В дополнение к перечисленным выше интеграциям, мы можем рекомендовать использовать VirusTotalApi для работы с VirusTotal. Malwr — это аналогичный сайт на основе Cuckoo Sandbox.

Лицензия

Выпущено под лицензией GPL версии 3. Полный текст лицензии см. в файле LICENSE.

Известные ошибки

Мы перечисляем все известные нам ошибки (а также некоторые вещи, которые мы знаем, что нужно добавить) на странице GitHub issues.

Как вы можете помочь

Помимо pull-запросов, разработчики, не являющиеся программистами, могут открывать задачи на GitHub. Мы будем очень признательны за:

Сообщения об ошибках, желательно с логами ошибок
Предложения дополнительных источников списков вредоносного ПО
Описания того, как вы используете Maltrieve, и способы улучшить его для вас

Подробности смотрите в руководстве по участию.

maltrieve

Популярное