 _______ _______        _______  ______ _____ _______ _    _ _______
 |  |  | |_____| |         |    |_____/   |   |______  \  /  |______
 |  |  | |     | |_____    |    |    \_ __|__ |______   \/   |______

Maltrieve

Maltrieve は mwcrawler のフォークとして始まりました。マルウェアを、多数のサイトに記載されているソースから直接取得します。現在、以下のサイトをクロールします:

その他の改善点は以下のとおりです:

プロキシサポート
パフォーマンス向上のためのマルチスレッド
ソースURLのロギング
複数ユーザーエージェントサポート
より良いエラーハンドリング
VxCage、Viper、Cuckoo Sandbox のサポート

インストール

Maltrieve には次の依存関係が必要です:

Python 2 およびヘッダーファイル (2.6 で十分です)
BeautifulSoup バージョン 4
feedparser
python-magic
Requests

Python ヘッダーファイルを除き、これらはすべて requirements.txt に記載されています。Debian 系ディストリビューションでは、sudo apt-get install python-dev を実行してください。Red Hat 系ディストリビューションでは、sudo yum install python-devel を実行してください。その後、pip install -e . を実行するだけです。仮想環境で実行していない場合は、先頭に sudo を付ける必要があるかもしれませんが、そのような環境を使用することを強く推奨します。

または、Docker image を使えば、これらをすべて回避できます。

使用方法

基本実行: maltrieve (通常インストールした場合) または python maltrieve.py (ダウンロードしてそのまま実行する場合)

オプション

usage: maltrieve [-h] [-p PROXY] [-d DUMPDIR] [-l LOGFILE] [-x] [-v] [-c] [-s]

optional arguments:
  -h, --help            show this help message and exit
  -p PROXY, --proxy PROXY
                        Define HTTP proxy as address:port
  -d DUMPDIR, --dumpdir DUMPDIR
                        Define dump directory for retrieved files
  -l LOGFILE, --logfile LOGFILE
                        Define file for logging progress
  -x, --vxcage          Dump the files to a VxCage instance
  -v, --viper           Dump the files to a Viper instance
  -r, --crits           Dump the file and domain to a CRITs instance
  -c, --cuckoo          Enable Cuckoo analysis
  -s, --sort_mime       Sort files by MIME type

設定ファイル

Maltrieve のコマンドラインオプションの多くは maltrieve.cfg で指定できます。

自動実行 (任意)

Cron を使用して Maltrieve の実行を自動化できます。以下の例は、開始に役立つように提供されています。これは、標準ユーザーとして毎日 2:01 に Maltrieve を実行する cron ジョブを作成します。ただし、本番環境向けにカスタムスクリプトを作成してこれを拡張することをお勧めします。

Ubuntu

ユーザーとして、次を実行します。

crontab -e

通常インストールした場合は、ファイルの末尾に以下を追加します。

01 02 * * * maltrieve <optional flags>

フォルダにダウンロードして実行する場合は、ファイルの末尾に以下を追加します。

01 02 * * * cd </folder/location> && /usr/bin/python maltrieve.py <optional flags>

Red Hat

Red Hat システムでは、ユーザーが /etc/cron.allow ファイルに追加されていることを確認する必要があります。

その他のツール

Maltrieve は分析を行いません。上記の統合に加えて、VirusTotal を操作するための VirusTotalApi の使用をお勧めします。Malwr は、Cuckoo Sandbox に基づく類似サイトです。

ライセンス

GPL バージョン 3 の下で公開されています。詳細については、LICENSE ファイルを参照してください。

既知のバグ

既知のバグ (および追加が必要だと分かっている事項) はすべて GitHub issues ページに記載しています。

協力方法

プルリクエスト以外にも、開発者でない方は GitHub で issue を開くことができます。特にありがたいもの:

バグレポート (可能であればエラーログ付き)
マルウェアリストの追加ソースの提案
どのように使用しているか、そしてどのように改善できるかの説明

詳細は contributing guide を確認してください。

maltrieve

人気