ph0neutria

ph0neutria 恶意软件爬虫
v1.0.1
https://github.com/phage-nz/ph0neutria

注意： 该项目已不再积极维护。

关于

ph0neutria 是一个恶意软件样本库构建器，直接从互联网上收集样本。所有内容都存储在 Viper 中，以便于访问和管理。

该项目受 Ragpicker（https://github.com/robbyFux/Ragpicker，原名“Malware Crawler”）启发。但 ph0neutria 的目标是：

• 将爬取范围限定在仅更新频繁且可靠的来源。
• 最大化单个指标的有效性。
• 提供单一、可靠且组织良好的存储机制。
• 不做那些可以由 Viper 完成的工作。

名字的含义？“Phoneutria nigriventer”通常被称为巴西游走蛛：https://en.wikipedia.org/wiki/Brazilian_wandering_spider

来源

自 1.0.0 版本起，所有来源都创建为“插件”，位于核心脚本文件夹的插件子目录中。默认来源包括：

• 0xffff0800 的恶意软件库（致谢：http://0day.coffee）。
• CleanMX（需要经过批准的用户代理）。
• Cymon，包含：Abuse.ch 跟踪器、Bambenek C2 反馈、Cyber Crime Tracker、Malc0de、URLVir 和 VX Vault。
• Hybrid Analysis（需要经过审核的 API 密钥）。
• OTX。
• Shodan，使用 Malware Hunter 搜索功能。
• URLhaus。

每个插件都有必须在运行前完成的参数。你可以在每个插件文件的顶部找到它们。

VirusTotal 是 ph0neutria 的核心组件，无法禁用。IP 列表被输入其中，以发现已知与该 IP 相关的 URL。如果你拥有标准的 5 请求/分钟 API 密钥，我建议谨慎输入内容。你可以通过以下方式实现：

• 减少 Cymon 反馈的数量。
• 减少你的 OTX 订阅数量。
• 将 Hybrid Analysis 的 SCORE_MIN 参数设置为 100。

截图

版本说明

• 0.6.0： Tor 代理需要 pysocks（pip install pysocks）以及至少 2.10.0 版本的 python requests 以支持 SOCKS 代理。
• 0.9.0： 从 Phage Malware Tracker（私人项目）中提取了 OSINT 功能——需要 VirusTotal API 密钥。更稳健地获取野外文件。本地 URL 和哈希缓存（减少 API 负载）。
• 0.9.1： 更新为使用 V3 Viper API。不再与 V2 兼容。
• 1.0.0： 重大更新。从 Safari Guide 恶意软件管线中提取。插件架构。Python 3.0。
• 1.0.1： 来源更新（添加了 0xffff0800 的库）。样本现在可以使用 VirusTotal 来源的分类进行标记。

安装

以下脚本将安装 ph0neutria 以及 Viper 和 Tor：

wget https://raw.githubusercontent.com/phage-nz/ph0neutria/master/install.sh
chmod +x install.sh
sudo ./install.sh

就是这么简单！

可选：

配置额外的 ClamAV 签名：

cd /tmp
git clone https://github.com/extremeshok/clamav-unofficial-sigs
cd clamav-unofficial-sigs
cp clamav-unofficial-sigs.sh /usr/local/bin
chmod 755 /usr/local/bin/clamav-unofficial-sigs.sh
mkdir /etc/clamav-unofficial-sigs
cp config/* /etc/clamav-unofficial-sigs
cd /etc/clamav-unofficial-sigs

将 os.<你的发行版>.conf 重命名为 os.conf，例如：

mv os.ubuntu.conf os.conf

修改配置文件：

• master.conf： 搜索“Enabled Databases”并启用/禁用所需的来源。
• user.conf： 取消注释你已启用来源的相应行并填写完整。user.conf 会覆盖 master.conf。在完成设置后，你必须取消注释 user_configuration_complete="yes"，以便以下命令成功执行。

更多配置信息请参见：https://github.com/extremeshok/clamav-unofficial-sigs

mkdir /var/log/clamav-unofficial-sigs
clamav-unofficial-sigs.sh --install-cron
clamav-unofficial-sigs.sh --install-logrotate
clamav-unofficial-sigs.sh --install-man
clamav-unofficial-sigs.sh
cd /tmp/clamav-unofficial-sigs
cp systemd/\* /etc/systemd
cd ..
rm -rf clamav-unofficial-sigs*

下载新签名需要一些时间——在此期间 ClamAV 可能不可用。

使用说明

在构建你的恶意软件样本库时请采取预防措施：

• 除非用匿名 VPN 替代，否则不要禁用 Tor。
• 在隔离的网络上使用专用硬件操作。
• 仅在合适的沙箱中执行样本（参考：https://github.com/phage-nz/malware-hunting/tree/master/sandbox）。
• 监视你的 API 密钥是否被滥用。

确保 Tor 已启动：

service tor restart

启动 Viper API 和 Web 界面：

cd /opt/viper
sudo -H -u spider python3 viper-web

记下启动 Viper 时创建的管理员密码。使用该密码登录 http://<viper IP>:<viper port>/admin（默认：http://127.0.0.1:8080/admin），然后从 Tokens 页面获取 API 令牌。

主要的 Viper Web 界面将在 http://<viper IP>:<viper port>（默认：http://127.0.0.1:8080）可用。

• 完成配置文件：/opt/ph0neutria/core/config/settings.conf
• 完成每个插件顶部的参数。如果你想禁用某个插件，将 DISABLED 设置为 True：/opt/ph0neutria/core/plugins/*.py

启动 ph0neutria：

cd /opt/ph0neutria
sudo -H -u spider python3 run.py

你可以随时按 Ctrl+C 终止运行。你可以随时再次运行——不会产生数据库重复。

要每天运行，请在 /etc/cron.daily 中创建一个包含以下内容的脚本：

#!/bin/bash
cd /opt/ph0neutria && sudo -H -u spider python3 run.py*

标签和备注

标签： {1},{2},{3}

• 日期戳。
• 样本域名。
• 主机 ASN。
• 主机国家。

备注： {1}({2}) via {3}

• 样本 URL。
• 主机 IP 地址。
• URL 来源。

文件的原始名称构成 Viper 中的标识名称。

参考

• http://docs.cymon.io/ - Cymon API 文档。
• https://www.hybrid-analysis.com/docs/api/v2 - Hybrid Analysis API 文档。
• http://malshare.com/doc.php - MalShare API 文档。
• https://otx.alienvault.com/api - AlienVault OTX API 文档。
• https://urlhaus.abuse.ch/api/ - URLhaus API 文档。
• https://developer.shodan.io/api - Shodan API 文档。
• http://viper-framework.readthedocs.io/en/latest/usage/web.html - Viper API 文档。
• https://developers.virustotal.com/v2.0/reference - VirusTotal API 文档。