IOC Scraper

IOC Scraper 利用 IOCPARSER 服务从不同厂商的博客、PDF 和 CSV 文件中获取 IOC。解析 IOC 是一个耗时过程，使用当前脚本可以轻松自动提取和聚合 IOC。

功能

去混淆 IOC：支持提取和去混淆 IOC。
白名单 IOC：支持自定义 IOC 白名单。
源类型：支持多种来源，如博客、PDF、CSV 等。

支持的 IOC 类型

IOC Scraper 支持多种 IOC 类型。

IOC 类型	状态
ASN	支持
IPv4、IPv6	支持
URL、域名	支持
Email	支持
MD5、SHA1、SHA256、文件名	支持
MAC 地址	支持
MITRE ATT&CK ID	支持
YARA 规则	支持

安装

git clone https://www.github.com/chaitanyakrishna/iocscraper.git
pip3 install -f requirements.txt

用法

python IOC_Scraper.py -h
 ___ ___   ____   ____
|_ _/ _ \ / ___| / ___|  ___ _ __ __ _ _ __   ___ _ __
 | | | | | |     \___ \ / __| '__/ _` | '_ \ / _ \ '__|
 | | |_| | |___   ___) | (__| | | (_| | |_) |  __/ |
|___\___/ \____| |____/ \___|_|  \__,_| .__/ \___|_|
                                      |_|


usage: IOC_Scraper.py [-h] [-u URL] [-uL FILE_CONTAINING_URLS] [-t TIMEOUT]  [-th THREADNUMBER] -o OUTPUT

IOC_Scraper v1.0

可选参数:
  -h, --help            显示此帮助信息并退出
  -u URL, --url         用于获取 IOC 的单个 URL
  -uL FILE_CONTAINING_URLS, --url-list FILE_CONTAINING_URLS 包含 URL 的文件，每行一个 URL
  -t TIMEOUT, --timeout TIMEOUT HTTP 请求超时时间，默认=60
  -th THREADNUMBER, --thread THREADNUMBER 并行 HTTP 请求数，默认=100

必需参数:
  -o OUTPUT, --output OUTPUT 输出文件名。

示例命令行参数

python iocscraper.py -u "http://targeturl.com" -o report

python iocscraper.py -uL urls.txt -o report

输出


python IOC_Scraper.py -uL url_list.txt -o report
 ___ ___   ____   ____
|_ _/ _ \ / ___| / ___|  ___ _ __ __ _ _ __   ___ _ __
 | | | | | |     \___ \ / __| '__/ _` | '_ \ / _ \ '__|
 | | |_| | |___   ___) | (__| | | (_| | |_) |  __/ |
|___\___/ \____| |____/ \___|_|  \__,_| .__/ \___|_|
                                      |_|


====================================================================================================
[Date: 20-01-2022] [Time: 23:03:09] [INFO] Initiating IOC Scraper ...
====================================================================================================
[*] ProgressBar: 14/14 [Fethcing IOC from: thehackernews.com] [Errors: 0] ...  0] ...  ...
[Date: 20-01-2022] [Time: 23:03:13] [INFO] Removing Duplicates ...



====================================================================================================
[Date: 20-01-2022] [Time: 23:03:13] [INFO] Fetched IOCs from the following domains
====================================================================================================


1.  blog.aquasec.com
2.  nationalcybersecurity.com
3.  cofense.com
4.  thehackernews.com
5.  blog.sucuri.net
6.  threats.amnpardaz.com
7.  www.crowdstrike.com
8.  www.bleepingcomputer.com
9.  forensicitguy.github.io
10.  marcusedmondson.com
11.  rajhackingarticles.blogspot.com
12.  research.checkpoint.com
13.  www.reddit.com
14.  www.zerofox.com


====================================================================================================
[Date: 20-01-2022] [Time: 23:03:13] [INFO] Indicator of Compromise Stats
====================================================================================================


Domain           : 52
URL              : 26
IPv4             : 15
IPv6             : 0
ASN              : 0
FILE_HASH_MD5    : 24
FILE_HASH_SHA1   : 16
FILE_HASH_SHA256 : 3
MITRE_ATTACK     : 4
EMAIL            : 3
CVE              : 7
FILE_NAME        : 59
YARA_RULE        : 0
MAC_ADDRESS      : 0


====================================================================================================
[Date: 20-01-2022] [Time: 23:03:13] [INFO] Total IOCs: 209
====================================================================================================

API 参考

API 参考

作者

Chaitanya Krishna

关注

致谢

服务由 IOCParser 提供 - @IOCParser

IOCScraper

最受欢迎