xioc

从文本中提取入侵指标（IoC），包括被“转义/去毒化”的指标，例如 hxxp://banana.com、1.1.1[.]1 和 phish at malicious dot com。

安装

• 从 https://github.com/assafmo/xioc/releases 下载预编译二进制文件

• 或者...使用 go get：

  go get -u github.com/assafmo/xioc
  

• 或者...使用 snap 安装（Ubuntu）：

  snap install xioc
  

• 或者使用 Ubuntu PPA：

  curl -SsL https://assafmo.github.io/ppa/ubuntu/KEY.gpg | sudo apt-key add -
  sudo curl -SsL -o /etc/apt/sources.list.d/assafmo.list https://assafmo.github.io/ppa/ubuntu/assafmo.list
  sudo apt update
  sudo apt install xioc
  

特性

• 从输入文本中提取入侵指标（IoC）：
  • IPv4
  • IPv6
  • 域名
  • URL
  • 电子邮件
  • MD5
  • SHA1
  • SHA256
• 转换某些类型的“转义”/“去毒化”技巧：
  • 将 (dot)、[dot]、(.)、[.]、{.} 转换为 .
  • 将 (at)、[at]、(@)、[@]、{@} 转换为 @
  • 将 hxxp、hzzzp、hxxxp、hXXp、h__p、h**p 转换为 http
• 命令行界面
• Go 库

命令行用法

$ xioc -h
Usage of xioc:
  -o string
        Extract only specified types.
        Types must be comma seperated. E.g: xioc -o "ip4,domain,url,md5"
        Available types:
                - ip4
                - ip6
                - domain
                - url
                - email
                - md5
                - sha1
                - sha256
  -v    Print version and exit

$ REPORT="https://unit42.paloaltonetworks.com/digital-quartermaster-scenario-demonstrated-in-attacks-against-the-mongolian-government/"
$ lynx -dump "$REPORT" | xioc
sha256  5beb50d95c1e720143ca0004f5172cb8881d75f6c9f434ceaff59f34fa1fe378
domain  energy.gov.mn
email   [email protected]
sha256  10090692ff40758a08bd66f806e0f2c831b4b9742bbf3d19c250e778de638f57
# ...

$ REPORT="https://unit42.paloaltonetworks.com/digital-quartermaster-scenario-demonstrated-in-attacks-against-the-mongolian-government/"
$ lynx -dump "$REPORT" | xioc -o email,sha256
sha256  5beb50d95c1e720143ca0004f5172cb8881d75f6c9f434ceaff59f34fa1fe378
email   [email protected]
sha256  10090692ff40758a08bd66f806e0f2c831b4b9742bbf3d19c250e778de638f57
email   [email protected]
# ...

库用法

完整 API：

package main

import (
	"fmt"

	"github.com/assafmo/xioc/xioc"
)

func main() {
	input := `e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855
	banana.com
	hxxp://i.robot.com/robots.txt
	1.2.3.4
	1.1.1[.]1
	info at gmail dot com
	hxxps://m.twitter[dot]com/`

	fmt.Println(xioc.ExtractDomains(input)) // => [i.robot.com m.twitter.com gmail.com banana.com]
	fmt.Println(xioc.ExtractSHA256s(input)) // => [e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855]
	fmt.Println(xioc.ExtractMD5s(input))    // => []
	fmt.Println(xioc.ExtractIPv4s(input))   // => [1.2.3.4 1.1.1.1]
	fmt.Println(xioc.ExtractURLs(input))    // => [http://i.robot.com/robots.txt https://m.twitter.com/]
	fmt.Println(xioc.ExtractEmails(input))  // => [[email protected]]
}

来源

• 测试邮箱地址：http://codefool.tumblr.com/post/15288874550/list-of-valid-and-invalid-email-addresses
• 域名可以以数字开头：https://serverfault.com/a/638270
• IPv6 示例：http://www.gestioip.net/docu/ipv6_address_examples.html
• 去毒化和恢复毒化 IoC：https://github.com/ioc-fang/ioc_fanger
• 入侵指标（去）毒化项目：https://ioc-fang.hightower.space/
• InQuest/python-iocextract 测试数据：https://github.com/InQuest/python-iocextract/tree/master/test_data
• 电子邮件地址可视为不区分大小写：https://stackoverflow.com/a/9808332