然后执行以下命令。 ```
root@kali:~/GyoiThon# python3 gyoithon.py -i --domain_list

因此，您将获得子域名列表和评估报告。  
|索引|域名|子域名|IP地址|访问状态（http）|位置（http）|访问状态（https）|位置（https）|Whois记录|评估结果|
|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|
|1|mbsd.jp|mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|301|https://www.mbsd.jp/|***|***|
|2|mbsd.jp|www.mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|200|-|-|***|
|3|mbsd.jp|www2.mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|200|-|-|***|

## 概述
GyoiThon 是一款用于 **Web 服务器的情报收集工具**。  

GyoiThon 对目标 Web 服务器执行 **远程访问**，并 **识别服务器上运行的产品**，例如 CMS、Web 服务器软件、框架、编程语言等。此外，它还可以使用 Metasploit 对已识别的产品 **执行漏洞利用模块**。GyoiThon **完全自动执行**上述操作。  

GyoiThon 的主要功能如下：  

 * 远程访问/全自动  
 GyoiThon 可以 **完全自动** 收集目标 Web 服务器的信息，仅通过 **远程访问**。您只需为一次操作执行 GyoiThon 即可。  

 * 非破坏性测试  
 GyoiThon 仅通过 **正常访问** 收集目标 Web 服务器的信息。  
 但是，当您使用部分选项时，GyoiThon 会执行异常访问，例如发送漏洞利用模块。  

 * 收集多种信息  
 GyoiThon 拥有多种情报收集引擎，例如 Web 爬虫、Google 自定义搜索 API、Censys、默认内容探索、云服务检查等。通过使用 **字符串模式匹配** 和 **机器学习** 分析收集到的信息，GyoiThon 可以识别目标 Web 服务器上运行的 **产品/版本/CVE 编号**、**不必要的 HTML 注释**/**调试信息**、**登录页面** 等。  

 * 检查真实漏洞  
 GyoiThon 可以使用 Metasploit 对已识别的产品执行漏洞利用模块。  
 因此，它可以 **检查目标 Web 服务器的真实漏洞**。  

![概述](https://raw.githubusercontent.com/gyoisamurai/GyoiThon/master/img/overview.png)

| 注意 |
|:-----|
| 如果您感兴趣，**请在您控制的环境下自行承担风险使用它们**。 |

## <a name='安装'>安装</a>
1. 克隆 GyoiThon 的仓库。```
root@kali:~# git clone https://github.com/gyoisamurai/GyoiThon.git

3. 安装所需的 python 包。```
root@kali:~# cd GyoiThon
root@kali:~/GyoiThon# pip3 install -r requirements.txt
root@kali:~/GyoiThon# apt install python3-tk

### 准备工作。  
1. 编辑目标文件 `host.txt`。  
你需要在 `host.txt` 中写入目标 Web 服务器。  
写入格式为 `protocol FQDN(or IP address) Port Crawling_root_path`。  

* 示例。```
https gyoithon.example.com 443 /

| 注意 |
|:-----|
| 你需要在根路径的开头和结尾插入 `/`。 |

2. 编辑配置文件 `config.ini`。  
用户需要更改的参数定义在配置文件 `config.ini` 中。  
如果要更改参数，请编辑 `config.ini`。  
`config.ini` 的详细信息见[此处](https://github.com/gyoisamurai/GyoiThon/wiki/Configure)。  

### 执行 GyoiThon。  
#### <a name='default_mode'>1. 默认模式。</a>```
root@kali:~/GyoiThon# python3 gyoithon.py

通过添加 `-s` 选项，GyoiThon 在默认模式之外还能识别目标 Web 服务器是否使用了云服务。  
在执行之前，您必须修改 `config.ini` 中的以下参数。  

|类别|参数|描述|
|:----|:----|:----|
|CloudChecker|azure_ip_range|Azure 数据中心 IP 范围的源 URL。 |

此参数是 Azure 数据中心 IP 范围的源 URL。该 URL 每天会变更几次。因此，您必须从页面 "[Microsoft Azure Datacenter IP Ranges](https://www.microsoft.com/en-us/download/confirmation.aspx?id=41653)" 上的 "click here to download manually" 链接获取最新 URL，并在执行 GyoiThon 之前将其设置到上述参数中。  

#### 3. 机器学习分析模式。```
root@kali:~/GyoiThon# python3 gyoithon.py -m

通过添加 `-g` 选项，GyoiThon 除了默认模式外，还使用 Google Custom Search API 识别产品/版本。在执行之前，您必须将 [API 密钥](https://console.cloud.google.com/apis/dashboard) 和 [搜索引擎 ID](https://support.google.com/customsearch/answer/2649143?hl=ja) 设置到以下参数中。  

|类别|参数|描述|
|:----|:----|:----|
|GoogleHack|api_key|Google Custom Search API 的 API 密钥。|
||search_engine_id|Google 搜索引擎 ID。|

| 注意 |
|:-----|
| 您每天可使用免费的 Google Custom Search API 进行 100 次查询。但是，如果您想使用超过 100 次查询，您必须支付 Google Custom Search API 服务费用。 |

#### 5. 探索默认内容模式。```
root@kali:~/GyoiThon# python3 gyoithon.py -e

通过添加 `-c` 选项，GyoiThon 使用 [Censys](https://censys.io/) 检查开放端口号和服务器证书。  
执行前，必须将 API 密钥和 Secret 密钥设置到以下参数中。  

|Category|Parameter|Description|
|:----|:----|:----|
|Censys|api_id|Censys 的 API 密钥。 |
||secret|Censys 的 Secret 密钥。 |

#### 7. Metasploit 协作模式。```
root@kali:~/GyoiThon# python3 gyoithon.py -p

通过添加 `-l` 选项，GyoiThon 使用存储的 HTTP 响应执行各种检查，而无需进行网络爬取。  

此模式适用于 GyoiThon 无法执行网络爬取的 Web 应用程序。  
GyoiThon 可以使用本地代理工具收集的存储 HTTP 响应，执行类似于默认模式下网络爬取的各种检查。  

| 注意 |
|:-----|
| 日志文件的扩展名是 `.log`。 |

#### <a name='complex_mode'>9. 组合多个选项</a>.  
##### "云服务检查"模式与"机器学习分析"模式的组合。```
root@kali:~/GyoiThon# python3 gyoithon.py -s -m

##### "云服务模式检查"、"机器学习分析模式"和"Google Hacking模式"的组合。```
root@kali:~/GyoiThon# python3 gyoithon.py -s -m -g

#### <a name='generating_sig'>10. 生成签名/训练数据模式</a>.```
root@kali:~/GyoiThon# python3 gyoithon.py -d --category=CMS --vendor=joomla! [email protected]@_origin.tar.zip

GyoiThon 生成以下两种类型的报告。

* `gyoithon_report_target FQDN(或 IP 地址)_端口号_Root 路径.csv`。
这是主要报告，主要包含产品名称、版本、CVE 等内容。
报告格式为 `gyoithon_report_target FQDN(或 IP 地址)_端口号_Root 路径.csv`。
各列详细信息如下。

|列|描述|示例|
|:----|:----|:----|
|fqdn|目标 Web 服务器的 FQDN。|`www.gyoithon.example.com`|
|ip_addr|目标 Web 服务器的 IP 地址。|`192.168.220.129`|
|port|目标 Web 服务器的端口号。|`80`|
|cloud_type|云服务名称（Azure 或 AWS 或 GCP 或 Unknown）。|`AWS`|
|method|GyoiThon 的检测方式。|`Crawling`|
|url|访问的 URL。|`http://192.168.220.129:80/WackoPicko/admin/index.php?page=login`|
|vendor_name|已识别产品的供应商名称。|`apache`|
|prod_name|已识别的产品。|`http_server`|
|prod_version|已识别产品的版本。|`2.2.14`|
|prod_trigger|已识别产品的触发条件。|`Apache/2.2.14`|
|prod_type|产品类别（Web、CMS、Framework 等）。|`Web`|
|prod_vuln|与已识别产品对应的 CVE 编号（按 CVSS 分数降序排列）。|`CVE-2017-3167, CVE-2017-3169, CVE-2017-7668` ...|
|origin_login|登录页面是否存在（Log：使用机器学习分析，Url：使用 URL 字符串模式匹配分析）。|`Log : 37.5 %\nUrl : 100.0 %`|
|origin_login_trigger|识别登录页面的触发条件。|`Log : name",<input type="password"\nUrl : login`|
|wrong_comment|识别出的不必要的注释。|`パスワードは「password1234」です。`|
|error_msg|识别出的不必要的调试信息。|`Warning: mysql_connect() ..snip.. in auth.php on line 38`|
|server_header|HTTP 响应的服务器头。|`Server: Apache/2.2.14 (Ubuntu) mod_mono/2.4.3 PHP/5.3.2`|
|log|原始数据路径。|`/usr/home/~snip~/http_192.168.220.129_80_20181112170525765.log`|
|date|检测日期。|`2018/11/12  17:05:25`|

* `gyoithon_censys_report_target FQDN(或 IP 地址)_端口号_Root 路径.csv`。
这是使用 Censys 的搜索结果报告，包含开放端口、证书信息等。
报告格式为 `gyoithon_censys_report_target FQDN(或 IP 地址)_端口号_Root 路径.csv`。
各列详细信息如下。

|列|描述|示例|
|:----|:----|:----|
|fqdn|目标 Web 服务器的 FQDN。|`www.gyoithon.example.com`|
|ip_addr|目标 Web 服务器的 IP 地址。|`192.168.220.129`|
|category|信息类别。|`Server Info` 或 `Certification Info`|
|open_port|开放的 Web 端口。|`443`|
|protocol|开放 Web 端口的协议。|`https`|
|sig_algorithm|证书的签名算法。|`SHA256-RSA`|
|cname|证书的通用名称。|`www.gyoithon.example.com`|
|valid_start|证书的有效期起始日期。|`2018-08-15T00:00:00Z`|
|valid_end|证书的有效期结束日期。|`2019-09-16T12:00:00Z`|
|organization|证书的组织名称。|`GyoiThon coorporation, Inc.`|
|date|检测日期。|`2018/11/22  11:19:36`|

| 注意 |
|:-----|
| 由于 Censys 需要数天到数周才能扫描整个互联网，因此从 Censys 获取的信息可能不是最新的。|

## <a name='Tips'>提示</a>
### 1. 如何手动添加新签名（字符串匹配模式）。
`signatures` 路径包含以下文件。```
root@kali:~/GyoiThon/signatures/ ls
signature_product.txt
signature_default_content.txt
signature_search_query.txt
signature_comment.txt
signature_error.txt
signature_page_type_from_url.txt

|类型|字段#|描述|示例|
|:---|:---|:---|:---|
|必需|1|产品类别。|`CMS`|
|必需|2|厂商名称。|`drupal`|
|必需|3|产品名称。|`drupal`|
|可选|4|与该签名绑定的版本。|`8.0` |
|必需|5|识别产品的正则表达式。|`.*(X-Generator: Drupal 8).*`|

如果不需要可选字段，则必须将该字段设置为 `*`。  

* 示例```
CMS@wordpress@wordpress@*@.*(WordPress ([0-9]+[\.0-9]*[\.0-9]*)).*
CMS@drupal@[email protected]@.*(X-Generator: Drupal 8).*

|Type|Field#|Description|Example|
|:---|:---|:---|:---|
|必需|1|产品类别。|`CMS`|
|必需|2|供应商名称。|`sixapart`|
|必需|3|产品名称。|`movabletype`|
|可选|4|与此签名绑定的版本。|`*` |
|必需|5|探索路径|`/readme.html`|
|可选|6|用于确认产品的正则表达式。|`.*(Movable Type).*`|
|可选|7|用于识别版本的正则表达式。|`(v=([0-9]+[\.0-9]*[\.0-9]*))`|
|必需|8|是否为登录页面。|登录页面为`1`，非登录页面为`0`|

如果不需要可选字段，您必须将此字段设置为`*`。  

* 示例```
Web@apache@http_server@*@/server-status@*@Version:.*(Apache/([0-9]+[\.0-9]*[\.0-9]*))@0
CMS@sixapart@movabletype@*@/readme.html@.*(Movable Type).*@(v=([0-9]+[\.0-9]*[\.0-9]*))@0

|类型|字段#|描述|示例|
|:---|:---|:---|:---|
|可选|1|产品类别。|`CMS`|
|可选|2|供应商名称。|`sixapart`|
|可选|3|产品名称。|`movabletype`|
|可选|4|与此签名绑定的版本。|`*` |
|必需|5|Google 自定义搜索查询|`inurl:/readme.html`|
|可选|6|用于确认产品的正则表达式。|`.*(Movable Type).*`|
|可选|7|用于识别版本的正则表达式。|`(v=([0-9]+[\.0-9]*[\.0-9]*))`|
|可选|8|是否为登录页面。|登录页面为`1`，非登录页面为`0`|

如果不需要可选字段，则必须将该字段设为`*`。  

* 示例```
Web@apache@http_server@*@inurl:/server-status@*@Version:.*(Apache/([0-9]+[\.0-9]*[\.0-9]*))@0
CMS@sixapart@movabletype@*@inurl:/readme.html@.*(Movable Type).*@(v=([0-9]+[\.0-9]*[\.0-9]*))@0
*@*@*@*@filetype:bak@*@*@0

|类型|字段#|描述|
|:---|:---|:---|
|必需|1|无关注释的正则表达式。|

* 示例```
(user\s*=|[\"']user[\"']\s*:|user_id\s*=|[\"']user_id[\"']\s*:|id\s*=|[\"']id[\"']\s*:)
(select\s+[\s\r\n\w\d,\"']*\s+from)

|类型|字段#|描述|
|:---|:---|:---|
|必需|1|不必要调试信息的正则表达式。|

* 示例```
(ORA-[0-9a-zA-Z\.])
(fail|error|notice|parse|warning|fatal)[^\n]*line[^\n]*[0-9]+

|类型|字段#|描述|
|:---|:---|:---|
|必需|1|页面类型。|
|必需|2|识别页面类型的正则表达式。|

* 示例```
Login@.*(login|log_in|logon|log_on|signin|sign_in).*

#### `train_cms_in.txt`  
这是用于<a name='machine_learning_mode'>机器学习模式</a>中机器学习分析的训练数据。  
如果要添加新的训练数据，必须按照以下格式编写。```
Format: field1@field2@field3@field4

|注意|
|:---|
|上述供应商名称和产品名称必须与[CPE格式](https://en.wikipedia.org/wiki/Common_Platform_Enumeration)中的名称匹配。|

#### `train_page_type.txt`  
这是用于在<a name='default_mode'>默认模式</a>下使用机器学习识别页面类型的训练数据。  
如果你想要添加新的训练数据，你需要按照以下格式编写。```
Format: field1@field2

### 3. 如何更改“漏洞利用模块的选项”。
当 GyoiThon 进行漏洞利用时，它使用漏洞利用模块选项的**默认值**。  
如果您想更改选项值，请在 `exploit_tree.json` 中的 `"user_specify"` 输入任意值，如下所示。```
root@kali:~/GyoiThon/modules/data/ ls
exploit_tree.json
root@kali:~/GyoiThon/modules/data/ vim exploit_tree.json

...snip...

"unix/webapp/joomla_media_upload_exec": {
    "targets": {
        "0": [
            "generic/custom",
            "generic/shell_bind_tcp",
            "generic/shell_reverse_tcp",

...snip...

        "TARGETURI": {
            "type": "string",
            "required": true,
            "advanced": false,
            "evasion": false,
            "desc": "The base path to Joomla",
            "default": "/joomla",
            "user_specify": "/my_original_dir/"
        },