そして、次のコマンドを実行します。 ```
root@kali:~/GyoiThon# python3 gyoithon.py -i --domain_list

|インデックス|ドメイン|サブドメイン|IPアドレス|アクセス状態(http)|ロケーション(http)|アクセス状態(https)|ロケーション(https)|Whoisレコード|評価結果|
|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|
|1|mbsd.jp|mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|301|https://www.mbsd.jp/|***|***|
|2|mbsd.jp|www.mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|200|-|-|***|
|3|mbsd.jp|www2.mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|200|-|-|***|

## 概要
GyoiThonはWebサーバの**インテリジェンス収集ツール**です。  

GyoiThonは対象のWebサーバに**リモートアクセス**し、CMS、Webサーバソフトウェア、フレームワーク、プログラミング言語などの**サーバ上で稼働している製品を特定**します。そして、Metasploitを使用して特定した製品に対して**エクスプロイトモジュールを実行**できます。GyoiThonは上記のアクションを**完全自動で実行**します。  

GyoiThonの主な機能は以下の通りです。  

 * リモートアクセス/完全自動  
 GyoiThonは、**リモートアクセス**のみを使用して対象Webサーバの情報を**完全自動で**収集できます。操作のためにGyoiThonを一度実行するだけで済みます。  

 * 非破壊テスト  
 GyoiThonは、**通常のアクセスのみ**を使用して対象Webサーバの情報を収集できます。  
 ただし、一部のオプションを使用すると、GyoiThonはエクスプロイトモジュールの送信などの異常なアクセスを実行します。  

 * 多様な情報の収集  
 GyoiThonには、Webクローラー、Google Custom Search API、Censys、デフォルトコンテンツの探索、クラウドサービスの調査など、さまざまなインテリジェンス収集エンジンがあります。収集した情報を**文字列パターンマッチング**と**機械学習**を用いて分析することで、GyoiThonは対象Webサーバで稼働している**製品/バージョン/CVE番号**、**不要なHTMLコメント**/**デバッグメッセージ**、**ログインページ**などを特定できます。  

 * 実際の脆弱性の調査  
 GyoiThonはMetasploitを使用して特定された製品に対してエクスプロイトモジュールを実行できます。  
 その結果、**対象Webサーバの実際の脆弱性を調査**できます。  

![Overview](https://raw.githubusercontent.com/gyoisamurai/GyoiThon/master/img/overview.png)

| 注意 |
|:-----|
| ご興味があれば、**ご自身の管理下の環境で自己責任でご利用ください**。 |

## <a name='Installation'>インストール</a>
1. GyoiThonのリポジトリをgit cloneします。```
root@kali:~# git clone https://github.com/gyoisamurai/GyoiThon.git

3. 必要なPythonパッケージをインストールしてください。```
root@kali:~# cd GyoiThon
root@kali:~/GyoiThon# pip3 install -r requirements.txt
root@kali:~/GyoiThon# apt install python3-tk

### 準備.
1. 対象ファイル `host.txt` を編集します。
`host.txt` に対象のWebサーバーを記述する必要があります。
記述形式は `protocol FQDN(またはIPアドレス) Port Crawling_root_path` です。

* 例.```
https gyoithon.example.com 443 /

| 注意 |
|:-----|
| ルートパスの先頭と末尾に`/`を挿入します。 |

2. 設定ファイル`config.ini`を編集します。  
ユーザーが変更するパラメータは設定ファイル`config.ini`に定義されています。  
パラメータを変更する場合は、`config.ini`を編集してください。  
`config.ini`の詳細は[こちら](https://github.com/gyoisamurai/GyoiThon/wiki/Configure)です。  

### GyoiThonの実行。  
#### <a name='default_mode'>1. デフォルトモード。</a>```
root@kali:~/GyoiThon# python3 gyoithon.py

`-s` オプションを追加することで、GyoiThon はデフォルトモードに加えて、対象の Web サーバーがクラウドサービスを使用しているかどうかを識別します。  
実行前に、`config.ini` の以下のパラメータを変更する必要があります。  

|カテゴリ|パラメータ|説明|
|:----|:----|:----|
|CloudChecker|azure_ip_range|Azure データセンター IP 範囲のソース URL。 |

このパラメータは、Azure データセンター IP 範囲のソース URL です。この URL は 1 日に数回変更されます。そのため、GyoiThon を実行する前に、ページ「[Microsoft Azure Datacenter IP Ranges](https://www.microsoft.com/en-us/download/confirmation.aspx?id=41653)」のリンク「click here to download manually」から最新の URL を取得し、上記のパラメータに設定する必要があります。  

#### 3. 機械学習分析モード。```
root@kali:~/GyoiThon# python3 gyoithon.py -m

`-g`オプションを追加することで、GyoiThonはデフォルトモードに加えてGoogle Custom Search APIを使用して製品/バージョンを識別します。実行前に、以下のパラメータに[APIキー](https://console.cloud.google.com/apis/dashboard)と[検索エンジンID](https://support.google.com/customsearch/answer/2649143?hl=ja)を設定する必要があります。  

|カテゴリ|パラメータ|説明|
|:----|:----|:----|
|GoogleHack|api_key|Google Custom Search APIのAPIキー。|
||search_engine_id|Google検索エンジンID。|

| 注意 |
|:-----|
| 1日あたり100回のクエリを無料で使用できるGoogle Custom Search APIを利用できます。ただし、100回を超えて使用する場合は、Google Custom Search APIサービスの料金を支払う必要があります。 |

#### 5. デフォルトコンテンツモードの探索。```
root@kali:~/GyoiThon# python3 gyoithon.py -e

`-c`オプションを追加することで、GyoiThonは[Censys](https://censys.io/)を使用して開放ポート番号とサーバー証明書を検査します。  
実行前に、以下のパラメータにAPIキーとシークレットキーを設定する必要があります。  

|カテゴリ|パラメータ|説明|
|:----|:----|:----|
|Censys|api_id|CensysのAPIキー。 |
||secret|Censysのシークレットキー。 |

#### 7. Metasploit連携モード。```
root@kali:~/GyoiThon# python3 gyoithon.py -p

`-l`オプションを追加することで、GyoiThonはWebクローリングを行わずに、保存されたHTTPレスポンスを使用して様々な検査を実行します。  

このモードは、GyoiThonがWebクローリングを実行できないWebアプリケーションを想定しています。  
GyoiThonは、ローカルプロキシツールによって収集された保存済みHTTPレスポンスを使用して、デフォルトモードのWebクローリングと同様の様々な検査を実行できます。  

| 注意 |
|:-----|
| ログファイルの拡張子は`.log`です。 |

#### <a name='complex_mode'>9. 複数のオプションの組み合わせ</a>.  
##### 「クラウドサービス検査モード」と「機械学習分析モード」の組み合わせ。```
root@kali:~/GyoiThon# python3 gyoithon.py -s -m

##### 「クラウドサービスモードの検証」、「機械学習分析モード」、「Google Hackingモード」の組み合わせ。```
root@kali:~/GyoiThon# python3 gyoithon.py -s -m -g

#### <a name='generating_sig'>10. シグネチャ/トレインデータ生成モード</a>.```
root@kali:~/GyoiThon# python3 gyoithon.py -d --category=CMS --vendor=joomla! [email protected]@_origin.tar.zip

GyoiThon は以下の2種類のレポートを生成します。

 * `gyoithon_report_target FQDN(or IP address)_Port number_Root Path.csv`  
 これは主に製品名、バージョン、CVEなどを含むメインレポートです。  
 レポート形式は `gyoithon_report_target FQDN(or IP address)_Port number_Root Path.csv` です。  
 各カラムの詳細は以下の通りです。

|Column|Description|Example|
|:----|:----|:----|
|fqdn|対象WebサーバのFQDN|`www.gyoithon.example.com`|
|ip_addr|対象WebサーバのIPアドレス|`192.168.220.129`|
|port|対象Webサーバのポート番号|`80`|
|cloud_type|クラウドサービス名（Azure、AWS、GCP、またはUnknown）|`AWS`|
|method|GyoiThonの検査方法|`Crawling`|
|url|アクセスしたURL|`http://192.168.220.129:80/WackoPicko/admin/index.php?page=login`|
|vendor_name|特定された製品のベンダー名|`apache`|
|prod_name|特定された製品|`http_server`|
|prod_version|特定された製品のバージョン|`2.2.14`|
|prod_trigger|製品特定のトリガー|`Apache/2.2.14`|
|prod_type|製品カテゴリ（Web、CMS、Frameworkなど）|`Web`|
|prod_vuln|特定された製品に基づくCVE番号（降順CVSSスコア）|`CVE-2017-3167, CVE-2017-3169, CVE-2017-7668` ...|
|origin_login|ログインページの有無（Log：機械学習による解析、Url：URLの文字列パターンマッチングによる解析）|`Log : 37.5 %\nUrl : 100.0 %`|
|origin_login_trigger|ログインページ特定のトリガー|`Log : name",<input type="password"\nUrl : login`|
|wrong_comment|特定された不要なコメント|`パスワードは「password1234」です。`|
|error_msg|特定された不要なデバッグメッセージ|`Warning: mysql_connect() ..snip.. in auth.php on line 38`|
|server_header|HTTPレスポンスのServerヘッダ|`Server: Apache/2.2.14 (Ubuntu) mod_mono/2.4.3 PHP/5.3.2`|
|log|生データのパス|`/usr/home/~snip~/http_192.168.220.129_80_20181112170525765.log`|
|date|検査日時|`2018/11/12  17:05:25`|

 * `gyoithon_censys_report_target FQDN(or IP address)_Port number_Root Path.csv`  
 これはCensysを使用した検索結果レポートで、オープンポートや証明書情報などを含みます。  
 レポート形式は `gyoithon_censys_report_target FQDN(or IP address)_Port number_Root Path.csv` です。  
 各カラムの詳細は以下の通りです。

|Column|Description|Example|
|:----|:----|:----|
|fqdn|対象WebサーバのFQDN|`www.gyoithon.example.com`|
|ip_addr|対象WebサーバのIPアドレス|`192.168.220.129`|
|category|情報カテゴリ|`Server Info` または `Certification Info`|
|open_port|公開Webポート|`443`|
|protocol|公開Webポートのプロトコル|`https`|
|sig_algorithm|証明書の署名アルゴリズム|`SHA256-RSA`|
|cname|証明書のコモンネーム|`www.gyoithon.example.com`|
|valid_start|証明書の有効開始日|`2018-08-15T00:00:00Z`|
|valid_end|証明書の有効終了日|`2019-09-16T12:00:00Z`|
|organization|証明書の組織名|`GyoiThon coorporation, Inc.`|
|date|検査日時|`2018/11/22  11:19:36`|

| 注意 |
|:-----|
| Censysはインターネット全体を調査するために数日から数週間を要するため、Censysから得られる情報は最新ではない可能性があります。|

## <a name='Tips'>ヒント</a>
### 1. 新しいシグネチャ（文字列マッチングパターン）を手動で追加する方法
`signatures` パスには以下のファイルが含まれています。```
root@kali:~/GyoiThon/signatures/ ls
signature_product.txt
signature_default_content.txt
signature_search_query.txt
signature_comment.txt
signature_error.txt
signature_page_type_from_url.txt

|Type|Field#|Description|例|
|:---|:---|:---|:---|
|Required|1|製品カテゴリ。|`CMS`|
|Required|2|ベンダー名。|`drupal`|
|Required|3|製品名。|`drupal`|
|Optional|4|このシグネチャにバインドされたバージョン。|`8.0`|
|Required|5|製品を識別する正規表現。|`.*(X-Generator: Drupal 8).*`|

オプションフィールドが不要な場合は、このフィールドに `*` を設定する必要があります。

* 例```
CMS@wordpress@wordpress@*@.*(WordPress ([0-9]+[\.0-9]*[\.0-9]*)).*
CMS@drupal@[email protected]@.*(X-Generator: Drupal 8).*

|型|フィールド#|説明|例|
|:---|:---|:---|:---|
|必須|1|製品カテゴリ。|`CMS`|
|必須|2|ベンダー名。|`sixapart`|
|必須|3|製品名。|`movabletype`|
|任意|4|このシグネチャに紐付けられたバージョン。|`*` |
|必須|5|探索パス。|`/readme.html`|
|任意|6|製品を確認するための正規表現。|`.*(Movable Type).*`|
|任意|7|バージョンを特定するための正規表現。|`(v=([0-9]+[\.0-9]*[\.0-9]*))`|
|必須|8|ログインページかどうか。|ログインページの場合は`1`、ログインページでない場合は`0`|

任意フィールドが不要な場合は、そのフィールドに`*`を設定する必要があります。

* 例```
Web@apache@http_server@*@/server-status@*@Version:.*(Apache/([0-9]+[\.0-9]*[\.0-9]*))@0
CMS@sixapart@movabletype@*@/readme.html@.*(Movable Type).*@(v=([0-9]+[\.0-9]*[\.0-9]*))@0

|タイプ|フィールド#|説明|例|
|:---|:---|:---|:---|
|オプション|1|製品カテゴリ。|`CMS`|
|オプション|2|ベンダー名。|`sixapart`|
|オプション|3|製品名。|`movabletype`|
|オプション|4|このシグネチャに紐付けるバージョン。|`*`|
|必須|5|Googleカスタム検索クエリ|`inurl:/readme.html`|
|オプション|6|製品を確認するための正規表現。|`.*(Movable Type).*`|
|オプション|7|バージョンを識別するための正規表現。|`(v=([0-9]+[\.0-9]*[\.0-9]*))`|
|オプション|8|ログインページかどうか。ログインページの場合は`1`、ログインページでない場合は`0`。|

オプションフィールドが必要ない場合、このフィールドには`*`を設定する必要があります。  

* 例```
Web@apache@http_server@*@inurl:/server-status@*@Version:.*(Apache/([0-9]+[\.0-9]*[\.0-9]*))@0
CMS@sixapart@movabletype@*@inurl:/readme.html@.*(Movable Type).*@(v=([0-9]+[\.0-9]*[\.0-9]*))@0
*@*@*@*@filetype:bak@*@*@0

|Type|Field#|Description|
|:---|:---|:---|
|Required|1|不要なコメントの正規表現。|

* 例```
(user\s*=|[\"']user[\"']\s*:|user_id\s*=|[\"']user_id[\"']\s*:|id\s*=|[\"']id[\"']\s*:)
(select\s+[\s\r\n\w\d,\"']*\s+from)

|種類|フィールド#|説明|
|:---|:---|:---|
|必須|1|不要なデバッグメッセージの正規表現。|

* 例```
(ORA-[0-9a-zA-Z\.])
(fail|error|notice|parse|warning|fatal)[^\n]*line[^\n]*[0-9]+

|Type|Field#|Description|
|:---|:---|:---|
|必須||1|ページタイプ。|
|必須||2|ページタイプを識別する正規表現。|

* 例```
Login@.*(login|log_in|logon|log_on|signin|sign_in).*

#### `train_cms_in.txt`  
これは、<a name='machine_learning_mode'>Machine Learning mode</a>における機械学習分析のためのトレーニングデータです。  
新しいトレーニングデータを追加したい場合は、次のような形式で記述する必要があります。```
Format: field1@field2@field3@field4

|注記|
|:---|
|上記のベンダー名と製品名は、[CPE形式](https://en.wikipedia.org/wiki/Common_Platform_Enumeration)の名前と一致する必要があります。|

#### `train_page_type.txt`  
これは、<a name='default_mode'>デフォルトモード</a>で機械学習を使用してページタイプを識別するための訓練データです。  
新しい訓練データを追加する場合は、以下の形式で記述する必要があります。```
Format: field1@field2

### 3. "Exploit module's option"の変更方法
GyoiThonがエクスプロイトを実行する際、Exploitモジュールオプションの**デフォルト値**を使用します。  
オプション値を変更したい場合は、以下のように`exploit_tree.json`内の`"user_specify"`に任意の値を入力してください。```
root@kali:~/GyoiThon/modules/data/ ls
exploit_tree.json
root@kali:~/GyoiThon/modules/data/ vim exploit_tree.json

...snip...

"unix/webapp/joomla_media_upload_exec": {
    "targets": {
        "0": [
            "generic/custom",
            "generic/shell_bind_tcp",
            "generic/shell_reverse_tcp",

...snip...

        "TARGETURI": {
            "type": "string",
            "required": true,
            "advanced": false,
            "evasion": false,
            "desc": "The base path to Joomla",
            "default": "/joomla",
            "user_specify": "/my_original_dir/"
        },