그리고 다음 명령어를 실행합니다. ```
root@kali:~/GyoiThon# python3 gyoithon.py -i --domain_list

|Index|도메인|서브도메인|IP 주소|접근 상태 (http)|위치 (http)|접근 상태 (https)|위치 (https)|Whois 레코드|평가 결과|
|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|
|1|mbsd.jp|mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|301|https://www.mbsd.jp/|***|***|
|2|mbsd.jp|www.mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|200|-|-|***|
|3|mbsd.jp|www2.mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|200|-|-|***|

## 개요
GyoiThon은 웹 서버를 위한 **정보 수집 도구**입니다.  

GyoiThon은 대상 웹 서버에 **원격 접속**을 수행하여 **서버에서 운영 중인 제품**(CMS, 웹 서버 소프트웨어, 프레임워크, 프로그래밍 언어 등)을 **식별**합니다. 또한, 식별된 제품에 대해 Metasploit을 사용하여 **익스플로잇 모듈을 실행**할 수 있습니다. GyoiThon은 이러한 작업을 **완전 자동으로 수행**합니다.  

GyoiThon의 주요 기능은 다음과 같습니다.  

 * 원격 접속/완전 자동  
 GyoiThon은 **원격 접속만**으로 대상 웹 서버의 정보를 **완전 자동으로** 수집할 수 있습니다. 작업을 위해 GyoiThon을 한 번만 실행하면 됩니다.  

 * 비파괴적 테스트  
 GyoiThon은 **정상적인 접근만**을 사용하여 대상 웹 서버의 정보를 수집할 수 있습니다.  
 단, 일부 옵션을 사용할 경우 익스플로잇 모듈 전송과 같은 비정상적인 접근을 수행할 수도 있습니다.  

 * 다양한 정보 수집  
 GyoiThon은 웹 크롤러, Google Custom Search API, Censys, 기본 콘텐츠 탐색기, 클라우드 서비스 검사 등 다양한 정보 수집 엔진을 갖추고 있습니다. **문자열 패턴 매칭**과 **머신러닝**을 사용하여 수집된 정보를 분석함으로써 대상 웹 서버에서 운영 중인 **제품/버전/CVE 번호**, **불필요한 HTML 주석**/**디버그 메시지**, **로그인 페이지** 등을 식별할 수 있습니다.  

 * 실제 취약점 검사  
 GyoiThon은 Metasploit을 통해 식별된 제품에 대한 익스플로잇 모듈을 실행할 수 있습니다.  
 그 결과 **대상 웹 서버의 실제 취약점을 검사**할 수 있습니다.  

![Overview](https://raw.githubusercontent.com/gyoisamurai/GyoiThon/master/img/overview.png)

| 참고 |
|:-----|
| 관심이 있다면, **자신이 통제할 수 있는 환경에서 본인의 책임 하에 사용하시기 바랍니다**. |

## <a name='Installation'>설치</a>
1. GyoiThon 리포지토리를 git clone 합니다.```
root@kali:~# git clone https://github.com/gyoisamurai/GyoiThon.git

3. 필요한 파이썬 패키지를 설치하세요.```
root@kali:~# cd GyoiThon
root@kali:~/GyoiThon# pip3 install -r requirements.txt
root@kali:~/GyoiThon# apt install python3-tk

### 준비.  
1. 대상 파일 `host.txt`를 편집합니다.  
`host.txt`에 대상 웹 서버를 작성해야 합니다.  
작성 형식은 `protocol FQDN(또는 IP 주소) Port Crawling_root_path`입니다.  

* 예시.```
https gyoithon.example.com 443 /

| 참고 |
|:-----|
| Root Path의 시작과 끝에 `/`를 입력하세요. |

2. 설정 파일 `config.ini` 편집.  
사용자가 변경해야 할 매개변수는 설정 파일 `config.ini`에 정의되어 있습니다.  
매개변수를 변경하려면 `config.ini`를 편집하십시오.  
`config.ini`에 대한 자세한 내용은 [여기](https://github.com/gyoisamurai/GyoiThon/wiki/Configure)에 있습니다.  

### GyoiThon 실행.  
#### <a name='default_mode'>1. 기본 모드.</a>```
root@kali:~/GyoiThon# python3 gyoithon.py

By add `-s` option, GyoiThon identifies target web server uses cloud service or not  in addition to default mode.  
Before execution, you must change the below parameter of `config.ini`.  

|Category|Parameter|Description|
|:----|:----|:----|
|CloudChecker|azure_ip_range|Source URL of Azure Datacenter IP Ranges. |

This parameter is source URL of Azure Datacenter IP range. This URL is changed a few per day. So, you must get the latest URL from link "click here to download manually" of page "[Microsoft Azure Datacenter IP Ranges](https://www.microsoft.com/en-us/download/confirmation.aspx?id=41653)" and set it to above parameter before execute GyoiThon.  

#### 3. Machine Learning analysis mode.```
root@kali:~/GyoiThon# python3 gyoithon.py -m

By add `-g` option, GyoiThon identifies products/version using Google Custom Search API in addition to default mode. Before execution, you must set [API key](https://console.cloud.google.com/apis/dashboard) and [Search engine ID](https://support.google.com/customsearch/answer/2649143?hl=ja) to the below parameters.  

|범주|매개변수|설명|
|:----|:----|:----|
|GoogleHack|api_key|Google Custom Search API의 API 키. |
||search_engine_id|Google 검색 엔진 ID. |

| 참고 |
|:-----|
| 하루 100회 쿼리의 무료 Google Custom Search API를 사용할 수 있습니다. 그러나 100회 이상의 쿼리를 사용하려면 Google Custom Search API 서비스 비용을 지불해야 합니다. |

#### 5. 기본 콘텐츠 모드 탐색.```
root@kali:~/GyoiThon# python3 gyoithon.py -e

`-c` 옵션을 추가하면, GyoiThon은 [Censys](https://censys.io/)를 사용하여 열린 포트 번호와 서버 인증을 검사합니다.  
실행 전에, 아래 매개변수에 API 키와 시크릿 키를 설정해야 합니다.  

|카테고리|매개변수|설명|
|:----|:----|:----|
|Censys|api_id|Censys의 API 키. |
||secret|Censys의 시크릿 키. |

#### 7. Metasploit 협력 모드.```
root@kali:~/GyoiThon# python3 gyoithon.py -p

`-l` 옵션을 추가하면 GyoiThon은 웹 크롤링 없이 저장된 HTTP 응답을 사용하여 다양한 검사를 수행합니다.

이 모드는 GyoiThon이 웹 크롤링을 실행할 수 없는 웹 애플리케이션을 가정합니다.  
GyoiThon은 로컬 프록시 도구로 수집된 저장된 HTTP 응답을 사용하여 기본 모드의 웹 크롤링과 유사한 다양한 검사를 수행할 수 있습니다.

| 참고 |
|:-----|
| 로그 파일의 확장자는 `.log`입니다. |

#### <a name='complex_mode'>9. 여러 옵션의 조합</a>.  
##### "클라우드 서비스 검사 모드"와 "머신 러닝 분석 모드"의 조합.```
root@kali:~/GyoiThon# python3 gyoithon.py -s -m

##### "클라우드 서비스 모드 검사", "머신러닝 분석 모드" 및 "구글 해킹 모드"의 조합```
root@kali:~/GyoiThon# python3 gyoithon.py -s -m -g

#### <a name='generating_sig'>10. 시그니처/훈련 데이터 모드 생성</a>.```
root@kali:~/GyoiThon# python3 gyoithon.py -d --category=CMS --vendor=joomla! [email protected]@_origin.tar.zip

GyoiThon은 다음 두 가지 유형의 보고서를 생성합니다.

* `gyoithon_report_target FQDN(또는 IP 주소)_포트번호_루트경로.csv`
  이는 주로 제품명, 버전, CVE 등을 포함하는 주요 보고서입니다.
  보고서 형식은 `gyoithon_report_target FQDN(또는 IP 주소)_포트번호_루트경로.csv`입니다.
  각 열의 세부 정보는 다음과 같습니다.

|열|설명|예시|
|:----|:----|:----|
|fqdn|대상 웹 서버의 FQDN|`www.gyoithon.example.com`|
|ip_addr|대상 웹 서버의 IP 주소|`192.168.220.129`|
|port|대상 웹 서버의 포트 번호|`80`|
|cloud_type|클라우드 서비스 이름(Azure, AWS, GCP 또는 Unknown)|`AWS`|
|method|GyoiThon의 검사 방식|`Crawling`|
|url|접근한 URL|`http://192.168.220.129:80/WackoPicko/admin/index.php?page=login`|
|vendor_name|식별된 제품의 벤더명|`apache`|
|prod_name|식별된 제품|`http_server`|
|prod_version|식별된 제품의 버전|`2.2.14`|
|prod_trigger|식별된 제품의 트리거|`Apache/2.2.14`|
|prod_type|제품 카테고리(Web, CMS, Framework 등)|`Web`|
|prod_vuln|식별된 제품에 따른 CVE 번호(CVSS 점수 내림차순)|`CVE-2017-3167, CVE-2017-3169, CVE-2017-7668` ...|
|origin_login|로그인 페이지 존재 여부(Log: 머신러닝 분석, Url: URL 문자열 패턴 매칭 분석)|`Log : 37.5 %\nUrl : 100.0 %`|
|origin_login_trigger|식별된 로그인 페이지의 트리거|`Log : name",<input type="password"\nUrl : login`|
|wrong_comment|식별된 불필요한 주석|`パスワードは「password1234」です。`|
|error_msg|식별된 불필요한 디버그 메시지|`Warning: mysql_connect() ..snip.. in auth.php on line 38`|
|server_header|HTTP 응답의 Server 헤더|`Server: Apache/2.2.14 (Ubuntu) mod_mono/2.4.3 PHP/5.3.2`|
|log|원시 데이터의 경로|`/usr/home/~snip~/http_192.168.220.129_80_20181112170525765.log`|
|date|검사 일자|`2018/11/12  17:05:25`|

* `gyoithon_censys_report_target FQDN(또는 IP 주소)_포트번호_루트경로.csv`
  이는 Censys를 사용한 검색 결과 보고서로, 오픈 포트, 인증 정보 등을 포함합니다.
  보고서 형식은 `gyoithon_censys_report_target FQDN(또는 IP 주소)_포트번호_루트경로.csv`입니다.
  각 열의 세부 정보는 다음과 같습니다.

|열|설명|예시|
|:----|:----|:----|
|fqdn|대상 웹 서버의 FQDN|`www.gyoithon.example.com`|
|ip_addr|대상 웹 서버의 IP 주소|`192.168.220.129`|
|category|정보 카테고리|`Server Info` 또는 `Certification Info`|
|open_port|오픈 웹 포트|`443`|
|protocol|오픈 웹 포트의 프로토콜|`https`|
|sig_algorithm|인증의 서명 알고리즘|`SHA256-RSA`|
|cname|인증의 공통명|`www.gyoithon.example.com`|
|valid_start|인증의 유효 시작일|`2018-08-15T00:00:00Z`|
|valid_end|인증의 유효 종료일|`2019-09-16T12:00:00Z`|
|organization|인증의 조직명|`GyoiThon coorporation, Inc.`|
|date|검사 일자|`2018/11/22  11:19:36`|

| 참고 |
|:-----|
| Censys는 전체 인터넷을 조사하는 데 며칠에서 몇 주가 소요되므로 Censys에서 얻은 정보는 최신 상태가 아닐 수 있습니다.|

## <a name='Tips'>팁</a>
### 1. 새 시그니처(문자열 매칭 패턴)를 수동으로 추가하는 방법
`signatures` 경로에는 다음 파일들이 포함되어 있습니다.```
root@kali:~/GyoiThon/signatures/ ls
signature_product.txt
signature_default_content.txt
signature_search_query.txt
signature_comment.txt
signature_error.txt
signature_page_type_from_url.txt

|유형|필드#|설명|예시|
|:---|:---|:---|:---|
|필수|1|제품 카테고리.|`CMS`|
|필수|2|공급업체 이름.|`drupal`|
|필수|3|제품 이름.|`drupal`|
|선택|4|이 서명과 바인딩된 버전.|`8.0` |
|필수|5|제품 식별을 위한 정규식.|`.*(X-Generator: Drupal 8).*`|

선택 필드가 필요하지 않은 경우, 해당 필드에 `*`를 설정해야 합니다.  

* 예시```
CMS@wordpress@wordpress@*@.*(WordPress ([0-9]+[\.0-9]*[\.0-9]*)).*
CMS@drupal@[email protected]@.*(X-Generator: Drupal 8).*

|유형|필드#|설명|예시|
|:---|:---|:---|:---|
|필수|1|제품 카테고리.|`CMS`|
|필수|2|공급업체 이름.|`sixapart`|
|필수|3|제품 이름.|`movabletype`|
|선택|4|이 시그니처와 연결된 버전.|`*` |
|필수|5|탐색 경로|`/readme.html`|
|선택|6|제품 확인을 위한 정규식.|`.*(Movable Type).*`|
|선택|7|버전 식별을 위한 정규식.|`(v=([0-9]+[\.0-9]*[\.0-9]*))`|
|필수|8|로그인 페이지 여부.|로그인 페이지는 `1`, 로그인 페이지가 아니면 `0`|

선택 필드가 필요하지 않은 경우, 이 필드에 `*`를 설정해야 합니다.  

* 예제```
Web@apache@http_server@*@/server-status@*@Version:.*(Apache/([0-9]+[\.0-9]*[\.0-9]*))@0
CMS@sixapart@movabletype@*@/readme.html@.*(Movable Type).*@(v=([0-9]+[\.0-9]*[\.0-9]*))@0

|Type|Field#|Description|Example|
|:---|:---|:---|:---|
|Optional|1|제품 카테고리.|`CMS`|
|Optional|2|벤더 이름.|`sixapart`|
|Optional|3|제품 이름.|`movabletype`|
|Optional|4|이 서명과 연동된 버전.|`*`|
|Required|5|Google Custom Search 질의|`inurl:/readme.html`|
|Optional|6|제품 확인을 위한 정규식.|`.*(Movable Type).*`|
|Optional|7|버전 식별을 위한 정규식.|`(v=([0-9]+[\.0-9]*[\.0-9]*))`|
|Optional|8|로그인 페이지 여부.|로그인 페이지는 `1`, 로그인 페이지가 아니면 `0`|

선택적 필드가 필요하지 않은 경우, 이 필드에 `*`를 설정해야 합니다.  

* 예시```
Web@apache@http_server@*@inurl:/server-status@*@Version:.*(Apache/([0-9]+[\.0-9]*[\.0-9]*))@0
CMS@sixapart@movabletype@*@inurl:/readme.html@.*(Movable Type).*@(v=([0-9]+[\.0-9]*[\.0-9]*))@0
*@*@*@*@filetype:bak@*@*@0

|유형|필드#|설명|
|:---|:---|:---|
|필수|1|불필요한 주석의 Regex|

* 예시```
(user\s*=|[\"']user[\"']\s*:|user_id\s*=|[\"']user_id[\"']\s*:|id\s*=|[\"']id[\"']\s*:)
(select\s+[\s\r\n\w\d,\"']*\s+from)

|유형|필드#|설명|
|:---|:---|:---|
|필수|1|불필요한 디버그 메시지의 정규 표현식.|

* 예시```
(ORA-[0-9a-zA-Z\.])
(fail|error|notice|parse|warning|fatal)[^\n]*line[^\n]*[0-9]+

|Type|Field#|Description|
|:---|:---|:---|
|Required|1|페이지 유형.|
|Required|2|페이지 유형을 식별하는 정규식.|

* 예시```
Login@.*(login|log_in|logon|log_on|signin|sign_in).*

#### `train_cms_in.txt`  
이는 <a name='machine_learning_mode'>머신러닝 모드</a>에서 머신러닝 분석을 위한 훈련 데이터입니다.  
새로운 훈련 데이터를 추가하려면 다음 형식으로 작성해야 합니다.```
Format: field1@field2@field3@field4

|참고|
|:---|
|위의 벤더명과 제품명은 [CPE 형식](https://en.wikipedia.org/wiki/Common_Platform_Enumeration)의 이름과 일치해야 합니다.|

#### `train_page_type.txt`  
이것은 <a name='default_mode'>기본 모드</a>에서 머신 러닝을 사용하여 페이지 유형을 식별하기 위한 학습 데이터입니다.  
새로운 학습 데이터를 추가하려면 다음 형식으로 작성해야 합니다.```
Format: field1@field2

### 3. "Exploit 모듈 옵션"을 변경하는 방법.
GyoiThon이 익스플로잇을 수행할 때, **기본값**의 Exploit 모듈 옵션을 사용합니다.  
옵션 값을 변경하려면 `exploit_tree.json`의 `"user_specify"`에 값을 입력하십시오. 다음과 같이.```
root@kali:~/GyoiThon/modules/data/ ls
exploit_tree.json
root@kali:~/GyoiThon/modules/data/ vim exploit_tree.json

...snip...

"unix/webapp/joomla_media_upload_exec": {
    "targets": {
        "0": [
            "generic/custom",
            "generic/shell_bind_tcp",
            "generic/shell_reverse_tcp",

...snip...

        "TARGETURI": {
            "type": "string",
            "required": true,
            "advanced": false,
            "evasion": false,
            "desc": "The base path to Joomla",
            "default": "/joomla",
            "user_specify": "/my_original_dir/"
        },