E si esegue il comando seguente. ```
root@kali:~/GyoiThon# python3 gyoithon.py -i --domain_list

Di conseguenza, ottieni un elenco di sottodomini e un rapporto di valutazione.  
|Indice|Dominio|Sottodominio|Indirizzo IP|Stato accesso (http)|Posizione (http)|Stato accesso (https)|Posizione (https)|Record Whois|Risultati valutazione|
|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|
|1|mbsd.jp|mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|301|https://www.mbsd.jp/|***|***|
|2|mbsd.jp|www.mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|200|-|-|***|
|3|mbsd.jp|www2.mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|200|-|-|***|

## Overview
GyoiThon è uno **strumento di raccolta informazioni** per server web.  

GyoiThon esegue **accesso remoto** al server web target e **identifica il prodotto operativo sul server** come CMS, software del server web, framework, linguaggio di programmazione, ecc. Inoltre, può **eseguire moduli di exploit** sui prodotti identificati utilizzando Metasploit. GyoiThon **esegue completamente in automatico** l'azione sopra descritta.  

Le caratteristiche principali di GyoiThon sono le seguenti.  

 * Accesso remoto/Completamente automatico  
 GyoiThon può **completamente in automatico** raccogliere le informazioni del server web target utilizzando solo **accesso remoto**. Devi eseguire GyoiThon una sola volta per la tua operazione.  

 * Test non distruttivo  
 GyoiThon può raccogliere informazioni del server web target utilizzando **solo accesso normale**.  
 Ma, quando utilizzi una parte delle opzioni, GyoiThon esegue accessi anomali, come l'invio di moduli di exploit.  

 * Raccolta di varie informazioni  
 GyoiThon dispone di vari motori di raccolta informazioni come Web crawler, Google Custom Search API, Censys, esploratore di contenuti predefiniti, esame dei servizi cloud, ecc. Analizzando le informazioni raccolte tramite **corrispondenza di pattern di stringhe** e **apprendimento automatico**, GyoiThon può identificare **prodotto/versione/numero CVE** operativi sul server web target, **commenti HTML non necessari**/**messaggi di debug**, **pagina di login** ecc.  

 * Esame delle vulnerabilità reali  
 GyoiThon può eseguire moduli di exploit sui prodotti identificati utilizzando Metasploit.  
 Di conseguenza, può **esaminare le vulnerabilità reali del server web target**.  

![Overview](https://raw.githubusercontent.com/gyoisamurai/GyoiThon/master/img/overview.png)

| Nota |
|:-----|
| Se sei interessato, **per favore usali in un ambiente sotto il tuo controllo e a tuo rischio**. |

## <a name='Installation'>Installazione</a>
1. git clone del repository di GyoiThon.```
root@kali:~# git clone https://github.com/gyoisamurai/GyoiThon.git

3. installa i pacchetti Python necessari.```
root@kali:~# cd GyoiThon
root@kali:~/GyoiThon# pip3 install -r requirements.txt
root@kali:~/GyoiThon# apt install python3-tk

### Preparazione.  
1. Modifica il file di destinazione `host.txt`.  
Devi scrivere il web server di destinazione nel file `host.txt`.  
Il formato di scrittura è `protocol FQDN(or IP address) Port Crawling_root_path`.  

* Esempio.```
https gyoithon.example.com 443 /

| Nota |
|:-----|
| Inserisci `/` all'inizio e alla fine di Root Path. |

2. Modifica il file di configurazione `config.ini`.  
I parametri da modificare dall'utente sono definiti nel file di impostazione `config.ini`.  
Se desideri modificare i parametri, modifica `config.ini`.  
I dettagli di `config.ini` sono [qui](https://github.com/gyoisamurai/GyoiThon/wiki/Configure).  

### Esecuzione di GyoiThon.  
#### <a name='default_mode'>1. Modalità predefinita.</a>```
root@kali:~/GyoiThon# python3 gyoithon.py

Aggiungendo l'opzione `-s`, GyoiThon identifica se il server web di destinazione utilizza un servizio cloud o meno, in aggiunta alla modalità predefinita.  
Prima dell'esecuzione, è necessario modificare il seguente parametro di `config.ini`.  

|Categoria|Parametro|Descrizione|
|:----|:----|:----|
|CloudChecker|azure_ip_range|URL di origine degli intervalli IP del datacenter Azure. |

Questo parametro è l'URL di origine degli intervalli IP del datacenter Azure. Questo URL cambia alcune volte al giorno. Quindi, è necessario ottenere l'URL più recente dal link "click here to download manually" della pagina "[Microsoft Azure Datacenter IP Ranges](https://www.microsoft.com/en-us/download/confirmation.aspx?id=41653)" e impostarlo nel parametro sopra prima di eseguire GyoiThon.  

#### 3. Modalità di analisi Machine Learning.```
root@kali:~/GyoiThon# python3 gyoithon.py -m

Aggiungendo l'opzione `-g`, GyoiThon identifica prodotti/versioni utilizzando l'API Google Custom Search in aggiunta alla modalità predefinita. Prima dell'esecuzione, è necessario impostare [API key](https://console.cloud.google.com/apis/dashboard) e [Search engine ID](https://support.google.com/customsearch/answer/2649143?hl=ja) nei seguenti parametri.  

|Categoria|Parametro|Descrizione|
|:----|:----|:----|
|GoogleHack|api_key|Chiave API di Google Custom Search API. |
||search_engine_id|ID del motore di ricerca Google. |

| Nota |
|:-----|
| Puoi utilizzare gratuitamente l'API Google Custom Search con 100 query al giorno. Tuttavia, se desideri utilizzare più di 100 query, devi pagare per il servizio Google Custom Search API. |

#### 5. Esplorazione della modalità contenuti predefinita.```
root@kali:~/GyoiThon# python3 gyoithon.py -e

Aggiungendo l'opzione `-c`, GyoiThon esamina il numero di porta aperta e la certificazione del server utilizzando [Censys](https://censys.io/).  
Prima dell'esecuzione, è necessario impostare la chiave API e la chiave segreta nei seguenti parametri.  

|Categoria|Parametro|Descrizione|
|:----|:----|:----|
|Censys|api_id|Chiave API di Censys. |
||secret|Chiave segreta di Censys. |

#### 7. Modalità di cooperazione Metasploit.```
root@kali:~/GyoiThon# python3 gyoithon.py -p

By add `-l` option, GyoiThon esegue vari esami utilizzando risposte HTTP memorizzate senza web crawling.

Questa modalità presuppone l'applicazione web per cui GyoiThon non può eseguire web crawling.
GyoiThon può eseguire vari esami simili al web crawling della modalità predefinita utilizzando risposte HTTP memorizzate raccolte da un proxy locale.

| Note |
|:-----|
| L'estensione del file di log è `.log`. |

#### <a name='complex_mode'>9. Combinazione di molteplici opzioni</a>.  
##### Combinazione della "modalità di esame dei servizi cloud" e della "modalità di analisi Machine Learning".```
root@kali:~/GyoiThon# python3 gyoithon.py -s -m

##### Combinazione di "Esame della modalità dei servizi cloud", "Modalità di analisi Machine Learning" e "Modalità Google Hacking".```
root@kali:~/GyoiThon# python3 gyoithon.py -s -m -g

#### <a name='generating_sig'>10. Modalità di generazione della firma/dei dati di training</a>.```
root@kali:~/GyoiThon# python3 gyoithon.py -d --category=CMS --vendor=joomla! [email protected]@_origin.tar.zip

GyoiThon genera i seguenti due tipi di report.  

 * `gyoithon_report_target FQDN(or IP address)_Port number_Root Path.csv`.  
 Questo è il report principale che include principalmente nome del prodotto, versione, CVE, ecc.  
 Il formato del report è `gyoithon_report_target FQDN(or IP address)_Port number_Root Path.csv`.  
 I dettagli di ciascuna colonna sono i seguenti.  

|Column|Description|Example|
|:----|:----|:----|
|fqdn|FQDN del server web di destinazione.|`www.gyoithon.example.com`|
|ip_addr|Indirizzo IP del server web di destinazione.|`192.168.220.129`|
|port|Numero di porta del server web di destinazione.|`80`|
|cloud_type|Nome del servizio cloud (Azure o AWS o GCP o Sconosciuto).|`AWS`|
|method|Modalità di esame di GyoiThon.|`Crawling`|
|url|URL visitato.|`http://192.168.220.129:80/WackoPicko/admin/index.php?page=login`|
|vendor_name|Nome del fornitore dei prodotti identificati.|`apache`|
|prod_name|Prodotti identificati.|`http_server`|
|prod_version|Versione dei prodotti identificati.|`2.2.14`|
|prod_trigger|Trigger dei prodotti identificati.|`Apache/2.2.14`|
|prod_type|Categoria del prodotto (Web o CMS o Framework, ecc.).|`Web`|
|prod_vuln|Numero CVE secondo i prodotti identificati (punteggio CVSS desc).|`CVE-2017-3167, CVE-2017-3169, CVE-2017-7668` ...|
|origin_login|Pagina di login presente o meno (Log: Analisi tramite Machine Leaerning, Url: Analisi tramite pattern matching di stringhe nell'URL).|`Log : 37.5 %\nUrl : 100.0 %`|
|origin_login_trigger|Trigger della pagina di login identificata.|`Log : name",<input type="password"\nUrl : login`|
|wrong_comment|Commenti superflui identificati.|`パスワードは「password1234」です。`|
|error_msg|Messaggi di debug superflui identificati.|`Warning: mysql_connect() ..snip.. in auth.php on line 38`|
|server_header|Intestazione Server della risposta HTTP.|`Server: Apache/2.2.14 (Ubuntu) mod_mono/2.4.3 PHP/5.3.2`|
|log|Percorso dei dati grezzi.|`/usr/home/~snip~/http_192.168.220.129_80_20181112170525765.log`|
|date|Data dell'esame.|`2018/11/12  17:05:25`|

 * `gyoithon_censys_report_target FQDN(or IP address)_Port number_Root Path.csv`.  
 Questo è il report dei risultati di ricerca utilizzando Censys che include porte aperte, informazioni sui certificati, ecc.  
 Il formato del report è `gyoithon_censys_report_target FQDN(or IP address)_Port number_Root Path.csv`.  
 I dettagli di ciascuna colonna sono i seguenti.  

|Column|Description|Example|
|:----|:----|:----|
|fqdn|FQDN del server web di destinazione.|`www.gyoithon.example.com`|
|ip_addr|Indirizzo IP del server web di destinazione.|`192.168.220.129`|
|category|Categoria delle informazioni.|`Server Info` o `Certification Info`|
|open_port|Porta web aperta.|`443`|
|protocol|Protocollo della porta web aperta.|`https`|
|sig_algorithm|Algoritmo di firma del certificato.|`SHA256-RSA`|
|cname|Nome comune del certificato.|`www.gyoithon.example.com`|
|valid_start|Data di inizio validità del certificato.|`2018-08-15T00:00:00Z`|
|valid_end|Data di fine validità del certificato.|`2019-09-16T12:00:00Z`|
|organization|Nome dell'organizzazione del certificato.|`GyoiThon coorporation, Inc.`|
|date|Data dell'esame.|`2018/11/22  11:19:36`|

| Nota |
|:-----|
| Poiché Censys necessita da diversi giorni a diverse settimane per esaminare l'intero Internet, le informazioni ottenute da Censys potrebbero non essere aggiornate.|

## <a name='Tips'>Consigli</a>
### 1. Come aggiungere manualmente una nuova firma (pattern di corrispondenza stringa).  
Il percorso `signatures` include i seguenti file.```
root@kali:~/GyoiThon/signatures/ ls
signature_product.txt
signature_default_content.txt
signature_search_query.txt
signature_comment.txt
signature_error.txt
signature_page_type_from_url.txt

|Type|Field#|Description|Example|
|:---|:---|:---|:---|
|Required|1|Categoria del prodotto.|`CMS`|
|Required|2|Nome del fornitore.|`drupal`|
|Required|3|Nome del prodotto.|`drupal`|
|Optional|4|Versione associata a questa firma.|`8.0` |
|Required|5|Regex per identificare il prodotto.|`.*(X-Generator: Drupal 8).*`|

Se non è necessario il campo opzionale, impostare `*` in questo campo.  * Esempio```
CMS@wordpress@wordpress@*@.*(WordPress ([0-9]+[\.0-9]*[\.0-9]*)).*
CMS@drupal@[email protected]@.*(X-Generator: Drupal 8).*

|Tipo|Campo#|Descrizione|Esempio|
|:---|:---|:---|:---|
|Richiesto|1|Categoria del prodotto.|`CMS`|
|Richiesto|2|Nome del venditore.|`sixapart`|
|Richiesto|3|Nome del prodotto.|`movabletype`|
|Opzionale|4|Versione associata a questa firma.|`*`|
|Richiesto|5|Percorso di esplorazione|`/readme.html`|
|Opzionale|6|Regex per confermare il prodotto.|`.*(Movable Type).*`|
|Opzionale|7|Regex per identificare la versione.|`(v=([0-9]+[\.0-9]*[\.0-9]*))`|
|Richiesto|8|Pagina di login o no.|Pagina di login è `1`, Pagina non di login è `0`|

Se non hai bisogno di un campo opzionale, devi impostare `*` per questo campo.  

* Esempio```
Web@apache@http_server@*@/server-status@*@Version:.*(Apache/([0-9]+[\.0-9]*[\.0-9]*))@0
CMS@sixapart@movabletype@*@/readme.html@.*(Movable Type).*@(v=([0-9]+[\.0-9]*[\.0-9]*))@0

|Tipo|Campo#|Descrizione|Esempio|
|:---|:---|:---|:---|
|Opzionale|1|Categoria del prodotto.|`CMS`|
|Opzionale|2|Nome del fornitore.|`sixapart`|
|Opzionale|3|Nome del prodotto.|`movabletype`|
|Opzionale|4|Versione associata a questa firma.|`*` |
|Obbligatorio|5|Query di ricerca personalizzata Google|`inurl:/readme.html`|
|Opzionale|6|Regex per confermare il prodotto.|`.*(Movable Type).*`|
|Opzionale|7|Regex per identificare la versione.|`(v=([0-9]+[\.0-9]*[\.0-9]*))`|
|Opzionale|8|Pagina di login o meno.|Pagina di login è `1`, Pagina non di login è `0`|

Se non hai bisogno di un campo opzionale, devi impostare `*` su quel campo.  

* Esempio```
Web@apache@http_server@*@inurl:/server-status@*@Version:.*(Apache/([0-9]+[\.0-9]*[\.0-9]*))@0
CMS@sixapart@movabletype@*@inurl:/readme.html@.*(Movable Type).*@(v=([0-9]+[\.0-9]*[\.0-9]*))@0
*@*@*@*@filetype:bak@*@*@0

|Tipo|Campo#|Descrizione|
|:---|:---|:---|
|Obbligatorio|1|Regex del commento non necessario.|

* Esempio```
(user\s*=|[\"']user[\"']\s*:|user_id\s*=|[\"']user_id[\"']\s*:|id\s*=|[\"']id[\"']\s*:)
(select\s+[\s\r\n\w\d,\"']*\s+from)

|Tipo|Campo#|Descrizione|
|:---|:---|:---|
|Obbligatorio|1|Regex del messaggio di debug non necessario.|

* Esempio```
(ORA-[0-9a-zA-Z\.])
(fail|error|notice|parse|warning|fatal)[^\n]*line[^\n]*[0-9]+

|Tipo|Campo#|Descrizione|
|:---|:---|:---|
|Obbligatorio|1|Tipo di pagina.|
|Obbligatorio|2|Regex per identificare il tipo di pagina.|

* Esempio```
Login@.*(login|log_in|logon|log_on|signin|sign_in).*

#### `train_cms_in.txt`  
Questi sono dati di addestramento per l'analisi di Machine Learning in <a name='machine_learning_mode'>Modalità Machine Learning</a>.  
Se desideri aggiungere nuovi dati di addestramento, devi scriverli nel seguente formato.```
Format: field1@field2@field3@field4

|Note|
|:---|
|Il nome del fornitore e il nome del prodotto sopra devono corrispondere a un nome nel [formato CPE](https://en.wikipedia.org/wiki/Common_Platform_Enumeration).|

#### `train_page_type.txt`  
Questi sono dati di addestramento per identificare il tipo di pagina utilizzando il Machine Learning in <a name='default_mode'>modalità predefinita</a>.  
Se si desidera aggiungere nuovi dati di addestramento, è necessario scriverli in questo formato.```
Format: field1@field2

### 3. Come cambiare "l'opzione del modulo Exploit".
Quando GyoiThon sfrutta, utilizza il **valore predefinito** delle opzioni del modulo Exploit.  
Se si desidera cambiare i valori delle opzioni, inserire qualsiasi valore in `"user_specify"` in `exploit_tree.json` come segue.```
root@kali:~/GyoiThon/modules/data/ ls
exploit_tree.json
root@kali:~/GyoiThon/modules/data/ vim exploit_tree.json

...snip...

"unix/webapp/joomla_media_upload_exec": {
    "targets": {
        "0": [
            "generic/custom",
            "generic/shell_bind_tcp",
            "generic/shell_reverse_tcp",

...snip...

        "TARGETURI": {
            "type": "string",
            "required": true,
            "advanced": false,
            "evasion": false,
            "desc": "The base path to Joomla",
            "default": "/joomla",
            "user_specify": "/my_original_dir/"
        },