Et vous exécutez la commande suivante. ```
root@kali:~/GyoiThon# python3 gyoithon.py -i --domain_list

En conséquence, vous obtenez une liste de sous-domaines et un rapport d'évaluation.  
|Index|Domaine|Sous-Domaine|Adresse IP|Statut d'accès (http)|Emplacement (http)|Statut d'accès (https)|Emplacement (https)|Enregistrements Whois|Résultats d'évaluation|
|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|
|1|mbsd.jp|mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|301|https://www.mbsd.jp/|***|***|
|2|mbsd.jp|www.mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|200|-|-|***|
|3|mbsd.jp|www2.mbsd.jp|['40.115.251.148']|301|https://www.mbsd.jp/|200|-|-|***|

## Aperçu
GyoiThon est un **outil de renseignement** pour serveur Web.  

GyoiThon exécute un **accès à distance** au serveur Web cible et **identifie les produits opérant sur le serveur** tels que CMS, logiciel serveur Web, Framework, Langage de programmation, etc. Et il peut **exécuter des modules d'exploitation** sur les produits identifiés en utilisant Metasploit. GyoiThon **exécute entièrement automatiquement** les actions ci-dessus.  

Les principales fonctionnalités de GyoiThon sont les suivantes.  

 * Accès à distance/Entièrement automatique  
 GyoiThon peut **collecter automatiquement** les informations du serveur Web cible en utilisant uniquement un **accès à distance**. Vous n'exécutez GyoiThon qu'une seule fois pour votre opération.  

 * Test non destructif  
 GyoiThon peut collecter des informations du serveur Web cible en utilisant **uniquement un accès normal**.  
 Mais, lorsque vous utilisez une partie des options, GyoiThon exécute un accès anormal tel que l'envoi de modules d'exploitation.  

 * Collecte de diverses informations  
 GyoiThon dispose de divers moteurs de renseignement tels que le Web crawler, Google Custom Search API, Censys, explorateur de contenus par défaut, examen des services cloud, etc. En analysant les informations collectées à l'aide de la **correspondance de motifs de chaînes** et de **l'apprentissage automatique**, GyoiThon peut identifier **le produit/la version/le numéro CVE** opérant sur le serveur Web cible, **les commentaires HTML inutiles**/**les messages de débogage**, **la page de connexion**, etc.  

 * Examen des vulnérabilités réelles  
 GyoiThon peut exécuter des modules d'exploitation sur les produits identifiés en utilisant Metasploit.  
 En conséquence, il peut **examiner la vulnérabilité réelle du serveur Web cible**.  

![Aperçu](https://raw.githubusercontent.com/gyoisamurai/GyoiThon/master/img/overview.png)

| Remarque |
|:---------|
| Si vous êtes intéressé, **veuillez les utiliser dans un environnement sous votre contrôle et à vos propres risques**. |

## <a name='Installation'>Installation</a>
1. Clonez le dépôt de GyoiThon avec git.```
root@kali:~# git clone https://github.com/gyoisamurai/GyoiThon.git

3. installer les paquets Python requis.```
root@kali:~# cd GyoiThon
root@kali:~/GyoiThon# pip3 install -r requirements.txt
root@kali:~/GyoiThon# apt install python3-tk

### Préparation.  
1. Modifier le fichier cible `host.txt`.  
Vous devez écrire le serveur web cible dans le fichier `host.txt`.  
Le format d'écriture est `protocol FQDN(or IP address) Port Crawling_root_path`.  

* Exemple.```
https gyoithon.example.com 443 /

| Note |
|:-----|
| Vous insérez `/` au début et à la fin du chemin racine. |

2. Modifier le fichier de configuration `config.ini`.  
Les paramètres à modifier par l'utilisateur sont définis dans le fichier de configuration `config.ini`.  
Si vous souhaitez modifier les paramètres, éditez `config.ini`.  
Les détails de `config.ini` sont [ici](https://github.com/gyoisamurai/GyoiThon/wiki/Configure).  

### Exécution de GyoiThon.  
#### <a name='default_mode'>1. Mode par défaut.</a>```
root@kali:~/GyoiThon# python3 gyoithon.py

En ajoutant l'option `-s`, GyoiThon identifie si le serveur web cible utilise un service cloud ou non en plus du mode par défaut.  
Avant l'exécution, vous devez modifier le paramètre suivant de `config.ini`.  

|Catégorie|Paramètre|Description|
|:----|:----|:----|
|CloudChecker|azure_ip_range|URL source des plages d'adresses IP des centres de données Azure. |

Ce paramètre est l'URL source de la plage d'adresses IP des centres de données Azure. Cette URL est modifiée plusieurs fois par jour. Vous devez donc obtenir la dernière URL à partir du lien « cliquez ici pour télécharger manuellement » de la page « [Microsoft Azure Datacenter IP Ranges](https://www.microsoft.com/en-us/download/confirmation.aspx?id=41653) » et la définir dans le paramètre ci-dessus avant d'exécuter GyoiThon.  

#### 3. Mode d'analyse par apprentissage automatique.```
root@kali:~/GyoiThon# python3 gyoithon.py -m

En ajoutant l'option `-g`, GyoiThon identifie les produits/versions en utilisant l'API Google Custom Search en plus du mode par défaut. Avant l'exécution, vous devez définir la [clé API](https://console.cloud.google.com/apis/dashboard) et l'[ID du moteur de recherche](https://support.google.com/customsearch/answer/2649143?hl=ja) dans les paramètres ci-dessous.  

|Catégorie|Paramètre|Description|
|:----|:----|:----|
|GoogleHack|api_key|Clé API de l'API Google Custom Search. |
||search_engine_id|ID du moteur de recherche Google. |

| Remarque |
|:-----|
| Vous pouvez utiliser gratuitement l'API Google Custom Search pour 100 requêtes par jour. Mais si vous souhaitez utiliser plus de 100 requêtes, vous devez payer des frais pour le service Google Custom Search API. |

#### 5. Exploration du mode de contenu par défaut.```
root@kali:~/GyoiThon# python3 gyoithon.py -e

En ajoutant l'option `-c`, GyoiThon examine le numéro de port ouvert et la certification du serveur en utilisant [Censys](https://censys.io/).  
Avant l'exécution, vous devez définir la clé API et la clé secrète dans les paramètres ci-dessous.  

|Category|Parameter|Description|
|:----|:----|:----|
|Censys|api_id|Clé API de Censys. |
||secret|Clé secrète de Censys. |

#### 7. Mode de coopération Metasploit.```
root@kali:~/GyoiThon# python3 gyoithon.py -p

En ajoutant l'option `-l`, GyoiThon exécute divers examens en utilisant des réponses HTTP stockées sans crawl web.  

Ce mode suppose que GyoiThon ne peut pas effectuer de crawl web sur l'application web.  
GyoiThon peut exécuter divers examens similaires au crawl web du mode par défaut en utilisant les réponses HTTP stockées recueillies par un outil proxy local.  

| Note |
|:-----|
| L'extension du fichier journal est `.log`. |

#### <a name='complex_mode'>9. Combinaison d'options multiples</a>.  
##### Combinaison du "Mode d'examen des services cloud" et du "Mode d'analyse d'apprentissage automatique".```
root@kali:~/GyoiThon# python3 gyoithon.py -s -m

##### Combinaison du mode "Examen des services cloud", du mode "Analyse par apprentissage automatique" et du mode "Google Hacking".```
root@kali:~/GyoiThon# python3 gyoithon.py -s -m -g

#### <a name='generating_sig'>10. Génération du mode de données de signature/entraînement</a>.```
root@kali:~/GyoiThon# python3 gyoithon.py -d --category=CMS --vendor=joomla! [email protected]@_origin.tar.zip

GyoiThon génère les deux types de rapports suivants.

 * `gyoithon_report_target FQDN(ou adresse IP)_Numéro de port_Chemin racine.csv`.  
 Ceci est le rapport principal qui inclut principalement le nom du produit, la version, le CVE, etc.  
 Le format du rapport est `gyoithon_report_target FQDN(ou adresse IP)_Numéro de port_Chemin racine.csv`.  
 Les détails de chaque colonne sont les suivants.

|Colonne|Description|Exemple|
|:----|:----|:----|
|fqdn|Nom de domaine complet du serveur web cible.|`www.gyoithon.example.com`|
|ip_addr|Adresse IP du serveur web cible.|`192.168.220.129`|
|port|Numéro de port du serveur web cible.|`80`|
|cloud_type|Nom du service cloud (Azure, AWS, GCP ou Inconnu).|`AWS`|
|method|Méthode d'examen de GyoiThon.|`Crawling`|
|url|URL accédée.|`http://192.168.220.129:80/WackoPicko/admin/index.php?page=login`|
|vendor_name|Nom du fournisseur des produits identifiés.|`apache`|
|prod_name|Produits identifiés.|`http_server`|
|prod_version|Version des produits identifiés.|`2.2.14`|
|prod_trigger|Déclencheur des produits identifiés.|`Apache/2.2.14`|
|prod_type|Catégorie du produit (Web, CMS, Framework, etc.).|`Web`|
|prod_vuln|Numéro CVE correspondant aux produits identifiés (desc score CVSS).|`CVE-2017-3167, CVE-2017-3169, CVE-2017-7668` ...|
|origin_login|La page de connexion existe ou non (Log : Analyse via Machine Learning, Url : Analyse via correspondance de motifs dans l'URL).|`Log : 37.5 %\nUrl : 100.0 %`|
|origin_login_trigger|Déclencheur de la page de connexion identifiée.|`Log : name",<input type="password"\nUrl : login`|
|wrong_comment|Commentaires inutiles identifiés.|`パスワードは「password1234」です。`|
|error_msg|Messages de débogage inutiles identifiés.|`Warning: mysql_connect() ..snip.. in auth.php on line 38`|
|server_header|En-tête Serveur de la réponse HTTP.|`Server: Apache/2.2.14 (Ubuntu) mod_mono/2.4.3 PHP/5.3.2`|
|log|Chemin des données brutes.|`/usr/home/~snip~/http_192.168.220.129_80_20181112170525765.log`|
|date|Date d'examen.|`2018/11/12  17:05:25`|

 * `gyoithon_censys_report_target FQDN(ou adresse IP)_Numéro de port_Chemin racine.csv`.  
 Ceci est le rapport de résultats de recherche utilisant Censys, qui inclut les ports ouverts, les informations de certification, etc.  
 Le format du rapport est `gyoithon_censys_report_target FQDN(ou adresse IP)_Numéro de port_Chemin racine.csv`.  
 Les détails de chaque colonne sont les suivants.

|Colonne|Description|Exemple|
|:----|:----|:----|
|fqdn|Nom de domaine complet du serveur web cible.|`www.gyoithon.example.com`|
|ip_addr|Adresse IP du serveur web cible.|`192.168.220.129`|
|category|Catégorie d'information.|`Server Info` ou `Certification Info`|
|open_port|Port web ouvert.|`443`|
|protocol|Protocole du port web ouvert.|`https`|
|sig_algorithm|Algorithme de signature de la certification.|`SHA256-RSA`|
|cname|Nom commun de la certification.|`www.gyoithon.example.com`|
|valid_start|Date de début de validité de la certification.|`2018-08-15T00:00:00Z`|
|valid_end|Date de fin de validité de la certification.|`2019-09-16T12:00:00Z`|
|organization|Nom de l'organisation de la certification.|`GyoiThon coorporation, Inc.`|
|date|Date d'examen.|`2018/11/22  11:19:36`|

| Note |
|:-----|
| Étant donné que Censys a besoin de plusieurs jours à plusieurs semaines pour sonder l'ensemble d'Internet, les informations obtenues via Censys peuvent ne pas être à jour.|

## <a name='Tips'>Astuces</a>
### 1. Comment ajouter manuellement une nouvelle signature (modèles de correspondance de chaînes).  
Le chemin `signatures` inclut les fichiers ci-dessous.```
root@kali:~/GyoiThon/signatures/ ls
signature_product.txt
signature_default_content.txt
signature_search_query.txt
signature_comment.txt
signature_error.txt
signature_page_type_from_url.txt

|Type|Champ#|Description|Exemple|
|:---|:---|:---|:---|
|Requis|1|Catégorie de produit.|`CMS`|
|Requis|2|Nom du fournisseur.|`drupal`|
|Requis|3|Nom du produit.|`drupal`|
|Optionnel|4|Version liée à cette signature.|`8.0`|
|Requis|5|Regex d'identification du produit.|`.*(X-Generator: Drupal 8).*`|

Si vous n'avez pas besoin d'un champ optionnel, vous devez définir `*` pour ce champ.  

* Exemple```
CMS@wordpress@wordpress@*@.*(WordPress ([0-9]+[\.0-9]*[\.0-9]*)).*
CMS@drupal@[email protected]@.*(X-Generator: Drupal 8).*

|Type|Champ#|Description|Exemple|
|:---|:---|:---|:---|
|Requis|1|Catégorie de produit.|`CMS`|
|Requis|2|Nom du fournisseur.|`sixapart`|
|Requis|3|Nom du produit.|`movabletype`|
|Optionnel|4|Version liée à cette signature.|`*` |
|Requis|5|Chemin d'exploration|`/readme.html`|
|Optionnel|6|Regex pour confirmer le produit.|`.*(Movable Type).*`|
|Optionnel|7|Regex pour identifier la version.|`(v=([0-9]+[\.0-9]*[\.0-9]*))`|
|Requis|8|Page de connexion ou non.|La page de connexion est `1`, La page de non-connexion est `0`|

Si vous n'avez pas besoin d'un champ optionnel, vous devez définir `*` pour ce champ.  

* Exemple```
Web@apache@http_server@*@/server-status@*@Version:.*(Apache/([0-9]+[\.0-9]*[\.0-9]*))@0
CMS@sixapart@movabletype@*@/readme.html@.*(Movable Type).*@(v=([0-9]+[\.0-9]*[\.0-9]*))@0

|Type|Champ#|Description|Exemple|
|:---|:---|:---|:---|
|Optionnel|1|Catégorie de produit.|`CMS`|
|Optionnel|2|Nom du fournisseur.|`sixapart`|
|Optionnel|3|Nom du produit.|`movabletype`|
|Optionnel|4|Version liée à cette signature.|`*` |
|Requis|5|Requête Google Custom Search|`inurl:/readme.html`|
|Optionnel|6|Regex pour confirmer le produit.|`.*(Movable Type).*`|
|Optionnel|7|Regex pour identifier la version.|`(v=([0-9]+[\.0-9]*[\.0-9]*))`|
|Optionnel|8|Page de connexion ou non.|Page de connexion = `1`, Pas de page de connexion = `0`|

Si vous n'avez pas besoin d'un champ optionnel, vous devez définir `*` pour ce champ.  

* Exemple```
Web@apache@http_server@*@inurl:/server-status@*@Version:.*(Apache/([0-9]+[\.0-9]*[\.0-9]*))@0
CMS@sixapart@movabletype@*@inurl:/readme.html@.*(Movable Type).*@(v=([0-9]+[\.0-9]*[\.0-9]*))@0
*@*@*@*@filetype:bak@*@*@0

|Type|Champ#|Description|
|:---|:---|:---|
|Requis|1|Regex de commentaire inutile.|

* Exemple```
(user\s*=|[\"']user[\"']\s*:|user_id\s*=|[\"']user_id[\"']\s*:|id\s*=|[\"']id[\"']\s*:)
(select\s+[\s\r\n\w\d,\"']*\s+from)

|Type|Field#|Description|
|:---|:---|:---|
|Required|1|Regex des messages de débogage inutiles.|

* Exemple```
(ORA-[0-9a-zA-Z\.])
(fail|error|notice|parse|warning|fatal)[^\n]*line[^\n]*[0-9]+

|Type|Champ#|Description|
|:---|:---|:---|
|Requis|1|Type de page.|
|Requis|2|Regex d'identification du type de page.|

* Exemple```
Login@.*(login|log_in|logon|log_on|signin|sign_in).*

#### `train_cms_in.txt`  
Il s'agit des données d'entraînement pour l'analyse par apprentissage automatique en <a name='machine_learning_mode'>mode Apprentissage automatique</a>.  
Si vous souhaitez ajouter de nouvelles données d'entraînement, vous devez les écrire au format suivant.```
Format: field1@field2@field3@field4

|Note|
|:---|
|Les noms de fournisseur et de produit ci-dessus doivent correspondre à un nom au [format CPE](https://en.wikipedia.org/wiki/Common_Platform_Enumeration).|

#### `train_page_type.txt`  
Il s'agit des données d'entraînement pour identifier le type de page à l'aide de l'apprentissage automatique en <a name='default_mode'>mode par défaut</a>.  
Si vous souhaitez ajouter de nouvelles données d'entraînement, vous devez les écrire au format suivant.```
Format: field1@field2

### 3. Comment modifier l'option du module d'exploitation.
Lorsque GyoiThon exploite, il utilise la **valeur par défaut** des options du module d'exploitation.  
Si vous souhaitez modifier les valeurs des options, veuillez saisir une valeur dans `"user_specify"` dans `exploit_tree.json` comme suit.```
root@kali:~/GyoiThon/modules/data/ ls
exploit_tree.json
root@kali:~/GyoiThon/modules/data/ vim exploit_tree.json

...snip...

"unix/webapp/joomla_media_upload_exec": {
    "targets": {
        "0": [
            "generic/custom",
            "generic/shell_bind_tcp",
            "generic/shell_reverse_tcp",

...snip...

        "TARGETURI": {
            "type": "string",
            "required": true,
            "advanced": false,
            "evasion": false,
            "desc": "The base path to Joomla",
            "default": "/joomla",
            "user_specify": "/my_original_dir/"
        },