WWWGrep

Référentiel Web de l'OWASP Foundation

Auteur : Mark Deen & Aditi Mohan

Introduction

WWWGrep est un mécanisme de « grepping » de recherche rapide qui examine les éléments HTML par type et permet d'effectuer des recherches ciblées (unique), multiples (URLs basées sur fichier) et récursives (par rapport au domaine racine ou non). Les noms et valeurs d'en-tête peuvent également être recherchés récursivement de cette manière. WWWGrep a été conçu pour aider à la fois les briseurs et les constructeurs à examiner rapidement les bases de code sous inspection. Quelques cas d'utilisation et exemples sont présentés ci-dessous.

Installation

git clone 
pip3 install -r requirements.txt
python3 wwwgrep.py <arguments et paramètres>

Dépendances (pip3 install -r requirements.txt)

- Python 3.5+
- BeautifulSoup 4 
- UrlLib.parse
- requests_html
- argparse
- requests
- re
- os.path

Briseurs

Localiser rapidement les pages de connexion en recherchant les champs de saisie nommés « username » ou « password » sur un site et en utilisant un indicateur de récursion
Vérifier rapidement les en-têtes pour l'utilisation de technologies spécifiques
Localiser rapidement les cookies et les jetons JWT en recherchant les en-têtes de réponse
Utiliser avec un outil proxy pour automatiser la récursion à travers un ensemble de liens rapidement
Localiser tous les sinks d'entrée sur une page (ou un site) en recherchant les champs de saisie et la symbolique de traitement des paramètres
Localiser tous les commentaires de développeur sur une page pour identifier le code commenté (ou les tâches à faire)
Tester rapidement la cohérence des contrôles de site mis en œuvre lors de la récursion (en-têtes, HSTS, CSP, etc.)
Trouver rapidement du code JavaScript vulnérable présent dans les pages web
Identifier les jetons API et les clés d'accès présents dans le code de la page

Constructeurs

Tester rapidement plusieurs sites sous gestion pour l'utilisation de code vulnérable
Tester rapidement plusieurs sites sous gestion pour l'utilisation de frameworks/technologies vulnérables
Trouver des sites pouvant partager une base de code commune pour déterminer l'impact des défauts/vulnérabilités
Trouver des sites partageant un jeton d'authentification commun (jeton d'en-tête d'authentification)
Trouver des sites pouvant contenir des commentaires de développeur à des fins d'hygiène du serveur

Options en ligne de commande

wwwgrep.py [cible/fichier] [chaîne de recherche] [params/critères/récursion de recherche etc]

Entrées de recherche

search_string		Spécifier la chaîne à rechercher ou alternativement "" 
			pour tous les objets du type spécifié dans les paramètres de recherche

-t	--target	Spécifier une URL unique comme cible de la recherche
-f	--file		Spécifier un fichier contenant une liste d'URLs à rechercher

Récursion

-rr	--recurse-root	Limite la récursion d'URL au domaine fourni dans la cible
-ra	--recurse-any	Permet à la récursion de s'étendre au-delà du domaine de la cible

Critères de correspondance

-i	--ignore-case	Effectue une correspondance insensible à la casse (par défaut, respecte la casse)
-d	--dedupe        Permet les résultats en double par page (par défaut, dédoublonne les résultats)
-r	--no-redirects	Ne pas autoriser les redirections (par défaut, les redirections sont autorisées)
-b	--no-base-url   Omettre l'URL de la correspondance de la sortie (par défaut, inclut l'URL)
-x	--regex         Permet l'utilisation de correspondances RegEX (search_string est traité comme une RegEX, désactivé par défaut)
-e	--separator	Spécifier un séparateur de sortie (par défaut :) 
-j	--java-render   Active le rendu JavaScript des objets et du texte de la page (désactivé par défaut)
-p	--linked-js-on  Active la recherche de JavaScript lié (balises script src) (désactivé par défaut)

Paramètres de requête

-ps	--https-proxy	Spécifier un proxy pour le protocole HTTPS au format https://<ip>:<port>
-pp 	--http-proxy	Spécifier un proxy pour le protocole HTTP au format http://<ip>:<port>
-hu	--user-agent	Spécifier une chaîne à utiliser comme user-agent dans la requête
-ha	--auth-header	Spécifier un jeton bearer ou une autre chaîne d'authentification à utiliser dans l'en-tête de la requête

Paramètres de recherche

-s	--all		Rechercher tout le HTML et les scripts de la page pour les termes correspondant à la spécification de recherche
-sr	--relative	Rechercher les liens de la page qui correspondent à la spécification de recherche en tant qu'URLs relatives
-sa	--absolute	Rechercher les liens de la page qui correspondent à la spécification de recherche en tant qu'URLs absolues
-si	--input-fields	Rechercher les champs de saisie de la page qui correspondent à la spécification de recherche
-ss	--scripts	Rechercher les balises de script qui correspondent à la spécification de recherche
-st	--text          Rechercher le texte visible sur la page qui correspond à la spécification de recherche
-sc	--comments      Rechercher les commentaires sur la page qui correspondent à la spécification de recherche
-sm	--meta          Rechercher dans les métadonnées de la page les correspondances avec la spécification de recherche
-sf	--hidden        Rechercher dans les champs cachés les correspondances spécifiques avec la spécification de recherche
-sh	--header-name	Rechercher dans les en-têtes de réponse les correspondances spécifiques avec la spécification de recherche
-sv	--header-value  Rechercher les valeurs d'en-tête de réponse pour des correspondances spécifiques avec la spécification de recherche

Exemples d'utilisation :

Trouver tous les champs de saisie nommés login sur un site de manière récursive sans quitter le domaine racine, sans sensibilité à la casse dans la correspondance

wwwgrep.py -t https://www.target.com -i -si "login" -rr

Trouver tous les commentaires contenant le terme « to do » sur toutes les pages d'un site

wwwgrep.py -t https://www.target.com -i -sc "to do" -rr

Trouver tous les commentaires sur une page web spécifique

wwwgrep.py -t https://www.target.com/some_page -i -sc ""

Trouver tous les champs cachés dans une liste d'applications web contenues dans le fichier input.txt en utilisant la récursion de site

wwwgrep.py -f input.txt -sf "" -rr

wwwgrep

Populaires