WWWGrep

Repositorio Web de la Fundación OWASP

Autor: Mark Deen & Aditi Mohan

Introducción

WWWGrep es un mecanismo rápido de búsqueda "grepping" que examina elementos HTML por tipo y permite realizar búsquedas enfocadas (única URL), múltiples (URLs basadas en archivo) y recursivas (con respecto al dominio raíz o no). Los nombres y valores de encabezados también se pueden buscar recursivamente de esta manera. WWWGrep fue diseñado para ayudar tanto a atacantes como a constructores a examinar rápidamente bases de código bajo inspección; algunos casos de uso y ejemplos se muestran a continuación.

Instalación

git clone 
pip3 install -r requirements.txt
python3 wwwgrep.py <arguments and parameters>

Dependencias (pip3 install -r requirements.txt)

- Python 3.5+
- BeautifulSoup 4 
- UrlLib.parse
- requests_html
- argparse
- requests
- re
- os.path

Atacantes

• Localice rápidamente páginas de inicio de sesión buscando campos de entrada llamados “username” o “password” en un sitio usando una bandera de recursión
• Verifique rápidamente los encabezados para el uso de tecnologías específicas
• Localice rápidamente cookies y tokens JWT buscando en los encabezados de respuesta
• Úselo con una herramienta proxy para automatizar la recursión a través de un conjunto de enlaces rápidamente
• Localice todos los sumideros de entrada en una página (o sitio) buscando campos de entrada y simbología de procesamiento de parámetros
• Localice todos los comentarios de desarrollador en una página para identificar código comentado (o tareas pendientes)
• Pruebe rápidamente la consistencia de los controles del sitio implementados durante la recursión (encabezados, HSTS, CSP, etc.)
• Encuentre rápidamente código JavaScript vulnerable presente en páginas web
• Identifique tokens de API y claves de acceso presentes en el código de la página

Constructores

• Pruebe rápidamente múltiples sitios bajo gestión para el uso de código vulnerable
• Pruebe rápidamente múltiples sitios bajo gestión para el uso de frameworks/tecnologías vulnerables
• Encuentre sitios que puedan compartir una base de código común para determinar el impacto de fallos/vulnerabilidades
• Encuentre sitios que compartan un token de autenticación común (token de autenticación en encabezado)
• Encuentre sitios que puedan contener comentarios de desarrollador para fines de higiene del servidor

Opciones de línea de comandos

wwwgrep.py [target/file] [search_string] [search params/criteria/recursion etc]

Search Inputs

search_string		Specify the string to search for or alternatively “” 
			for all objects of type specified in search parameters

-t	--target	Specify a single URL as a target for the search
-f	--file		Specify a file containing a list of URLs to search

Recursion

-rr	--recurse-root	Limits URL recursion to the domain provided in the target
-ra	--recurse-any	Allows recursion to extend beyond the domain of the target

Matching Criteria

-i	--ignore-case	Performs case insensitive matching (default is to respect case)
-d	--dedupe        Allow duplicate findings per page (default is to de-duplicate findings)
-r	--no-redirects	Do not allow redirects (default is to allow redirects)
-b	--no-base-url   Omit the URL of the match from the output (default is to include the URL)
-x	--regex         Allows the use of RegEX matches (search_string is treated as a RegEX, default is off) 
-e	--separator	Specify and output specifier (default is : ) 
-j	--java-render   Turns on JavaScript rendering of page objects and text (default is off) 
-p	--linked-js-on  Turns on searching of linked (script src tags) Java Script (default is off)

Request Parameters

-ps	--https-proxy	Specify a proxy for the HTTPS protocol in https://<ip>:<port> format
-pp 	--http-proxy	Specify a proxy for the HTTP protocol in http://<ip>:<port> format
-hu	--user-agent	Specify a string to use as the user agent in the request
-ha	--auth-header	Specify a bearer token or other auth string to use in the request header

Search Parameters

-s	--all		Search all page HTML and scripts for terms that match the search specification
-sr	--relative	Search page links that match the search specification as relative URLs
-sa	--absolute	Search page links that match the search specification as absolute URLs
-si	--input-fields	Search page input fields that match the search specification
-ss	--scripts	Search scripts tags that match the search specification
-st	--text          Search visible text on the page that matches the search specification
-sc	--comments      Search comments on the page that match the search specification
-sm	--meta          Search in page metadata for matches to the search specification
-sf	--hidden        Search in hidden fields for specific matches to the search specification
-sh	--header-name	Search response headers for specific matches to the search specification
-sv	--header-value  Search response header values for specific matches to the search specification

Ejemplos de uso:

Encuentre todos los campos de entrada llamados login en un sitio de forma recursiva sin salir del dominio raíz sin sensibilidad a mayúsculas en la coincidencia

wwwgrep.py -t https://www.target.com -i -si “login” -rr

Encuentre todos los comentarios que contengan el término “to do” en todas las páginas de un sitio

wwwgrep.py -t https://www.target.com -i -sc “to do” -rr

Encuentre todos los comentarios en una página web específica

wwwgrep.py -t https://www.target.com/some_page -i -sc “”

Encuentre todos los campos ocultos dentro de una lista de aplicaciones web contenidas en el archivo input.txt usando recursión del sitio

wwwgrep.py -f input.txt -sf “” -rr