owasp/wwwgrepOWASP Foundation Web Respository
WWWGrep ist ein schneller Such-„Grepping“-Mechanismus, der HTML-Elemente nach Typ durchsucht und fokussierte (einzelne), mehrere (dateibasierte URLs) und rekursive (bezogen auf die Root-Domain oder nicht) Suchen ermöglicht. Header-Namen und -Werte können auf diese Weise ebenfalls rekursiv durchsucht werden. WWWGrep wurde entwickelt, um sowohl Penetrationstester als auch Entwickler bei der schnellen Untersuchung von Codebasen zu unterstützen. Einige Anwendungsfälle und Beispiele sind unten aufgeführt.
Installation
git clone
pip3 install -r requirements.txt
python3 wwwgrep.py <arguments and parameters>
Abhängigkeiten (pip3 install -r requirements.txt)
- Python 3.5+
- BeautifulSoup 4
- UrlLib.parse
- requests_html
- argparse
- requests
- re
- os.path
wwwgrep.py [target/file] [search_string] [search params/criteria/recursion etc]
Search Inputs
search_string Specify the string to search for or alternatively “”
for all objects of type specified in search parameters
-t --target Specify a single URL as a target for the search
-f --file Specify a file containing a list of URLs to search
Recursion
-rr --recurse-root Limits URL recursion to the domain provided in the target
-ra --recurse-any Allows recursion to extend beyond the domain of the target
Matching Criteria
-i --ignore-case Performs case insensitive matching (default is to respect case)
-d --dedupe Allow duplicate findings per page (default is to de-duplicate findings)
-r --no-redirects Do not allow redirects (default is to allow redirects)
-b --no-base-url Omit the URL of the match from the output (default is to include the URL)
-x --regex Allows the use of RegEX matches (search_string is treated as a RegEX, default is off)
-e --separator Specify and output specifier (default is : )
-j --java-render Turns on JavaScript rendering of page objects and text (default is off)
-p --linked-js-on Turns on searching of linked (script src tags) Java Script (default is off)
Request Parameters
-ps --https-proxy Specify a proxy for the HTTPS protocol in https://<ip>:<port> format
-pp --http-proxy Specify a proxy for the HTTP protocol in http://<ip>:<port> format
-hu --user-agent Specify a string to use as the user agent in the request
-ha --auth-header Specify a bearer token or other auth string to use in the request header
Search Parameters
-s --all Search all page HTML and scripts for terms that match the search specification
-sr --relative Search page links that match the search specification as relative URLs
-sa --absolute Search page links that match the search specification as absolute URLs
-si --input-fields Search page input fields that match the search specification
-ss --scripts Search scripts tags that match the search specification
-st --text Search visible text on the page that matches the search specification
-sc --comments Search comments on the page that match the search specification
-sm --meta Search in page metadata for matches to the search specification
-sf --hidden Search in hidden fields for specific matches to the search specification
-sh --header-name Search response headers for specific matches to the search specification
-sv --header-value Search response header values for specific matches to the search specification
Finde alle Eingabefelder mit dem Namen login auf einer Site rekursiv, ohne die Root-Domain zu verlassen, ohne Berücksichtigung der Groß-/Kleinschreibung beim Treffer
wwwgrep.py -t https://www.target.com -i -si “login” -rr
Finde alle Kommentare, die den Begriff „to do“ enthalten, auf allen Seiten einer Site
wwwgrep.py -t https://www.target.com -i -sc “to do” -rr
Finde alle Kommentare auf einer bestimmten Webseite
wwwgrep.py -t https://www.target.com/some_page -i -sc “”
Finde alle versteckten Felder innerhalb einer Liste von Webanwendungen, die in der Datei input.txt enthalten sind, unter Verwendung von Site-Rekursion
wwwgrep.py -f input.txt -sf “” -rr