rossgeerlings/webstorÉnumère tous les sites web à travers les réseaux d'une organisation via les transferts de zone DNS et masscan, stocke les réponses et permet d'interroger les technologies web vulnérables connues et les motifs regex personnalisés.
WebStor est un outil implémenté en Python sous licence MIT pour énumérer rapidement tous les sites web sur l'ensemble des réseaux de votre organisation, stocker leurs réponses et interroger les technologies et versions web connues, comme celles présentant des vulnérabilités zero-day. Il est conçu en particulier pour résoudre le problème unique que rencontrent les organisations de taille moyenne à grande avec une administration décentralisée, où il peut être presque impossible de suivre toutes les technologies web déployées par divers administrateurs répartis dans différentes unités et réseaux.
WebStor atteint son objectif en réalisant les actions suivantes :
WebStor fonctionne actuellement sur les systèmes Linux. Comme il est écrit en Python, la conversion pour supporter Windows serait triviale et devrait probablement avoir lieu à l'avenir.
webstor.py [-h] [--ADD-HTTP-PORT HTTPPORTTOADD] [--CLEAR-HTTP]
[--ADD-HTTPS-PORT HTTPSPORTTOADD] [--CLEAR-HTTPS]
[--ADD-CUSTOM-FINGERPRINT FINGERPRINT]
[--DELETE-CUSTOM-FINGERPRINT FINGERPRINTNAMETODELETE]
[--IMPORT-CUSTOM-FINGERPRINT IMPORTFINGERPRINTFILE]
[--CLEAR-CUSTOM-FINGERPRINTS] [--SHOW-CONFIG]
[--SHOW-CONFIG-FULL] [--RUN-MASSCAN]
[--SET-MASSCAN-RANGES SETSCANRANGES]
[--ADD-RANGE RANGETOADD] [--DELETE-RANGE RANGETODELETE]
[--IMPORT-MASSCAN-RANGES IMPORTSCANRANGES]
[--ADD-PATH PATHTOADD] [--DELETE-PATH PATHTODELETE]
[--CLEAR-PATHS] [--REFRESH-RESPONSES]
[--RESPONSES-ADD-FOR-PATH RESPONSESADDFORPATH]
[--SEARCH-PATTERN SEARCHPATTERN]
[--SEARCH-CUSTOM-FINGERPRINT SEARCHFINGERPRINT]
[--SEARCH-WAPPALYZER SEARCHWAPPALYZER] [--NO-TSIG-KEY]
[--TSIG-KEY-IMPORT IMPORTTSIGFILE]
[--TSIG-KEY-REPLACE REPLACEMENTTSIGFILE]
[--DELETE-TSIG TSIGTODELETE]
[--USE-TSIG-FILE-ONLY USETSIGFILEONLY]
[--DOWNLOAD-NEW-WAPPALYZER] [--LIST-WAPPALYZER-TECH-NAMES]
[--ZONE-XFER] [--ADD-DOMAIN DOMAINDETAILS]
[--DELETE-DOMAIN DOMAINTODELETE]
[--IMPORT-ZONE-FILE IMPORTZONEFILE] [--CLEAR-DOMAINS]
[--LIST-DOMAINS] [--LIST-OUTSIDE] [--SQL-CREDS SQLCREDSFILE]
optional arguments:
-h, --help show this help message and exit
--ADD-HTTP-PORT HTTPPORTTOADD, -a HTTPPORTTOADD
Add a custom HTTP port.
--CLEAR-HTTP, -aC Clear any custom HTTP ports and revert to default of
80.
--ADD-HTTPS-PORT HTTPSPORTTOADD, -b HTTPSPORTTOADD
Add a custom HTTPS port.
--CLEAR-HTTPS, -bC Clear any custom HTTPS ports and revert to default of
443.
--ADD-CUSTOM-FINGERPRINT FINGERPRINT, -c FINGERPRINT
Add a custom fingerprint in the form <Name>,<RegEx>.
--DELETE-CUSTOM-FINGERPRINT FINGERPRINTNAMETODELETE, -cD FINGERPRINTNAMETODELETE
Delete a custom fingerprint by name.
--IMPORT-CUSTOM-FINGERPRINT IMPORTFINGERPRINTFILE, -cI IMPORTFINGERPRINTFILE
Import a custom fingerprint file with the path
specified.
--CLEAR-CUSTOM-FINGERPRINTS, -cC
Clears all custom fingerprints stored in DB.
--SHOW-CONFIG, -g Show current WebStor configuration (brief).
--SHOW-CONFIG-FULL, -gF
Show current WebStor configuration (full).
--RUN-MASSCAN, -m Runs a new port scan with Masscan on all configured
TCP ports for HTTP and HTTPS, against all configured
ranges and any IP addresses from DNS records that are
outside those ranges.
--SET-MASSCAN-RANGES SETSCANRANGES, -mR SETSCANRANGES
Scan range or ranges, replaces existing ranges in DB,
comma separated, such as: -s
10.10.0.0/16,10.13.0.0/16,192.168.1.0/24
--IMPORT-MASSCAN-RANGES IMPORTSCANRANGES, -mI IMPORTSCANRANGES
Import scan ranges (CIDR blocks) from a specified
file.
--DELETE-RANGE RANGETODELETE, -mD RANGETODELETE
Delete scan range.
--ADD-PATH PATHTOADD, -p PATHTOADD
Add paths for which to request and store responses
besides '/'.
--DELETE-PATH PATHTODELETE, -pD PATHTODELETE
Delete paths for which to request and store responses
besides '/'.
--CLEAR-PATHS, -pC Clear any custom URL request paths and revert to
default of '/'.
--REFRESH-RESPONSES, -r
Refresh URL responses in DB.
--RESPONSES-ADD-FOR-PATH RESPONSESADDFORPATH, -rP RESPONSESADDFORPATH
Add URL responses for a one-time path in with the
current responses in the DB.
--SEARCH-PATTERN SEARCHPATTERN, -sP SEARCHPATTERN
Search for string or regular expression in WebStor
database.
--SEARCH-CUSTOM-FINGERPRINT SEARCHFINGERPRINT, -sC SEARCHFINGERPRINT
Search for technology by name of user-provided custom
fingerprint.
--SEARCH-WAPPALYZER SEARCHWAPPALYZER, -sW SEARCHWAPPALYZER
Search for technology by name (from Wappalyzer Tech
DB) in WebStor DB.
--NO-TSIG-KEY, -tN Do not use DNSSec TSIG key stored in database or a
file, even if present.
--TSIG-KEY-IMPORT IMPORTTSIGFILE, -tI IMPORTTSIGFILE
Import a specified TSIG key file into the database
--TSIG-KEY-REPLACE REPLACEMENTTSIGFILE, -tR REPLACEMENTTSIGFILE
Replace a TSIG key in the database with a specified
file
--DELETE-TSIG TSIGTODELETE, -dT TSIGTODELETE
Delete a TSIG key from the database by name.
--USE-TSIG-FILE-ONLY USETSIGFILEONLY, -tF USETSIGFILEONLY
Only use tsig file specified (full path), do not use
TSIGs stored in the DB. Applies to all domains,
limiting WebStor to one TSIG for zone transfers in the
current execution.
--DOWNLOAD-NEW-WAPPALYZER, -w
Download a new Wappalyzer fingerprints file directly
from GitHub. Overwrites existing Wappalyzer
fingerprint data.
--LIST-WAPPALYZER-TECH-NAMES, -wL
List the names of all Wappalyzer technologies in the
database.
--ZONE-XFER, -z Forces a new zone transfer using all domains, servers,
and associated TSIG keys in DB
--ADD-DOMAIN DOMAINDETAILS, -zA DOMAINDETAILS
Add a domain in the form <Domain name>,<Server>,<TSIG
Key Name>.
--DELETE-DOMAIN DOMAINTODELETE, -zD DOMAINTODELETE
Delete a DNS domain from the database by name.
--IMPORT-ZONE-FILE IMPORTZONEFILE, -zI IMPORTZONEFILE
Add domains for zone transfers from a file.
--CLEAR-DOMAINS, -zC Clears all DNS domains stored in DB.
--LIST-DOMAINS, -zL Lists all DNS domains stored in DB.
--LIST-OUTSIDE, -e Prints a list of all names and IPs from our zone
transfers that are outside defined net ranges.
--SQL-CREDS SQLCREDSFILE, -q SQLCREDSFILE
Use SQL credentials in file at specified path.
REMARQUE : Ces étapes supposent que votre organisation utilise une seule clé TSIG pour les transferts de zone et que tous les enregistrements peuvent être interrogés à partir d'un seul serveur DNS. Si ce n'est pas le cas, consultez la section sur les cas d'utilisation sécurisés / ésotériques ci-dessous.
# Rechercher une chaîne/expression rationnelle associée à une technologie web :
./webstor.py -sP "content=\"wordpress 4.[7-9]"
# Une liste de sites contenant cette expression rationnelle, correspondant aux réponses attendues des sites Wordpress v4.7-9,
# sera renvoyée.
# Pour enregistrer l'expression rationnelle de l'exemple ci-dessus comme empreinte numérique personnalisée que vous pouvez interroger
# par son nom (et n'avez pas besoin de retenir l'expression rationnelle à chaque fois) :
./webstor.py -c "wordpress4.7-9,content=\"wordpress 4.[7-9]"
# Après avoir exécuté la commande ci-dessus, la requête peut être effectuée simplement avec :
./webstor.py -sC wordpress4.7-9
# Utiliser WebStor pour rechercher des sites Wordpress via les définitions Wappalyzer :
./webstor.py -sW wordpress
# Une liste des sites Wordpress accessibles sur les réseaux de votre organisation sera renvoyée. REMARQUE : Les recherches Wappalyzer peuvent être plus lentes que les recherches par motif/expression rationnelle en raison du nombre de propriétés interrogées pour vérification.
Les sites sont interrogés en fonction des réponses aux noms et aux adresses IP. Ceci est important car certains serveurs web hébergent plusieurs sites sous plusieurs noms. D'autres serveurs peuvent fournir uniquement un site par défaut ou une réponse par défaut du fournisseur d'hébergement lorsqu'ils sont interrogés par IP (par exemple https://68.66.216.42), et un site métier réel lorsqu'ils sont interrogés par nom (par exemple https://www.seekerdlp.com). Pour cette raison, si vous avez un site nommé qui est également servi lorsque l'IP du serveur web est demandée, vous verrez les résultats de requête pour les deux.
Il est recommandé de configurer une tâche cron pour exécuter WebStor quotidiennement afin que vos résultats de requête reflètent toujours l'état actuel de votre réseau.
Si vous ne souhaitez pas utiliser les identifiants MariaDB par défaut (root, mot de passe vide), vous pouvez utiliser l'option -q pour spécifier le chemin d'un fichier contenant les identifiants. La première ligne du fichier doit être le serveur, par exemple localhost. La deuxième ligne doit être le nom d'utilisateur SQL. La troisième ligne doit être le mot de passe.
Si vous ne souhaitez pas stocker votre clé TSIG dans la base de données, vous pouvez utiliser l'option -tF pour spécifier le chemin d'un fichier de clé TSIG protégé par ACL.
Si votre organisation utilise plusieurs clés TSIG, vous devrez les stocker dans la base de données. Chacune peut être ajoutée avec l'option -tI et les domaines peuvent être ajoutés via les options normales, en spécifiant la clé et le serveur appropriés.
WebStor utilise la base de données des technologies de Wappalyzer pour les recherches de technologies pré-remplies et indexées par nom dans les réponses stockées de WebStor. Wappalyzer est sous licence MIT.
WebStor a été écrit par Ross Geerlings <rjgeer@umich.edu>, <ross@seekerdlp.com>.
WebStor est sous licence MIT, reproduite ci-dessous.
The MIT License
Copyright (c) 2020-2024 The University of Michigan Board of Regents.
Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.