WebStor

快速识别组织中的脆弱Web技术

WebStor是一个基于MIT许可、使用Python实现的工具，用于快速枚举组织网络中所有网站，存储其响应，并查询已知的Web技术与版本（例如存在零日漏洞的）。它特别旨在解决中大型组织中分散管理所特有的问题——由不同单位和网络中的管理员部署的各种Web技术几乎无法全面追踪。

WebStor通过执行以下操作实现目标：

1. 执行DNS区域传输，收集组织的A记录和CNAME记录。
2. 使用Masscan扫描组织网段上的开放HTTP/HTTPS端口，以及A记录和CNAME记录中存在于这些网段之外的任何IP地址。
3. 使用Python requests库收集所有响应并存储在MariaDB数据库中。除了IP地址外，所有对应开放HTTP/HTTPS端口的DNS名称都将包含在请求中，以确保使用不同标头的站点不会被遗漏。
4. 下载Wappalyzer Web技术数据库并存储在MariaDB数据库中，使用户能够通过名称查询常见Web技术的位置。
5. 允许用户查询存储的响应中包含自定义正则表达式的位置。

支持的平台

WebStor目前可在Linux系统上运行。由于使用Python编写，转换以支持Windows将很简单，未来可能会实现。

先决条件

应用程序

• Masscan
  • 如果你将使用cron作业来更新数据库（典型情况），至关重要的是：为任何通过WebStor执行Masscan扫描的用户配置sudo无密码权限。
• MariaDB 10.0.5或更高版本
  • WebStor默认尝试使用root用户和空密码进行连接。请参阅“安全选项”部分，配置WebStor使用其他用户名和密码连接数据库。

Python库

• pip3 install dnspython
• pip3 install beautifulsoup4
• pip3 install mysql-connector-python
• pip3 install js-regex
• pip3 install gevent
• pip3 install requests

通过PyPI提供

• 如果你只是想运行WebStor而不修改它，可以安装先决应用程序，然后使用sudo pip3 install webstor。
• 通过PyPI安装WebStor后，webstor将加入路径，可以在命令行中直接使用webstor（而非webstor.py），例如webstor -g。

基本用法

       webstor.py [-h] [--ADD-HTTP-PORT HTTPPORTTOADD] [--CLEAR-HTTP]
                  [--ADD-HTTPS-PORT HTTPSPORTTOADD] [--CLEAR-HTTPS]
                  [--ADD-CUSTOM-FINGERPRINT FINGERPRINT]
                  [--DELETE-CUSTOM-FINGERPRINT FINGERPRINTNAMETODELETE]
                  [--IMPORT-CUSTOM-FINGERPRINT IMPORTFINGERPRINTFILE]
                  [--CLEAR-CUSTOM-FINGERPRINTS] [--SHOW-CONFIG]
                  [--SHOW-CONFIG-FULL] [--RUN-MASSCAN]
                  [--SET-MASSCAN-RANGES SETSCANRANGES]
                  [--ADD-RANGE RANGETOADD] [--DELETE-RANGE RANGETODELETE]
                  [--IMPORT-MASSCAN-RANGES IMPORTSCANRANGES]
                  [--ADD-PATH PATHTOADD] [--DELETE-PATH PATHTODELETE]
                  [--CLEAR-PATHS] [--REFRESH-RESPONSES]
                  [--RESPONSES-ADD-FOR-PATH RESPONSESADDFORPATH]
                  [--SEARCH-PATTERN SEARCHPATTERN]
                  [--SEARCH-CUSTOM-FINGERPRINT SEARCHFINGERPRINT]
                  [--SEARCH-WAPPALYZER SEARCHWAPPALYZER] [--NO-TSIG-KEY]
                  [--TSIG-KEY-IMPORT IMPORTTSIGFILE]
                  [--TSIG-KEY-REPLACE REPLACEMENTTSIGFILE]
                  [--DELETE-TSIG TSIGTODELETE]
                  [--USE-TSIG-FILE-ONLY USETSIGFILEONLY]
                  [--DOWNLOAD-NEW-WAPPALYZER] [--LIST-WAPPALYZER-TECH-NAMES]
                  [--ZONE-XFER] [--ADD-DOMAIN DOMAINDETAILS]
                  [--DELETE-DOMAIN DOMAINTODELETE]
                  [--IMPORT-ZONE-FILE IMPORTZONEFILE] [--CLEAR-DOMAINS]
                  [--LIST-DOMAINS] [--LIST-OUTSIDE] [--SQL-CREDS SQLCREDSFILE]