WebStor

Быстрая идентификация уязвимых веб-технологий в вашей организации

WebStor — это инструмент, реализованный на Python под лицензией MIT, предназначенный для быстрого перечисления всех веб-сайтов во всех сетях вашей организации, сохранения их ответов и поиска известных веб-технологий и версий, в том числе тех, которые имеют уязвимости нулевого дня. Он призван, в частности, решить уникальную проблему, возникающую в организациях среднего и крупного размера с децентрализованным администрированием, где практически невозможно отследить все веб-технологии, развернутые различными администраторами в разных подразделениях и сетях.

WebStor достигает своей цели, выполняя следующие действия:

1. Выполняет передачу зон DNS для сбора A- и CNAME-записей организации.
2. Использует Masscan для сканирования открытых портов HTTP/HTTPS в сетевых диапазонах организации, а также любых IP-адресов за пределами этих диапазонов, которые присутствовали в A- и CNAME-записях организации.
3. Использует библиотеку Python requests для сбора всех ответов и сохранения их в базе данных MariaDB. Все DNS-имена, соответствующие IP-адресу с открытыми портами HTTP/HTTPS, будут включены в запросы вместе с IP-адресом, чтобы сайты, использующие разные заголовки, не были пропущены.
4. Загружает базу данных веб-технологий Wappalyzer и сохраняет её в базе данных MariaDB, позволяя пользователям искать местоположения распространённой веб-технологии по имени.
5. Позволяет пользователям искать местоположения, в которых в сохранённых ответах содержатся пользовательские регулярные выражения.

Поддерживаемые платформы

В настоящее время WebStor работает в системах Linux. Поскольку он написан на Python, его адаптация для работы в Windows тривиальна и, вероятно, произойдет в будущем.

Предварительные требования

Приложения

• Masscan
  • Если вы собираетесь использовать cron-задачу для обновления базы данных (типичный случай), крайне важно настроить sudo nopasswd для любого пользователя, выполняющего сканирование Masscan через WebStor.
• MariaDB 10.0.5 или новее
  • Учётные данные по умолчанию, используемые WebStor: root и пустой пароль. См. раздел «Безопасные опции» для настройки WebStor на использование других имен пользователей и паролей для подключения к базе данных.

Библиотеки Python

• pip3 install dnspython
• pip3 install beautifulsoup4
• pip3 install mysql-connector-python
• pip3 install js-regex
• pip3 install gevent
• pip3 install requests

Доступность через PyPI

• Если вы просто хотите запустить WebStor, не редактируя его, установите необходимые приложения, а затем выполните 'sudo pip3 install webstor'.
• После установки WebStor через PyPI, webstor будет доступен в PATH и может быть запущен из командной строки независимо от рабочей директории командой 'webstor' вместо 'webstor.py', например: 'webstor -g'.

Базовое использование

       webstor.py [-h] [--ADD-HTTP-PORT HTTPPORTTOADD] [--CLEAR-HTTP]
                  [--ADD-HTTPS-PORT HTTPSPORTTOADD] [--CLEAR-HTTPS]
                  [--ADD-CUSTOM-FINGERPRINT FINGERPRINT]
                  [--DELETE-CUSTOM-FINGERPRINT FINGERPRINTNAMETODELETE]
                  [--IMPORT-CUSTOM-FINGERPRINT IMPORTFINGERPRINTFILE]
                  [--CLEAR-CUSTOM-FINGERPRINTS] [--SHOW-CONFIG]
                  [--SHOW-CONFIG-FULL] [--RUN-MASSCAN]
                  [--SET-MASSCAN-RANGES SETSCANRANGES]
                  [--ADD-RANGE RANGETOADD] [--DELETE-RANGE RANGETODELETE]
                  [--IMPORT-MASSCAN-RANGES IMPORTSCANRANGES]
                  [--ADD-PATH PATHTOADD] [--DELETE-PATH PATHTODELETE]
                  [--CLEAR-PATHS] [--REFRESH-RESPONSES]
                  [--RESPONSES-ADD-FOR-PATH RESPONSESADDFORPATH]
                  [--SEARCH-PATTERN SEARCHPATTERN]
                  [--SEARCH-CUSTOM-FINGERPRINT SEARCHFINGERPRINT]
                  [--SEARCH-WAPPALYZER SEARCHWAPPALYZER] [--NO-TSIG-KEY]
                  [--TSIG-KEY-IMPORT IMPORTTSIGFILE]
                  [--TSIG-KEY-REPLACE REPLACEMENTTSIGFILE]
                  [--DELETE-TSIG TSIGTODELETE]
                  [--USE-TSIG-FILE-ONLY USETSIGFILEONLY]
                  [--DOWNLOAD-NEW-WAPPALYZER] [--LIST-WAPPALYZER-TECH-NAMES]
                  [--ZONE-XFER] [--ADD-DOMAIN DOMAINDETAILS]
                  [--DELETE-DOMAIN DOMAINTODELETE]
                  [--IMPORT-ZONE-FILE IMPORTZONEFILE] [--CLEAR-DOMAINS]
                  [--LIST-DOMAINS] [--LIST-OUTSIDE] [--SQL-CREDS SQLCREDSFILE]