WebStor

조직 내 취약한 웹 기술의 신속한 식별

WebStor는 MIT 라이선스 하에 Python으로 구현된 도구로, 조직의 모든 네트워크에 걸쳐 모든 웹사이트를 신속하게 열거하고, 해당 응답을 저장하며, 제로데이 취약점이 있는 것과 같은 알려진 웹 기술 및 버전을 쿼리하기 위한 도구입니다. 특히 중대형 규모의 분산 관리 조직에서 여러 관리자가 각기 다른 부서와 네트워크에 배포한 모든 웹 기술을 추적하는 것이 거의 불가능한 고유한 문제를 해결하기 위해 설계되었습니다.

WebStor는 다음 작업을 수행하여 목표를 달성합니다:

1. DNS 영역 전송을 수행하여 조직의 A 및 CNAME 레코드를 수집합니다.
2. Masscan을 사용하여 조직의 네트워크 범위와 해당 범위 밖에 있지만 조직의 A 및 CNAME 레코드에 존재하는 모든 IP 주소에서 열린 HTTP/HTTPS 포트를 스캔합니다.
3. Python requests 라이브러리를 사용하여 모든 응답을 수집하고 MariaDB 데이터베이스에 저장합니다. 열린 HTTP/HTTPS 포트가 있는 IP에 해당하는 모든 DNS 이름이 IP 주소와 함께 요청에 포함되므로, 다른 헤더를 사용하는 사이트가 누락되지 않습니다.
4. Wappalyzer 웹 기술 데이터베이스를 다운로드하여 MariaDB 데이터베이스에 저장하여 사용자가 이름으로 공통 웹 기술의 위치를 쿼리할 수 있도록 합니다.
5. 사용자가 저장된 응답 내에 사용자 정의 정규식이 포함된 위치를 쿼리할 수 있도록 합니다.

지원 플랫폼

WebStor는 현재 Linux 시스템에서 실행됩니다. Python으로 작성되었으므로 Windows 지원으로 전환하는 것은 간단하며, 향후 이루어질 가능성이 높습니다.

사전 요구 사항

애플리케이션

• Masscan
  • 크론 작업을 사용하여 데이터베이스를 업데이트하는 경우(일반적인 경우), WebStor를 통해 Masscan 스캔을 실행하는 모든 사용자에 대해 sudo nopasswd를 구성하는 것이 중요합니다.
• MariaDB 10.0.5 이상
  • WebStor가 기본으로 시도하는 자격 증명은 root와 빈 암호입니다. 데이터베이스에 연결하기 위해 다른 사용자 이름과 암호를 사용하도록 WebStor를 구성하려면 "보안 옵션" 섹션을 참조하십시오.

Python 라이브러리

• pip3 install dnspython
• pip3 install beautifulsoup4
• pip3 install mysql-connector-python
• pip3 install js-regex
• pip3 install gevent
• pip3 install requests

PyPI를 통한 설치

• WebStor를 실행만 하고 편집하지 않을 경우, 사전 요구 애플리케이션을 설치한 후 'sudo pip3 install webstor'를 사용할 수 있습니다.
• PyPI를 통해 WebStor를 설치한 후, webstor는 경로에 포함되며 작업 디렉터리에 관계없이 명령줄에서 'webstor.py' 대신 'webstor'로 실행할 수 있습니다. 예: 'webstor -g'.

기본 사용법

       webstor.py [-h] [--ADD-HTTP-PORT HTTPPORTTOADD] [--CLEAR-HTTP]
                  [--ADD-HTTPS-PORT HTTPSPORTTOADD] [--CLEAR-HTTPS]
                  [--ADD-CUSTOM-FINGERPRINT FINGERPRINT]
                  [--DELETE-CUSTOM-FINGERPRINT FINGERPRINTNAMETODELETE]
                  [--IMPORT-CUSTOM-FINGERPRINT IMPORTFINGERPRINTFILE]
                  [--CLEAR-CUSTOM-FINGERPRINTS] [--SHOW-CONFIG]
                  [--SHOW-CONFIG-FULL] [--RUN-MASSCAN]
                  [--SET-MASSCAN-RANGES SETSCANRANGES]
                  [--ADD-RANGE RANGETOADD] [--DELETE-RANGE RANGETODELETE]
                  [--IMPORT-MASSCAN-RANGES IMPORTSCANRANGES]
                  [--ADD-PATH PATHTOADD] [--DELETE-PATH PATHTODELETE]
                  [--CLEAR-PATHS] [--REFRESH-RESPONSES]
                  [--RESPONSES-ADD-FOR-PATH RESPONSESADDFORPATH]
                  [--SEARCH-PATTERN SEARCHPATTERN]
                  [--SEARCH-CUSTOM-FINGERPRINT SEARCHFINGERPRINT]
                  [--SEARCH-WAPPALYZER SEARCHWAPPALYZER] [--NO-TSIG-KEY]
                  [--TSIG-KEY-IMPORT IMPORTTSIGFILE]
                  [--TSIG-KEY-REPLACE REPLACEMENTTSIGFILE]
                  [--DELETE-TSIG TSIGTODELETE]
                  [--USE-TSIG-FILE-ONLY USETSIGFILEONLY]
                  [--DOWNLOAD-NEW-WAPPALYZER] [--LIST-WAPPALYZER-TECH-NAMES]
                  [--ZONE-XFER] [--ADD-DOMAIN DOMAINDETAILS]
                  [--DELETE-DOMAIN DOMAINTODELETE]
                  [--IMPORT-ZONE-FILE IMPORTZONEFILE] [--CLEAR-DOMAINS]
                  [--LIST-DOMAINS] [--LIST-OUTSIDE] [--SQL-CREDS SQLCREDSFILE]