WebStor

組織内の脆弱なWebテクノロジーの迅速な識別

WebStorはMITライセンスの下でPythonで実装されたツールで、組織のすべてのネットワーク上のすべてのWebサイトを迅速に列挙し、それらのレスポンスを保存し、ゼロデイ脆弱性を持つものなど、既知のWebテクノロジーとバージョンを問い合わせるためのものです。特に、分散管理が行われている中規模から大規模の組織において、異なる部門やネットワークに分散した様々な管理者によって展開されたすべてのWebテクノロジーを追跡することがほぼ不可能であるという特有の問題を解決することを目的としています。

WebStorは以下のアクションを実行することで目標を達成します：

1. DNSゾーン転送を実行して組織のAレコードとCNAMEレコードを収集します。
2. Masscanを使用して、組織のネットワーク範囲、および組織のAレコードとCNAMEレコードに存在するそれらの範囲外のIPアドレスに対して、開いているHTTP/HTTPSポートをスキャンします。
3. Python requestsライブラリを使用してすべてのレスポンスを収集し、MariaDBデータベースに保存します。開いているHTTP/HTTPSポートを持つIPに対応するすべてのDNS名は、IPアドレスに加えてリクエストに含まれるため、異なるヘッダーを使用するサイトが見逃されることはありません。
4. Wappalyzer WebテクノロジーデータベースをダウンロードしてMariaDBデータベースに保存し、ユーザーが一般的なWebテクノロジーの場所を名前で問い合わせられるようにします。
5. ユーザーが保存されたレスポンス内にカスタム正規表現が含まれる場所を問い合わせられるようにします。

サポートされているプラットフォーム

WebStorは現在Linuxシステム上で動作します。Pythonで書かれているため、Windows対応への変換は簡単であり、将来行われる可能性があります。

前提条件

アプリケーション

• Masscan
  • cronジョブを使用してデータベースを更新する場合（一般的）、WebStorを介してMasscanスキャンを実行するユーザーに対してsudo nopasswdを設定することが重要です。
• MariaDB 10.0.5以降
  • WebStorが試行するデフォルトの認証情報は、rootと空のパスワードです。データベースに接続するために他のユーザー名とパスワードを使用するようにWebStorを設定するには、[セキュアオプション]セクションを参照してください。

Pythonライブラリ

• pip3 install dnspython
• pip3 install beautifulsoup4
• pip3 install mysql-connector-python
• pip3 install js-regex
• pip3 install gevent
• pip3 install requests

PyPIからの入手

• 単にWebStorを実行したいだけで編集しない場合は、前提条件のアプリケーションをインストールした後、'sudo pip3 install webstor'を使用してください。
• PyPIを介してWebStorをインストールした後、webstorはパスに含まれ、作業ディレクトリに関係なく、'webstor.py'の代わりに'webstor'でコマンドラインから実行できます（例：'webstor -g'）。

基本的な使用方法

       webstor.py [-h] [--ADD-HTTP-PORT HTTPPORTTOADD] [--CLEAR-HTTP]
                  [--ADD-HTTPS-PORT HTTPSPORTTOADD] [--CLEAR-HTTPS]
                  [--ADD-CUSTOM-FINGERPRINT FINGERPRINT]
                  [--DELETE-CUSTOM-FINGERPRINT FINGERPRINTNAMETODELETE]
                  [--IMPORT-CUSTOM-FINGERPRINT IMPORTFINGERPRINTFILE]
                  [--CLEAR-CUSTOM-FINGERPRINTS] [--SHOW-CONFIG]
                  [--SHOW-CONFIG-FULL] [--RUN-MASSCAN]
                  [--SET-MASSCAN-RANGES SETSCANRANGES]
                  [--ADD-RANGE RANGETOADD] [--DELETE-RANGE RANGETODELETE]
                  [--IMPORT-MASSCAN-RANGES IMPORTSCANRANGES]
                  [--ADD-PATH PATHTOADD] [--DELETE-PATH PATHTODELETE]
                  [--CLEAR-PATHS] [--REFRESH-RESPONSES]
                  [--RESPONSES-ADD-FOR-PATH RESPONSESADDFORPATH]
                  [--SEARCH-PATTERN SEARCHPATTERN]
                  [--SEARCH-CUSTOM-FINGERPRINT SEARCHFINGERPRINT]
                  [--SEARCH-WAPPALYZER SEARCHWAPPALYZER] [--NO-TSIG-KEY]
                  [--TSIG-KEY-IMPORT IMPORTTSIGFILE]
                  [--TSIG-KEY-REPLACE REPLACEMENTTSIGFILE]
                  [--DELETE-TSIG TSIGTODELETE]
                  [--USE-TSIG-FILE-ONLY USETSIGFILEONLY]
                  [--DOWNLOAD-NEW-WAPPALYZER] [--LIST-WAPPALYZER-TECH-NAMES]
                  [--ZONE-XFER] [--ADD-DOMAIN DOMAINDETAILS]
                  [--DELETE-DOMAIN DOMAINTODELETE]
                  [--IMPORT-ZONE-FILE IMPORTZONEFILE] [--CLEAR-DOMAINS]
                  [--LIST-DOMAINS] [--LIST-OUTSIDE] [--SQL-CREDS SQLCREDSFILE]