
smbcrawlerは、資格情報とホストのリストを受け取り、それらの共有を「クロール」(または「スパイダー」)する実用的なツールです。
SmbCrawler は、認証情報とホストのリストを受け取り、それらの共有を「クロール」(または「スパイダー」)する、無駄のないツールです。機能:
Python パッケージのインストール方法についての手順が必要な場合は、pipx がインストールされていることを確認し、pipx install smbcrawler を実行することをお勧めします。
シェル補完を追加することを強くお勧めします。click ライブラリを使用する Python アプリとして、通常の仕組みを使って bash、zsh、fish にタブ補完を追加できます。
次のように実行します(10 スレッド、最大深度 5):
$ smbcrawler crawl -i hosts.txt -u pen.tester -p iluvb0b -d contoso.local -t 10 -D 5
SmbCrawler は大幅な刷新を行いました。最も重要な変更点は次のとおりです:
「興味深いファイル」「退屈な共有」などに関する旧来の CLI 引数は、扱いにくく混乱を招くものでした。代わりに、現在は「プロファイル」を使用します。詳細は以下を参照してください。
また、私はリレーショナルデータベースを事実上再発明しながら、それを非常に下手にやってしまっていたことに気づきました。それなら sqlite を直接使えばよいのでは? sqlite のアプローチにより、優れたパフォーマンスで素晴らしいインタラクティブな HTML レポートを生成できます。データを何らかのツールパイプラインで使用する必要がある場合は、引き続きさまざまな形式で結果をエクスポートできます。
SmbCrawler の旧来のパーミッション報告方法は、あまり有用でないことがありました。たとえば、共有のルートディレクトリには読み取りパーミッションがあるものの、すべてのサブディレクトリが保護されている(たとえばユーザープロファイル用に)というのは珍しくありません。SmbCrawler は、共有のディレクトリツリーをどこまで深く読み取れたか、また最大深度引数により高い値を指定していればさらに深く進めたのか、それとも限界に達したのかを報告するようになりました。
旧バージョンを好む場合でも、PyPI で引き続き入手可能で、たとえば pipx install smbcrawler==0.2.0 でインストールできます。
実行中は、次のキーを使用できます:
p: クローラーを一時停止し、個々のホストまたは共有をスキップする<space>: 現在の進捗を表示するs: より詳細なステータス更新を表示する詳細については、smbcrawler -h を実行してください。
中規模のネットワークであっても、SmbCrawler は大量のデータを発見します。課題は誤検知を減らすことです。
パーミッションはサービスレベルとファイルシステムレベルの両方で適用され得ることを理解することが重要です。リモート SMB サービスが認証を許可し、あなたのユーザーアカウントが原則として読み取りパーミッションを持っていても、ファイルシステム上ではこれらのパーミッションを欠いている可能性があります。
SmbCrawler は、次のパーミッションがあるかどうかを報告します:
--depth 引数によって制限される)問題のアクションを試みずに SMB 共有のパーミッションをチェックすることは容易ではないため、SmbCrawler は各共有上にディレクトリを作成しようとします。その名前は smbcrawler_DELETEME_<8 文字のランダム文字> で、直ちに削除されますが、それでも注意してください。
[!WARNING] ディレクトリの作成権限はあるが削除権限がない場合があり、その場合は空のディレクトリが残ることになります。
特定の共有、ファイル、ディレクトリをどう扱うかを決めるために、 SmbCrawler には「プロファイル」という機能があります。デフォルト プロファイルをご覧ください。
プロファイルは、以下の場所から拡張子 *.yml または *.yaml の
ファイルとして読み込まれます:
$XDG_DATA_HOME/smbcrawler/ (デフォルトでは ~/.local/share/smbcrawler)--extra-profile-directory で定義された追加ディレクトリ--extra-profile-file で定義された追加ファイル各場所のプロファイルは、それ以前の定義を上書きします。
regex の値がプロファイルに一致するかどうかを定義し、最後に
一致したプロファイルが使用されます。すべての正規表現は
大文字と小文字を区別せず、Windows の世界で最も一般的な動作を
反映しています。
異なるソースのプロファイルがどのように連携するかは混乱しやすいため、
--dry-run パラメータを活用してください。有効な設定を表示するだけで、
それ以外の処理は行いません。
各セクションを見ていきましょう。各セクションは常に辞書のリストです。 辞書の各キーは任意のラベルであり、各値は異なるプロパティを持つ 辞書です。
comment: このプロファイルを説明する役立つ文字列regex: このプロファイルがどのファイルに適用されるかを定義する
正規表現。一致する最後の正規表現が有効になります。regex_flags: 正規表現の
match 関数に渡されるフラグの配列high_value (デフォルト: false): ファイルが「高価値」の場合、
その存在は報告されますが、必ずしもダウンロードされるとは限りません
(仮想ハードディスクを考えてください。重要ですが、自動でダウンロードするには
大きすぎます)download (デフォルト: true): true の場合、最初の 200KiBi が
ダウンロードされ (または high_value=true の場合はファイル全体)、
シークレットが解析されますcomment、regex、regex_flags: 上記と同じhigh_value: その存在が報告され、クロール深度が
無限に変更されますcrawl_depth: この共有またはディレクトリを、--depth 引数で
定義された深度とは異なる深度までクロールしますcomment、regex_flags: 上記と同じregex: シークレットに一致する正規表現。シークレット自体は
secret という名前の名前付きグループにできます。まず SmbCrawler をクロール深度 1 で実行して、何を扱っているのかを
把握するのが理にかなっています。この最初の実行では、-w で
書き込みチェックを有効にできます:
$ smbcrawler -C permissions_check.crwl crawl -D1 -t10 -w \
-i <INPUT FILE> -u <USER> -d <DOMAIN> -p <PASSWORD>
これは各共有のルートディレクトリにおける書き込みおよび読み取り 権限のみをチェックすることに注意してください。読み取り権限がどこまで 及ぶかを知るには、完全な実行のみが手がかりになります。
最初の権限チェックの後、次の実行または複数回の実行のために、
興味深い共有と退屈な共有を特定できます。SYSVOL や NETLOGON の
ような一部の共有は何度も現れるため、次の実行ではクロール深度を
ゼロに設定し、3 回目の実行でこれらの重複した共有をスキャンする
ホストを 1 つ選ぶべきです。以下に例を示します:
$ smbcrawler -C dc_only.crwl crawl -D -1 <DC IP> \
-u <USER> -d <DOMAIN> -p <PASSWORD>
$ smbcrawler -C full.crwl crawl -D5 -t10 -i <NEW INPUT FILE> \
-u <USER> -d <DOMAIN> -p <PASSWORD> \
--extra-profile-file skip_sysvol.yml
ここで、skip_sysvol.yml は次のようになります:
shares:
sysvol:
comment: "Skip sysvol and netlogon share"
regex: 'SYSVOL|NETLOGON'
crawl_depth: 0
ここに、クロールする価値がないと思われる他の共有を自由に含めてください。
生データは SQLite データベースとディレクトリ(デフォルトでは output.crwl と output.crwl.d)に格納されます。このディレクトリにはさらに 2 つのディレクトリが含まれます。1 つはダウンロードされたファイルをコンテンツのハッシュで一意化したもの、もう 1 つはすべての共有をミラーリングし、コンテンツファイルへのシンボリックリンクを持つディレクトリです。後者はダウンロードしたすべてのファイルを grep するのに適しています。
データはさまざまな形式に変換できます。たとえば、sqlitebrowser でデータベースに直接アクセスすることもできます。いくつかの便利なビューが事前に定義されています。また、JSON を出力して jq でデータを加工することもできます。
たとえば、ルートディレクトリを超えて読み取ることができたすべての共有を LaTeX テーブルで表示したい場合は、次のクエリを使用します:
SELECT target_id || " & " || name || " & " || remark || " \\"
FROM share
WHERE read_level > 0
ORDER BY target_id, name
実験的なHTML出力機能もあります。大量のデータに対してはまだ完全には有用ではないかもしれません。
報告されたシークレットに誤検知や検出漏れが多く見られる場合は、ぜひご協力いただきお知らせください。自動検出を改善するうえでコミュニティからの意見は重要です。最良のケースは、デフォルトのプロファイルファイルへの変更を含むプルリクエストを提供していただくことです。
Adrian Vollmer, SySS GmbH
MIT License; 詳細は LICENSE を参照してください。