SmbCrawler 是一款简单直接的工具,它接收凭据和主机列表,并对这些共享进行“爬取”(或“蜘蛛式遍历”)。功能特性:
如果你需要关于如何安装 Python 包的说明,我建议你确保已安装 pipx 并运行 pipx install smbcrawler。
强烈建议添加 shell 补全。作为使用 click 库的 Python 应用,你可以使用常规机制为 bash、zsh 和 fish 添加 Tab 补全。
像这样运行(10 个线程,最大深度 5):
$ smbcrawler crawl -i hosts.txt -u pen.tester -p iluvb0b -d contoso.local -t 10 -D 5
SmbCrawler 经历了重大重构。最重要的变更包括:
关于“感兴趣的文件”、“无聊的共享”等旧 CLI 参数既笨拙又令人困惑。现在我们改用“profiles”,详情见下文。
此外,我意识到我基本上重新发明了关系型数据库,而且做得非常糟糕,那为什么不直接使用 sqlite 呢?sqlite 方案使我们能够生成性能良好的交互式 HTML 报告。如果你需要在某些工具流水线中使用数据,你仍然可以以各种格式导出结果。
SmbCrawler 旧有的权限报告方式有时不太有用。例如,你在共享的根目录中拥有读取权限,但所有子目录都受到保护(例如用户配置文件),这种情况并不罕见。SmbCrawler 现在会报告它能够读取共享目录树的深度,以及它是达到了最大值,还是在你提供更大的最大深度参数值时能够读取得更深。
如果你更喜欢旧版本,它仍然在 PyPI 上可用,例如可以通过 pipx install smbcrawler==0.2.0 安装。
在运行期间,你可以使用以下按键:
p:暂停爬虫并跳过单个主机或共享<space>:打印当前进度s:打印更详细的状态更新更多信息,请运行 smbcrawler -h。
即使在中等规模的网络中,SmbCrawler 也会发现大量数据。挑战在于减少误报。
重要的是要认识到,权限可以应用于服务级别和文件系统级别。远程 SMB 服务可能允许你进行身份验证,并且你的用户账户原则上可能拥有读取权限,但它可能在文件系统上缺少这些权限。
SmbCrawler 将报告你是否有权限:
--depth 参数限制)由于在不尝试相关操作的情况下检查 SMB 共享的权限并非易事,SmbCrawler 将尝试在每个共享上创建一个目录。其名称为 smbcrawler_DELETEME_<8 个随机字符>,并会立即删除,但请仍然注意这一点。
[!WARNING] 有时你有创建目录的权限,但没有删除它们的权限,因此你会在那里留下一个空目录。
为了决定如何处理某些共享、文件或目录,SmbCrawler 有一个称为“配置文件”的功能。请查看默认配置文件。
配置文件从以下位置加载扩展名为 *.yml 或 *.yaml 的文件:
$XDG_DATA_HOME/smbcrawler/(默认为 ~/.local/share/smbcrawler)--extra-profile-directory 定义的额外目录--extra-profile-file 定义的额外文件来自每个位置的配置文件会覆盖之前的定义。
regex 值定义配置文件是否匹配,将使用最后一个匹配的配置文件。所有正则表达式都不区分大小写,以镜像 Windows 世界中最常见的行为。
由于来自不同来源的配置文件如何协同工作可能会令人困惑,请务必使用 --dry-run 参数。它会向你显示生效的配置,除此之外不做任何其他事情。
让我们看看每个部分,它始终是一个字典列表。字典的每个键是一个任意标签,每个值又是一个具有不同属性的字典。
comment:描述此配置文件的有用字符串regex:一个正则表达式,定义此配置文件适用于哪些文件。最后一个匹配的正则表达式才是生效的那个。regex_flags:一个标志数组,将传递给正则表达式的 match 函数high_value(默认值:false):如果文件是“高价值”的,其存在将被报告,但不一定会被下载(想想虚拟硬盘——很重要,但太大而无法自动下载)download(默认值:true):如果为 true,将下载前 200KiBi(如果 high_value=true 则为整个文件)并解析其中的机密comment、regex、regex_flags:同上high_value:其存在将被报告,爬取深度将改为无限crawl_depth:以不同于 --depth 参数所定义的深度爬取此共享或目录comment、regex_flags:同上regex:匹配机密的正则表达式。机密本身可以是一个名为 secret 的命名组。先以爬取深度 1 运行 SmbCrawler 来了解你面对的情况是合理的。在第一次运行中,你可以使用 -w 启用写入检查:
$ smbcrawler -C permissions_check.crwl crawl -D1 -t10 -w \
-i <INPUT FILE> -u <USER> -d <DOMAIN> -p <PASSWORD>
请注意,这仅检查每个共享根目录的写入和读取权限。只有完整运行才能告诉你读取权限能深入到什么程度。
在初始权限检查之后,你可以为下一次或多次运行识别出有趣和无聊的共享。某些共享如 SYSVOL 和 NETLOGON 会出现多次,因此你应该在下一次运行时将爬取深度设置为零,并选择一个主机在第三次运行中扫描这些重复的共享。以下是一个示例:
$ smbcrawler -C dc_only.crwl crawl -D -1 <DC IP> \
-u <USER> -d <DOMAIN> -p <PASSWORD>
$ smbcrawler -C full.crwl crawl -D5 -t10 -i <NEW INPUT FILE> \
-u <USER> -d <DOMAIN> -p <PASSWORD> \
--extra-profile-file skip_sysvol.yml
在这里,skip_sysvol.yml 将是:
shares:
sysvol:
comment: "Skip sysvol and netlogon share"
regex: 'SYSVOL|NETLOGON'
crawl_depth: 0
欢迎在此处添加你认为不值得爬取的其他共享。
原始数据包含在一个 SQLite 数据库和一个目录中(默认分别为 output.crwl 和 output.crwl.d)。该目录包含另外两个目录:一个存放按内容哈希去重后的已下载文件,另一个镜像所有共享,其中的符号链接指向内容文件。后者非常适合对所有已下载文件进行 grep 搜索。
数据可以转换为多种格式。例如,你也可以直接用 sqlitebrowser 访问数据库。一些有用的视图已经预先定义好了。或者你可以输出 JSON 并使用 jq 来处理数据。
例如,如果你想在 LaTeX 表格中显示所有能够读取到根目录之外的共享,请使用以下查询:
SELECT target_id || " & " || name || " & " || remark || " \\"
FROM share
WHERE read_level > 0
ORDER BY target_id, name
还有一个实验性的 HTML 输出功能。对于大量数据而言,它可能还不完全实用。
如果你发现报告的密钥中存在大量误报或漏报,请帮助我并告知我。在尝试改进自动检测时,社区的意见非常重要。最佳情况是:提供一个包含对默认配置文件更改的 pull request。
Adrian Vollmer, SySS GmbH
MIT 许可证;详情请参见 LICENSE。