TorBot

                         ████████╗ ██████╗ ██████╗     ██████╗  ██████╗ ████████╗
                         ╚══██╔══╝██╔═══██╗██╔══██╗    ██╔══██╗██╔═████╗╚══██╔══╝
                            ██║   ██║   ██║██████╔╝    ██████╔╝██║██╔██║   ██║
                            ██║   ██║   ██║██╔══██╗    ██╔══██╗████╔╝██║   ██║
                            ██║   ╚██████╔╝██║  ██║    ██████╔╝╚██████╔╝   ██║
                            ╚═╝    ╚═════╝ ╚═╝  ╚═╝    ╚═════╝  ╚═════╝    ╚═╝

                            暗网开源情报工具

状态/社交链接

功能特性

1. Onion 爬虫（.onion）
2. 返回页面标题，若无页面标题则返回主机名，并附带地址及站点简短描述。
3. 将链接保存到数据库（未完成）
4. 输出站点的 HTML 或将其保存为 HTML 文件。（未完成）
5. 将链接树保存为 JSON 文件。
6. 爬取自定义域名
7. 检查链接是否存活
8. 内置更新器
9. 构建链接关系的可视化树，可快速查看或保存到文件

近期改进

• CLI 现在允许 --version 和 --update 在无需提供 URL 的情况下运行。
• 爬虫现在会基于当前页面解析相对链接，并更优雅地跳过不支持或格式错误的 href。
• 可选的 TorBotApp 桌面 UI 在作为同级检出安装时，可通过 CLI 使用 torbot app 启动。

...(将更新)

依赖项

• Tor（可选）
• Python 3.10+
• pip

快速开始

本地安装

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -r requirements.txt
python -m pip install -e .

运行 CLI

python main.py --help
python main.py --version
python main.py -u https://example.com --depth 2 --visualize table

常见示例

# Gather basic site information
python main.py -u https://example.com --info

# Save the crawl tree as JSON
python main.py -u https://example.com --depth 2 --save json

# Disable SOCKS5 if you are not using Tor locally
python main.py -u https://example.com --disable-socks5 --visualize tree

# Launch the optional desktop app when TorBotApp is installed
torbot app

证据优先的 AI 分析

保存带版本号的爬取结果，并将其转化为带引用的调查包：

torbot --url https://example.com --disable-socks5 \
  --save result --result-file crawl-result.json
torbot analyze crawl-result.json --provider ollama --model qwen3 \
  --output investigation/

Analyst 默认使用本地 Ollama 端点。远程 OpenAI 兼容提供商需要显式指定 --allow-remote 标志。每个受支持的发现都必须引用已捕获的证据，并且提供商故障绝不会阻止确定性证据包的写入。有关离线快速入门、输出格式、隐私边界和 schema，请参阅 TorBot Analyst。

选项

usage: Gather and analyze data from Tor sites.

optional arguments:
  -u URL, --url URL     Specify a website link to crawl
  --depth DEPTH         Specify max depth of crawler (default 1)
  -h, --help            Show this help message and exit
  --host                Set IP address for SOCKS5 proxy (defaults to 127.0.0.1)
  --port                Set port for SOCKS5 proxy (defaults to 9050)
  -v                    Displays DEBUG level logging, default is INFO
  --version             Show the current version of TorBot.
  --update              Update TorBot to the latest stable version
  --app                 Run optional TorBot desktop app
  --app-dir APP_DIR     Path to a TorBotApp checkout
  -q, --quiet           Prevents display of header and IP address
  --save FORMAT         Save results in a file. (tree, JSON)
  --visualize FORMAT    Visualizes tree of data gathered. (tree, JSON, table)
  -i, --info            Info displays basic info of the scanned site
  --disable-socks5      Executes HTTP requests without using SOCKS5 proxy

-u/--url 对于 --info、--save 和 --visualize 等与爬取相关的命令是必需的。

如果你在本地使用 Tor，请保持 SOCKS5 代理启用。如果你不使用 Tor，请添加 --disable-socks5 以避免代理连接错误。

在此处阅读有关 torrc 的更多信息：Torrc

可选的桌面应用

TorBot 仍然是一个以 CLI 为先的 Python 工具。桌面 UI 位于单独的 TorBotApp Electron 项目中，因此 CLI 用户 不需要 Node 和 Electron。

要从此 CLI 启动它，请将 TorBotApp 安装为同级检出：

code/
+-- TorBot/
+-- TorBotApp/

然后运行：

torbot app

如果 TorBotApp 位于其他位置，请使用以下任一方式：

TORBOT_APP_DIR=/path/to/TorBotApp torbot app
torbot --app --app-dir /path/to/TorBotApp

有关 CLI、可选 UI 和后端服务如何协同工作，请参阅 桌面应用架构。

精选功能

• 可视化模块重构
• 为网络爬虫实现 BFS 搜索
• 提升稳定性（优雅地处理错误、扩大测试覆盖范围等）
• 提高测试覆盖率
• 将最近的搜索结果保存到数据库
• 随机化 Tor 连接（随机请求头和身份）
• 关键词/短语搜索
• 社交媒体集成
• 增强匿名性
• 截图捕获

贡献指南

发现了问题？

如果您在项目中遇到任何问题，请通过此处创建新 issue 告知我们。

开发者指南

我们欢迎对本项目的贡献！以下是需要遵循的几条指南：

1. Fork 仓库并为您的贡献创建一个新分支。
2. 在向 dev 分支提交 pull request 之前，请运行 pytest 确保您的代码通过所有测试。
3. 遵循 Python 代码的 PEP8 风格指南。
4. 请务必为任何新功能或更改添加适当的文档。
5. 提交 pull request 时，请提供所做更改的详细描述。

参考资料