pryingdeep

Translation (Перевод)

• Click

IMPORTANT

• This repo is no longer active, sorry guys, I no longer want to keep working on this :)

关于项目

我在 GitHub 上见过多个深网爬虫项目， 但它们中的大多数都达不到我对深网 OSINT 的标准。 因此我决定创建自己的深网 OSINT 工具。

本工具旨在提醒大家：在深网中应始终遵循 OPSEC 的最佳实践。

本项目作者不对使用本工具可能造成的任何损害负责。

这个工具做什么？

Prying Deep 会爬取暗网/明网平台，并尽可能高效地提取情报。

快速开始

前置条件

在使用我们的 OSINT 工具之前，请确保已安装以下依赖项：

1. Docker：（可选）

   • 你可以按照适用于你所使用操作系统的官方安装说明下载并安装 Docker：
   • Docker 安装指南。

2. Go：（必需）

   • Golang 安装指南。

3. PostgresSQL：（如果不使用 docker 则为必需）

   • 确保你的 pryingdeep.yaml 环境变量与 docker-compose.yaml 中的环境一致
   • PostgreSQL 安装

二进制安装

1. 通过以下方式安装二进制文件：

go install -v github.com/iudicium/pryingdeep/cmd/pryingdeep@latest

2. 运行以下命令：

pryingdeep install

3. 根据你的需求调整 config 文件夹中的值。

手动安装

1. 克隆仓库：

    git clone https://github.com/iudicium/pryingdeep.git
   

2. 通过标志或手动方式调整 .yaml 配置中的值。 Database、logger、tor 都需要手动配置。
   

你将需要阅读 Colly 文档。另外，请参阅 配置说明

3. 通过以下方式构建二进制文件：
   • go build -> 在 cmd/pryingdeep 目录内
   • go build cmd/pryingdeep/pryingdeep.go -> 根目录，二进制文件也会在那里。

Docker

要在 docker 容器内启动并运行 pryingdeep，请使用以下命令：

docker-compose up

配置

在此处详细了解每个参数： config

Tor

在此处详细了解如何构建和运行我们的 tor 容器： Tor

用法

Pryingdeep specializes in collecting information about dark-web/clearnet websites.
This tool was specifically built to extract as much information as possible from a .onion website

Usage:
pryingdeep [command]

Available Commands:
completion  Generate the autocompletion script for the specified shell
crawl       Start the crawling process
export      Export the collected data into a file.
help        Help about any command
install     Installation of config files

Flags:
-c, --config string   Path to the .yaml configuration. (default "pryingdeep.yaml")
-h, --help            help for pryingdeep
-z, --save-config     Save chosen options to your .yaml configuration
-s, --silent          -s to disable logging and run silently

路线图

• 向 "tor" docker 容器添加一个用户，使其不以 root 身份运行
• 获取一个 shodan api key 用于测试 favicon 模块
• 想办法获取服务器的 IP 地址
• 实现 scan 命令
• 实现文件识别与搜索
• 将测试移至对应的包中

贡献

1. Fork 本项目
2. 检出 dev 分支（git checkout dev）
3. 为你的代码添加适当的文档。
4. 使用 goimports 对代码进行 lint 检查
5. 提交 pull request，并添加关于所做更改的详细说明。

许可证

基于 GPL-3.0 许可证分发。更多信息请参阅 LICENSE。

视频预览

预览

支持

如果你觉得这个仓库有用并且愿意慷慨解囊，可以向以下地址捐赠一些 Monero（XMR）：

48bEkvkzP3W4SGKSJAkWx2V8s4axCKwpDFf7ZmwBawg5DBSq2imbcZVKNzMriukuPqjCyf2BSax1D3AktiUq5vWk1satWJt

谢谢！