我还没有数据。在拥有数据之前就进行推理,这是一个严重的错误。人们会不知不觉地 扭曲事实去迎合理论,而不是调整理论去适应事实。
🚧 ⚠️ 正在进行中;尚不可用,暂时还不行 ⚠️ 🚧
欢迎来到 OSINTBuddy 项目,在这里你可以连接、整合非结构化数据和公开数据,并获得可以逐步探索的见解。易用的插件系统允许任何开发者快速集成新的数据源,让你专注于发现、交互和可视化那些对你重要的内容。
目前还不多。
但以下是我们的构想:
每天都会产生几乎难以想象的海量数据,而且每年这些数字都在以不断加快的速度增长。这些数据源可以分为六类不同的信息流:
OSINT 是一种处理、评估和排序信息的方法——我们正生活在信息时代,而 OSINT 研究必须处理的信息量*(信息爆炸)*以及低质量数据的问题,让研究人员不堪重负。这些数据大部分是非结构化的,这给分析数据并产出可行动情报带来了许多挑战,因为大多数数据分析数据库都是为结构化数据设计的。我们被信息包围,但其中几乎没有任何信息是有用的。
我决定为此做点什么。人工智能和大数据分析等技术的快速发展,为 OSINT 开辟了前所未有的新天地。我们希望所有这些信息都触手可及。我们希望快速获得直击要害的可行动情报,这正是我们构建一款自由开源 OSINT 工具的原因。它采用任何人都能学会的普通 Web 技术构建。但这其实并非项目的全部。自互联网诞生以来已过去三十年,而它只证明了自己是我们自身、我们的社会与政治的一面镜子。我们面临着一系列直接威胁民主价值观和进程的重大挑战。由谁拥有、设计和控制技术的问题,从未像今天这样紧迫。
什么样的技术框架才能确保一项技术是开放且公平的?我们如何"重新配置"数字基础设施,使其服务于积极的社会转型,而非企业利益?我们需要你的帮助来设计它、编写它并构建它。让我们倾听你的建议和想法,我们将当着你的面把它构建出来。"大海捞针"这一说法在互联网上被推向了极致。让我们一起打造一块磁铁吧。
[!CAUTION]
⚠️ 实验性软件(pre-alpha)⚠️
OSINTBuddy 目前是实验性软件,暂时还未准备好投入使用!如果你对开发感兴趣,需要将
pluginsdocker 服务克隆到本仓库根目录:git clone https://github.com/osintbuddy/plugins osintbuddy-plugins
就目前而言,这个项目更像一个玩具环境,在原型验证这一构想和深入了解问题空间方面颇有价值。要想让这个项目真正成功,它最终必须能够被用于开展严肃、原创且有创造性的工作。这是检验我们的工具是否真正有效、而非仅仅讲述一个好故事的基本标准。我们能从这个项目中学到哪些强大且可推广的思想?下一代系统应如何在此基础上构建?系统的形态必须允许你提出自己想问的问题。
我坚信,如今一系列机遇已经出现。我相信,即便不是今天,也很快就能实现——我们能够创造一种全新的沉浸式媒介,它不仅服务于传统的 OSINT 和研究工作,还能让你在所能想象的任何情境中去发现、学习、研究,并获得可行动的洞察。像 photoshop 这样的媒介,不同于它所包含的任何单个工具。此类沉浸式媒介的可能性范围令人惊叹,而这些可能性正是源于该媒介中的基本对象与操作。
想帮忙吗?把你的想法写下来并分享出来、参与讨论,并告诉我哪些可行、哪些不可行——这些都能帮助启动这个项目。这是一种找到发力点的方式,可能帮助我们为 OSINT 开发新工具。那么让我们开始吧,这里有一些我的想法:
.env.example 文件复制为 .env,并根据需要调整设置。
cp .env.example .env
frontend/.env.example 复制为 frontend/.env,并按需调整。
cp frontend/.env.example frontend/.env
等我们再修复一些缺陷、再补齐一些功能后,我们打算建立一个 GitHub Actions 工作流,用于构建并打包构建好的前端和 Rust 服务。欢迎在 Discord 上关注该项目以获取最新动态 :)
之所以用 Rust 重写,是因为我对 Python 感到厌倦,于是决定重写整个项目来学习 Rust。现在它更快了,而且更少崩溃 (但愿如此)。
如果你想开始为 OSINTBuddy 开发,请创建或认领一个 issue,然后按照以下步骤操作:
克隆仓库
git clone https://github.com/osintbuddy/osintbuddy.git
cd osintbuddy
# using ssh?
# git clone [email protected]:osintbuddy/osintbuddy.git
初始化默认实体 (即插件) 以用于 OSIB:
git clone https://github.com/osintbuddy/plugins.git osintbuddy-plugins
python3 -m venv venv
source ./venv/bin/activate
pip install -e ./osintbuddy-plugins/
git clone https://github.com/osintbuddy/entities.git plugins
启动整套服务。
docker compose up db ui
迁移数据库。
cargo install sqlx-cli --no-default-features --features native-tls,postgres
cargo install cargo-watch
cd crates/ && sqlx migrate run && cd ..
运行 OSIB
在主机系统上分别用不同的终端运行后端 api 和 worker:
Ctrl+C/终止 worker 和 api 终端,然后运行 docker compose down 进行清理。docker compose down --volumes。我们使用 GNU Affero General Public License v3.0(AGPL),因为我们希望保障使用、复用、复制、修改以及再发布修改的自由。因为自由并不意味着放任,而是意味着互惠。如果你基于它构建,就要回馈社区。这样公共资源才能保持健康。这是一个编码进社会契约的技术政治决策。这里只需说明:Affero GPLv3 许可证在法律上要求服务提供者向任何用户直接提供运行特定实例的计算机代码。
赋能调查人员与网络安全爱好者,揭示真相、对抗不公,创造一个更安全的世界。
从一个线索开始。 借助 OSINT,案件结案速度提高 12 倍。
LinkScope 允许你通过将信息表示为称为实体(Entities)的离散数据片段,来进行在线调查。
作为首个自动 GPU 加速平台,它让你无需担心规模即可驾驭所有数据,并能随时灵活转向,追随调查指引你到达的任何地方。无论是安全、欺诈和 IT 调查,客户与供应链的 360° 全景视图,还是癌症突变图谱,Graphistry 都能将你的数据潜力转化为人类的洞察与价值。
如果你需要与我联系,请创建一个 issue,或发送电子邮件至 [email protected]。
| 仓库 | 描述 | 语言 | 用途 | ETA |
|---|
osintbuddy | 核心应用 (本仓库) | Rust, TypeScript/Preact | Web 界面和后台服务 | 距 alpha 2-4 个月 |
plugins | PyPi 上的 Python 插件系统包 | Python | 可扩展的数据收集框架 | 2-4 个月 |
entities | 默认的 OSIB 实体定义 | Python | 默认实体类型和模式 | 4-5 个月 |
# NOTE: Must run all terminals with Python (3.12.9) venv activated!
# In one terminal run:
source ./venv/bin/activate
cargo watch -q -c -w crates/api -x "run -p api"
# In another terminal run:
source ./venv/bin/activate
cargo watch -q -c -w crates/worker -x "run -p worker"
访问 OSIB,通过以下分别面向前端、后端和文档的 URL: