世界上最精密的街景图像地理定位软件
基于单张图像的最先进 AI 地理位置定位。
你有一张照片。它可能是视频的截图。可能是有人在网上发布的裁剪过、模糊的手机照片。可能只显示了一个店面、一段道路或建筑物的一个角落。你想知道它确切是在哪里拍摄的。
Netryx Astra V2 回答了这个问题。
这是一个开源地理位置定位系统,它接收单张图像,通过与街景全景图数据库进行匹配,找出精确的 GPS 坐标。上传你的照片,几分钟内它就会告诉你街道、城市、坐标——精确到几米之内。
V2 与原始 Netryx(以及市面上的其他工具)的不同之处在于匹配流水线。我们使用两个在我们启动这个项目时还不存在的模型,从头重建了一切:
MegaLoc(CVPR 2025)——用于地点识别的最准确的图像检索模型,在涵盖室内、室外、白天、夜晚和季节变化的六个数据集上训练。它负责找到正确的街区。
MASt3R(ECCV 2024)——一个具备 3D 感知能力的稠密匹配器,它理解场景的几何结构,而不仅仅是像素模式。它能确认确切位置,即使面对会让传统匹配器失效的部分或严重裁剪的照片。
最终结果是一个三步流水线,比它所取代的九阶段系统既更简单又更准确。
原始 Netryx 使用 CosPlace 进行检索,并使用 DISK + LightGlue + LoFTR + RANSAC + 描述子跳转 + 邻域扩展的堆栈进行验证。它能工作,但很脆弱——大量启发式方法层层叠加,每一个都是对前一阶段局限性的变通方案。
V2 抛弃了所有这些。以下是替换对照:
| V1(原始版) | V2(Astra) | |
|---|---|---|
| 查找候选 | CosPlace(ResNet-50,512 维) | MegaLoc(DINOv2 ViT-B/14,8448 维 → PCA 1024) |
| 确认匹配 | DISK + LightGlue + RANSAC | MASt3R 稠密 3D 匹配 |
| 处理边缘情况 | LoFTR 回退、描述子跳转、邻域扩展、Ultra 模式 | 空间共识——仅此而已 |
| 流水线总阶段数 | 9+ | 3 |
| 部分图像匹配 | 弱——稀疏关键点在小的重叠区域上会失败 | 强——MASt3R 能在微小区域内找到稠密对应关系 |
| 共享索引 | 不可能 | 通过 Hugging Face 的社区中心 + 离线 .netryx 包 |
这种简化不仅仅是美观上的。更少的阶段意味着更少出错的地方、更快的搜索,以及真正可维护的代码。
流水线有三个阶段。这不是过度简化——它确实只有三个阶段。
Query Image
│
▼
┌─────────────┐
│ MegaLoc │ "Where in the city could this be?"
│ Retrieval │
└─────┬───────┘
│ Top 500 candidates
▼
┌─────────────┐
│ MASt3R │ "Is this actually the same place?"
│ Matching │
└─────┬───────┘
│ Scored candidates
▼
┌─────────────┐
│ Spatial │ "Which cluster of matches is most trustworthy?"
│ Consensus │
└─────┬───────┘
│
▼
📍 GPS Coordinates
你的查询图像会被转换为一个紧凑的描述符——一个 8448 维向量,用于捕捉场景的视觉本质。该向量经 PCA 降维至 1024 维,然后通过点积相似度与每个已索引地点进行比较。
我们还会为略微放大的中心裁剪区域以及查询图像的水平翻转版本分别提取描述符,然后合并结果。这样可以处理查询图像与索引视图处于不同缩放级别或朝向相反方向的情况。
输出为索引中排名前 500 的候选地点,按视觉相似度排序。
MegaLoc 来自 Gabriele Berton 的实验室(即开发 CosPlace 和 EigenPlaces 的同一团队)。这是他们系列工作中的最新成果,同时在 SF-XL、GSV-Cities、MSLS 和地标检索数据上训练。没有其他检索模型能在所有基准测试中稳定胜过它——无论是室内、室外、城市、乡村、白天还是夜晚。
对于这 500 个候选中的每一个,我们下载对应的街景全景图,按索引的朝向角度进行裁剪,然后运行 MASt3R 来寻找查询图像与裁剪图之间的稠密像素对应关系。
这正是困难查询的魔力所在。像 SuperPoint + LightGlue 这样的传统匹配器可能提取 500-2000 个稀疏关键点并尝试匹配它们。如果你的查询图像与数据库图像只有 20% 的重叠,可能只有 50 个共视关键点——不足以进行可靠匹配。
MASt3R 的工作方式完全不同。它将匹配视为一个 3D 重建问题,为每个像素预测稠密点图和局部特征描述符。即使是很小的重叠区域也能产生数百个可靠的对应关系,因为它理解场景的 3D 结构,而不仅仅是 2D 像素模式。
在 Map-free 定位基准测试中(单张参考图像,视角变化高达 180°),MASt3R 比之前的方法高出 30%。这不是渐进式改进——而是代际飞跃。
仅选择匹配分数最高的候选者存在一个问题:误报确实存在。相距 5 公里的两家相同的连锁餐厅都会产生较高的 MASt3R 分数。一排苏联时代的公寓楼看起来都一样。
空间共识解决了这个问题。我们将搜索区域划分为约 50 米的网格单元,并在地理上对所有良好匹配进行聚类。每个单元根据该单元及其邻居中所有匹配的综合证据获得一个分数。
一个位于错误位置的、拥有 200 个内点的单一离群点,会被位于正确位置的、由 5 个匹配(每个拥有 80-150 个内点)组成的簇所击败。获胜簇中的最佳匹配成为最终答案。
这就是为什么在存在更多相似地点的较大搜索半径下,准确率仍然保持的原因。
我们可以在这张图片中观察到,完全没有可供参考的线索,它只是一个很小的裁剪部分。传统的 OSINT 在这里绝对会失败。然而 Netryx Astra 在完全没有元数据或事先线索的情况下,完全在本地运行,将其定位到了精确坐标。
一张建筑物的小裁剪图片,仅此而已,就足以在莫斯科 1 公里半径内找到它的位置。
这是我们最兴奋的部分。
索引一座城市需要数小时的计算时间。每个用户独立索引同一座城市是浪费的。因此我们构建了一个共享系统:一个人索引莫斯科,上传结果,其他人几分钟内即可下载。
最快的方式。其他人已经完成了索引工作——你只需下载他们预构建的索引。
将模式设置为 Search,点击 Run Search,然后选择你的查询图像。地图坐标和搜索半径会根据索引元数据自动填充。此功能只有在社区贡献并互相支持的情况下才能生效;如果你索引了某个区域,上传它,我们都会非常感激。
重要提示:如果在拟合 PCA 时应用程序因内存耗尽而卡死,请在终端中使用此命令!python3 -c "from test_super import build_compact_index; build_compact_index()"
想要索引一个还没有人做过的城市或区域?该应用会处理一切——下载全景图、提取描述符、构建搜索索引。
python test_super.py
底层发生了什么:应用会在半径范围内生成一个点网格,找到所有可用的全景图位置,将每个全景图作为瓦片下载并拼接,在多个朝向角度裁剪每个全景图,为每个裁剪图提取 MegaLoc 描述符,对所有描述符拟合 PCA,并构建一个紧凑的搜索索引。
从朋友、Discord 服务器或下载链接获得了 .netryx 文件?只需在应用中点击 📥 Import Index,选择该文件,即可开始搜索。无需账户,无需互联网——这是一个完全离线的工作流程。
索引以公共数据集的形式托管在 Hugging Face Hub 上。任何人都可以无需账户下载。贡献(上传)需要一个免费的 Hugging Face 账户。
从 GUI 操作: 点击 🌐 Community Hub 按钮以浏览、搜索和下载可用的索引。点击 ⬆ Upload Current Index 分享你的索引。
索引包使用 .netryx 格式——一个 ZIP 归档,包含:
导出时,地理过滤会自动进行。如果你的索引包含莫斯科 + 巴黎 + 东京,但你导出的是“莫斯科 1km”,则只会包含莫斯科的条目。你可以从更大的索引中切出特定区域,无需任何手动操作。
不想使用 Hugging Face?只需导出并按照你想要的任何方式分享文件:
# Export
python netryx_hub.py export \
--index-dir ./netryx_data/index \
-o moscow_1km.netryx \
--city moscow --radius 1 --lat 55.75 --lon 37.62
# Send the file via Discord, email, Google Drive, whatever
# Other person imports
python netryx_hub.py import moscow_1km.netryx -o ./netryx_data/index
Mac / Linux:
git clone https://github.com/sparkyniner/Netryx-Astra-V2-Geolocation-Tool.git
cd Netryx-Astra-V2-Geolocation-Tool
./setup.sh
然后使用 ./run.sh 启动 Netryx,或者在 Mac 上直接双击文件夹中的 Netryx.command。
Windows: 请先安装 Python 3.12 和 Git,然后:
git clone https://github.com/sparkyniner/Netryx-Astra-V2-Geolocation-Tool.git
cd Netryx-Astra-V2-Geolocation-Tool
双击 setup.bat 即可安装所有内容。安装完成后,双击 run.bat 启动 Netryx。
就这么简单。安装程序会在你的电脑上找到合适的 Python(3.10–3.12,即使你的默认版本更新也没关系),创建虚拟环境、安装依赖、将 MASt3R 下载到仓库旁边,并预先下载模型权重。可以安全地重复运行:已完成的步骤会被跳过。如果有任何缺失,它会明确告诉你需要安装什么。
Netryx 打开后,点击侧边栏顶部的 Try the demo。它会下载莫斯科市中心的一个小型示例索引(约 180 MB,仅一次)并加载一张在那里拍摄的示例照片。点击 Run Search,看它找到该地点。引导式导览(Help & tour)会讲解窗口的每个部分。
MASt3R 权重会在首次运行时自动从 Hugging Face 下载。
你的文件夹结构应如下所示:
some_folder/
├── Netryx-Astra-V2-Geolocation-Tool/ # This repo
│ ├── test_super.py
│ ├── megaloc_utils.py
│ ├── mast3r_utils.py
│ ├── netryx_hub.py
│ └── ...
└── mast3r/ # Cloned separately
├── mast3r/
├── dust3r/
└── ...
mast3r_utils.py 会在运行时自动查找并导入相邻的 mast3r/ 目录。无需配置路径。