世界で最も洗練されたストリートレベル画像ジオロケーションソフトウェア
単一画像からの最先端AIジオロケーション。
アイデア • 仕組み • はじめに • コミュニティハブ • インストール
あなたの手元に1枚の写真があります。動画からのスクリーンショットかもしれません。誰かがオンラインに投稿した、切り抜かれたぼやけたスマホ写真かもしれません。あるいは、店舗の正面、道路の一区間、建物の角だけが写っているかもしれません。あなたはそれが正確にどこで撮影されたのかを知りたいのです。
Netryx Astra V2 がその問いに答えます。
これは、単一の画像から正確なGPS座標を、ストリートビューのパノラマデータベースと照合することで見つけ出すオープンソースのジオロケーションシステムです。写真をアップロードすれば、数分以内に通りの名前、都市、座標を数メートル単位で教えてくれます。
V2 が元の Netryx(および他のツール)と異なる点は、マッチングパイプラインにあります。このプロジェクトを始めた当時は存在しなかった2つのモデルを用いて、すべてをゼロから再構築しました:
MegaLoc(CVPR 2025)— 場所認識のための最も精度の高い画像検索モデルで、屋内・屋外・昼・夜・季節変動をカバーする6つのデータセットで学習されています。正しい近隣エリアを見つけ出します。
MASt3R(ECCV 2024)— シーンの幾何学的構造を理解する3D対応の密マッチャーで、単なるピクセルパターンにとどまりません。従来のマッチャーでは破綻してしまうような部分的な画像や大きく切り抜かれた写真からでも、正確な位置を確認します。
その結果、置き換えられた9段階のシステムよりもシンプルで、かつ高精度な3段階のパイプラインが実現しました。
元の Netryx は、検索に CosPlace を、検証に DISK + LightGlue + LoFTR + RANSAC + ディスクリプタホッピング + 近傍拡張のスタックを使用していました。動作はしましたが脆弱でした — 多数のヒューリスティクスが積み重なり、そのそれぞれが前段階の制限に対する回避策だったのです。
V2 はそれらすべてを捨て去りました。何が何に置き換わったかは以下の通りです:
| V1(オリジナル) | V2(Astra) | |
|---|---|---|
| 候補の検索 | CosPlace(ResNet-50、512次元) | MegaLoc(DINOv2 ViT-B/14、8448次元 → PCA 1024) |
| マッチングの確認 | DISK + LightGlue + RANSAC | MASt3R による密な3Dマッチング |
| エッジケースの処理 | LoFTRフォールバック、ディスクリプタホッピング、近傍拡張、Ultra Mode | 空間的コンセンサス — それだけ |
| パイプラインの総段階数 | 9以上 | 3 |
| 部分画像のマッチング | 弱い — 重なりの小さい領域ではスパースキーポイントが失敗 | 強い — MASt3R が微小領域でも密な対応点を見つける |
| インデックスの共有 | 不可 | Hugging Face 経由のコミュニティハブ + オフラインの .netryx バンドル |
この簡素化は単に見た目の問題ではありません。段階が少なければ、問題が発生する箇所も減り、検索が高速化し、コードも実際に保守可能になります。
パイプラインは3つの段階で構成されています。これは単純化しすぎた表現ではなく、本当に3段階だけなのです。
Query Image
│
▼
┌─────────────┐
│ MegaLoc │ "Where in the city could this be?"
│ Retrieval │
└─────┬───────┘
│ Top 500 candidates
▼
┌─────────────┐
│ MASt3R │ "Is this actually the same place?"
│ Matching │
└─────┬───────┘
│ Scored candidates
▼
┌─────────────┐
│ Spatial │ "Which cluster of matches is most trustworthy?"
│ Consensus │
└─────┬───────┘
│
▼
📍 GPS Coordinates
クエリ画像はコンパクトな記述子に変換されます — シーンの視覚的本質を捉えた8448次元のベクトルです。これはPCAによって1024次元に削減され、その後、ドット積類似度によってインデックス化されたすべての場所と比較されます。
また、わずかにズームインした中央クロップと、クエリを水平方向に反転したバージョンの記述子も抽出し、結果を統合します。これにより、クエリがインデックス化されたビューとは異なるズームレベルにある場合や、逆方向を向いている場合に対処します。
出力は、視覚的類似度でランク付けされた、インデックスからの上位500件の候補地です。
MegaLocはGabriele Bertonの研究室(CosPlaceやEigenPlacesを開発したのと同じグループ)によるものです。これは彼らの一連の研究の最新版であり、SF-XL、GSV-Cities、MSLS、およびランドマーク検索データで同時にトレーニングされています。屋内、屋外、都市、地方、昼、夜を問わず、あらゆるベンチマークで一貫してこれを上回る検索モデルは他にありません。
これら500件の候補それぞれについて、対応するストリートビューパノラマをダウンロードし、インデックス化された方位角でクロップし、MASt3Rを実行してクエリとクロップ間の高密度なピクセル対応を見つけます。
ここが困難なクエリに対して魔法が起こる場所です。SuperPoint + LightGlueのような従来のマッチャーは、おそらく500〜2000個の疎なキーポイントを抽出してマッチングを試みます。クエリ画像がデータベース画像と20%しか重複していない場合、共可視のキーポイントは50個しかないかもしれません — 信頼できるマッチングには不十分です。
MASt3Rはまったく異なる仕組みで動作します。マッチングを3D再構成問題として扱い、すべてのピクセルに対して高密度なポイントマップと局所特徴記述子を予測します。シーンの3D構造を理解しており、単なる2Dピクセルパターンではないため、小さな重複領域であっても数百の信頼できる対応を生成します。
Map-freeローカリゼーションベンチマーク(単一参照画像、最大180°の視点変化)において、MASt3Rは従来の手法を30%上回ります。これは漸進的な改善ではなく、世代を超えた飛躍です。
単に最高のマッチスコアを持つ候補を選ぶだけの問題点は、偽陽性が存在することです。5km離れた2つの同一のチェーンレストランは、どちらも高いMASt3Rスコアを生み出します。ソビエト時代のアパート群の一列はすべて同じに見えます。
空間的コンセンサスがこれを解決します。検索エリアを約50メートルのグリッドセルに分割し、すべての良好なマッチを地理的にクラスタリングします。各セルは、そのセルと隣接セル内のすべてのマッチからの統合された証拠に基づいてスコアを取得します。
誤った場所にある200個のインライアを持つ単一の外れ値は、正しい場所にあるそれぞれ80〜150個のインライアを持つ5つのマッチのクラスターによってスコアで上回られます。勝利したクラスターの最良のマッチが最終的な答えとなります。
これが、類似した場所がより多く存在するより大きな検索半径でも精度が維持される理由です。
この画像からわかるように、手がかりとなるものがまったくなく、単なる小さなクロップ部分です。従来のOSINTはここでは完全に失敗するでしょう。しかしNetryx Astraは、メタデータも事前の手がかりも一切なしで、完全にローカルで実行して、正確な座標までジオロケーションしました。
建物の小さなクロップ画像、モスクワの1km圏内でその場所を見つけるのに必要だったのはそれだけでした。
これが私たちが最も興奮している部分です。
都市のインデックス作成には何時間もの計算時間がかかります。すべてのユーザーが同じ都市を個別にインデックス化するのは無駄です。そこで私たちは共有システムを構築しました。ある人がモスクワをインデックス化して結果をアップロードすれば、他の全員がそれを数分でダウンロードできます。
最速の方法です。誰かがすでにインデックス作成作業を完了しています — あなたはその事前構築済みインデックスをダウンロードするだけです。
モードをSearchに設定し、Run Searchをクリックして、クエリ画像を選択します。地図の座標と検索半径は、インデックスのメタデータから自動的に入力されます。この機能は、コミュニティが貢献し互いに支え合う場合にのみ機能します。ある地域をインデックス化したら、それをアップロードしていただければ、私たち全員が感謝します。
重要な注意: PCAのフィッティング中にアプリケーションメモリ不足によりアプリケーションがフリーズする場合は、ターミナルでこのコマンドを使用してください! python3 -c "from test_super import build_compact_index; build_compact_index()"
まだ誰も手がけていない都市やエリアをインデックス化したいですか? アプリがすべてを処理します — パノラマのダウンロード、ディスクリプタの抽出、検索インデックスの構築。
python test_super.py
内部で何が行われているか:アプリは半径内の点のグリッドを生成し、利用可能なすべてのパノラマ位置を検出し、各パノラマをタイルとしてダウンロードして結合し、各パノラマを複数の方位角で切り出し、各切り出し画像からMegaLoc記述子を抽出し、すべての記述子に対してPCAを適合させ、コンパクトな検索インデックスを構築します。
友人、Discordサーバー、またはダウンロードリンクから .netryx ファイルを入手しましたか?アプリで 📥 Import Index をクリックし、ファイルを選択すれば、すぐに検索できる状態になります。アカウントは不要、インターネットも不要です — 完全にオフラインのワークフローです。
インデックスは公開データセットとして Hugging Face Hub でホストされています。誰でもアカウントなしでダウンロードできます。貢献(アップロード)には無料のHugging Faceアカウントが必要です。
GUIから: 🌐 Community Hub ボタンをクリックすると、利用可能なインデックスを閲覧、検索、ダウンロードできます。⬆ Upload Current Index をクリックすると、自分のインデックスを共有できます。
インデックスバンドルは .netryx 形式を使用します — 以下を含むZIPアーカイブです:
エクスポートすると、地理的フィルタリングが自動的に行われます。インデックスにモスクワ+パリ+東京が含まれていても、「Moscow 1km」をエクスポートすれば、モスクワのエントリだけが含まれます。手作業なしで、より大きなインデックスから特定の地域を切り出すことができます。
Hugging Faceを使いたくない場合は?エクスポートして、好きな方法でファイルを共有するだけです:
# Export
python netryx_hub.py export \
--index-dir ./netryx_data/index \
-o moscow_1km.netryx \
--city moscow --radius 1 --lat 55.75 --lon 37.62
# Send the file via Discord, email, Google Drive, whatever
# Other person imports
python netryx_hub.py import moscow_1km.netryx -o ./netryx_data/index