
세계에서 가장 정교한 거리 수준 이미지 지리 위치 소프트웨어
단일 이미지로부터 구현되는 최첨단 AI 지오로케이션.
아이디어 • 작동 방식 • 시작하기 • 커뮤니티 허브 • 설치
당신에게 사진 한 장이 있습니다. 영상에서 캡처한 스크린샷일 수도 있고, 누군가 온라인에 올린 잘리고 흐릿한 휴대폰 사진일 수도 있습니다. 상점 앞면, 도로의 한 구간, 혹은 건물의 모서리만 보여줄 수도 있습니다. 당신은 이 사진이 정확히 어디서 촬영되었는지 알고 싶습니다.
Netryx Astra V2가 그 질문에 답합니다.
이것은 단일 이미지를 입력받아 스트리트 뷰 파노라마 데이터베이스와 대조하여 정확한 GPS 좌표를 찾아내는 오픈소스 지오로케이션 시스템입니다. 사진을 업로드하면 몇 분 안에 거리, 도시, 좌표를 알려줍니다 — 오차는 불과 몇 미터 수준입니다.
V2가 원래의 Netryx(그리고 다른 도구들)와 다른 점은 매칭 파이프라인입니다. 이 프로젝트를 시작했을 때는 존재하지 않았던 두 가지 모델을 사용하여 모든 것을 처음부터 다시 구축했습니다:
MegaLoc (CVPR 2025) — 실내, 실외, 낮, 밤, 계절 변화를 아우르는 6개 데이터셋으로 학습된, 장소 인식을 위한 가장 정확한 이미지 검색 모델입니다. 올바른 동네를 찾아냅니다.
MASt3R (ECCV 2024) — 픽셀 패턴뿐 아니라 장면의 기하학적 구조를 이해하는 3D 인식 밀집 매처입니다. 기존 매처를 무력화시킬 부분적이거나 심하게 잘린 사진에서도 정확한 위치를 확인합니다.
그 결과, 기존의 9단계 시스템을 대체하는 더 단순하면서도 더 정확한 3단계 파이프라인이 완성되었습니다.
원래의 Netryx는 검색에 CosPlace를, 검증에 DISK + LightGlue + LoFTR + RANSAC + 디스크립터 호핑 + 이웃 확장의 스택을 사용했습니다. 동작은 했지만 취약했습니다 — 여러 휴리스틱이 겹겹이 쌓여 있었고, 각각은 이전 단계의 한계를 우회하기 위한 것이었습니다.
V2는 그 모든 것을 버렸습니다. 무엇이 무엇을 대체했는지는 다음과 같습니다:
| V1 (원본) | V2 (Astra) | |
|---|---|---|
| 후보 찾기 | CosPlace (ResNet-50, 512차원) | MegaLoc (DINOv2 ViT-B/14, 8448차원 → PCA 1024) |
| 매칭 확인 | DISK + LightGlue + RANSAC | MASt3R 밀집 3D 매칭 |
| 엣지 케이스 처리 | LoFTR 폴백, 디스크립터 호핑, 이웃 확장, Ultra Mode | 공간적 합의 — 그게 전부 |
| 전체 파이프라인 단계 | 9+ | 3 |
| 부분 이미지 매칭 | 약함 — 작은 겹침 영역에서 희소 키포인트 실패 | 강함 — MASt3R이 작은 영역에서도 밀집 대응점을 찾아냄 |
| 인덱스 공유 | 불가능 | Hugging Face를 통한 커뮤니티 허브 + 오프라인 .netryx 번들 |
이 단순화는 단지 미적인 것이 아닙니다. 단계가 적다는 것은 문제가 발생할 여지가 적고, 검색이 더 빠르며, 코드가 실제로 유지보수 가능하다는 것을 의미합니다.
파이프라인은 세 단계로 구성됩니다. 이는 지나친 단순화가 아닙니다 — 정말로 세 단계일 뿐입니다.
Query Image
│
▼
┌─────────────┐
│ MegaLoc │ "Where in the city could this be?"
│ Retrieval │
└─────┬───────┘
│ Top 500 candidates
▼
┌─────────────┐
│ MASt3R │ "Is this actually the same place?"
│ Matching │
└─────┬───────┘
│ Scored candidates
▼
┌─────────────┐
│ Spatial │ "Which cluster of matches is most trustworthy?"
│ Consensus │
└─────┬───────┘
│
▼
📍 GPS Coordinates
쿼리 이미지는 장면의 시각적 본질을 담은 압축 디스크립터, 즉 8448차원 벡터로 변환됩니다. 이 벡터는 PCA를 통해 1024차원으로 축소된 후, 내적 유사도를 통해 인덱싱된 모든 위치와 비교됩니다.
또한 약간 확대된 중앙 크롭과 쿼리의 수평 반전 버전에 대해서도 디스크립터를 추출한 뒤 결과를 병합합니다. 이는 쿼리가 인덱싱된 뷰와 다른 줌 레벨에 있거나 반대 방향을 향하고 있는 경우를 처리하기 위함입니다.
출력은 인덱스에서 시각적 유사도 순으로 정렬된 상위 500개의 후보 위치입니다.
MegaLoc은 Gabriele Berton의 연구실(CosPlace와 EigenPlaces를 만든 같은 그룹)에서 개발했습니다. 이들은 SF-XL, GSV-Cities, MSLS, 그리고 랜드마크 검색 데이터를 동시에 학습시킨 이 분야의 최신 성과물입니다. 실내, 실외, 도심, 시골, 낮, 밤 등 모든 벤치마크에서 이를 일관되게 능가하는 검색 모델은 없습니다.
이 500개의 후보 각각에 대해 해당 스트리트 뷰 파노라마를 다운로드하고, 인덱싱된 방위각으로 크롭한 뒤 MASt3R을 실행하여 쿼리와 크롭 간의 고밀도 픽셀 대응 관계를 찾습니다.
어려운 쿼리에서 마법이 일어나는 지점이 바로 여기입니다. SuperPoint + LightGlue 같은 전통적인 매처는 아마 500~2000개의 희소 키포인트를 추출하여 매칭을 시도합니다. 쿼리 이미지가 데이터베이스 이미지와 20%만 겹친다면, 공동 가시 키포인트는 50개에 불과할 수 있으며, 이는 신뢰할 수 있는 매칭에 충분하지 않습니다.
MASt3R은 완전히 다르게 작동합니다. 매칭을 3D 재구성 문제로 취급하여 모든 픽셀에 대한 고밀도 포인트 맵과 로컬 특징 디스크립터를 예측합니다. 단지 2D 픽셀 패턴이 아니라 장면의 3D 구조를 이해하기 때문에, 작은 겹침 영역에서도 수백 개의 신뢰할 수 있는 대응 관계를 생성합니다.
Map-free localization 벤치마크(단일 참조 이미지, 최대 180°의 시점 변화)에서 MASt3R은 이전 방법들을 30% 능가합니다. 이는 점진적인 개선이 아니라 세대적 도약입니다.
단순히 가장 높은 매칭 점수를 가진 후보를 선택할 때의 문제는 바로 오탐이 존재한다는 것입니다. 5km 떨어진 두 개의 동일한 체인 레스토랑은 둘 다 높은 MASt3R 점수를 생성할 것입니다. 소련 시대 아파트 블록 한 줄은 모두 똑같아 보입니다.
공간적 합의가 이를 해결합니다. 검색 영역을 약 50미터 격자 셀로 나누고 모든 좋은 매칭을 지리적으로 클러스터링합니다. 각 셀은 해당 셀과 이웃 셀의 모든 매칭에서 나온 결합된 증거를 기반으로 점수를 받습니다.
잘못된 위치에서 200개의 인라이어를 가진 단일 이상치는 올바른 위치에서 각각 80~150개의 인라이어를 가진 5개 매칭의 클러스터보다 낮은 점수를 받습니다. 승리한 클러스터의 최고 매칭이 최종 답이 됩니다.
이것이 더 많은 유사 위치가 존재하는 더 큰 검색 반경에서도 정확도가 유지되는 이유입니다.
이 사진에서 볼 수 있듯이, 단서가 될 만한 것이 전혀 없는 작은 크롭 부분일 뿐입니다. 전통적인 OSINT는 여기서 완전히 실패할 것입니다. 그럼에도 Netryx Astra는 메타데이터도, 사전 단서도 전혀 없이 완전히 로컬에서 실행되어 정확한 좌표까지 지오로케이션했습니다.
건물의 작은 크롭 사진 하나만으로 모스크바의 1km 반경 내에서 위치를 찾아냈습니다.
이 부분이 우리가 가장 기대하는 부분입니다.
도시를 인덱싱하는 데는 몇 시간의 연산 시간이 소요됩니다. 모든 사용자가 같은 도시를 개별적으로 인덱싱하는 것은 낭비입니다. 그래서 우리는 공유 시스템을 구축했습니다. 한 사람이 모스크바를 인덱싱하고 결과를 업로드하면, 다른 모든 사람이 몇 분 만에 다운로드할 수 있습니다.
가장 빠른 방법입니다. 누군가 이미 인덱싱 작업을 완료했으므로, 미리 빌드된 인덱스를 다운로드하기만 하면 됩니다.
모드를 Search로 설정하고 Run Search를 클릭한 다음, 쿼리 이미지를 선택하세요. 지도 좌표와 검색 반경은 인덱스 메타데이터에서 자동으로 채워집니다. 이 기능은 커뮤니티가 기여하고 서로 지원할 때만 작동합니다. 여러분이 한 지역을 인덱싱한다면, 그것을 업로드해 주시면 모두가 감사할 것입니다.
중요 참고 사항: PCA를 피팅하는 동안 애플리케이션 메모리 부족으로 인해 애플리케이션이 멈추는 경우, 터미널에서 이 명령을 사용하세요! python3 -c "from test_super import build_compact_index; build_compact_index()"
아직 아무도 하지 않은 도시나 지역을 인덱싱하고 싶으신가요? 앱이 모든 것을 처리합니다 — 파노라마 다운로드, 디스크립터 추출, 검색 인덱스 구축까지.
python test_super.py
내부적으로 일어나는 일: 앱이 반경 내의 점 격자를 생성하고, 사용 가능한 모든 파노라마 위치를 찾아내며, 각 파노라마를 타일로 다운로드하여 이어 붙이고, 각 파노라마를 여러 방위각에서 잘라내고, 각 크롭에 대한 MegaLoc 디스크립터를 추출하고, 모든 디스크립터에 PCA를 적합시키고, 간결한 검색 인덱스를 구축합니다.
친구, Discord 서버 또는 다운로드 링크에서 .netryx 파일을 받으셨나요? 앱에서 📥 Import Index를 클릭하고 파일을 선택하면 바로 검색할 준비가 됩니다. 계정도 필요 없고 인터넷도 필요 없습니다 — 완전한 오프라인 워크플로입니다.
인덱스는 Hugging Face Hub에 공개 데이터셋으로 호스팅됩니다. 누구나 계정 없이 다운로드할 수 있습니다. 기여(업로드)에는 무료 Hugging Face 계정이 필요합니다.
GUI에서: 🌐 Community Hub 버튼을 클릭하여 사용 가능한 인덱스를 탐색, 검색 및 다운로드하세요. ⬆ Upload Current Index를 클릭하여 자신의 인덱스를 공유하세요.
인덱스 번들은 .netryx 형식을 사용합니다 — 다음을 포함하는 ZIP 아카이브입니다:
내보낼 때 지리적 필터링이 자동으로 수행됩니다. 인덱스에 모스크바 + 파리 + 도쿄가 포함되어 있지만 "Moscow 1km"를 내보내면 모스크바 항목만 포함됩니다. 수동 작업 없이 더 큰 인덱스에서 특정 지역을 잘라낼 수 있습니다.
Hugging Face를 사용하고 싶지 않으신가요? 파일을 내보내고 원하는 방식으로 공유하면 됩니다:
# Export
python netryx_hub.py export \
--index-dir ./netryx_data/index \
-o moscow_1km.netryx \
--city moscow --radius 1 --lat 55.75 --lon 37.62
# Send the file via Discord, email, Google Drive, whatever
# Other person imports
python netryx_hub.py import moscow_1km.netryx -o ./netryx_data/index