sparkyniner/netryx-astra-v2-geolocation-toolIl software più sofisticato al mondo per la geolocalizzazione di immagini a livello stradale
Geolocalizzazione AI all'avanguardia da una singola immagine.
L'idea • Come funziona • Per iniziare • Community Hub • Installazione
Hai una fotografia. Forse è uno screenshot di un video. Forse è una foto sgranata e ritagliata scattata da un telefono che qualcuno ha postato online. Forse mostra solo una vetrina, un tratto di strada o l'angolo di un edificio. Vuoi sapere esattamente dove è stata scattata.
Netryx Astra V2 risponde a questa domanda.
È un sistema di geolocalizzazione open-source che prende una singola immagine e trova le coordinate GPS precise confrontandola con un database di panorami a livello stradale. Carica la tua foto e, in pochi minuti, ti dice la via, la città, le coordinate — con un margine di pochi metri.
Ciò che rende V2 diverso dal Netryx originale (e da altri strumenti in circolazione) è il pipeline di matching. Abbiamo ricostruito tutto da zero utilizzando due modelli che non esistevano quando abbiamo iniziato questo progetto:
MegaLoc (CVPR 2025) — il modello di recupero immagini più accurato per il riconoscimento di luoghi, addestrato su sei dataset che coprono ambienti interni, esterni, giorno, notte e variazioni stagionali. Trova il quartiere giusto.
MASt3R (ECCV 2024) — un matcher denso 3D che comprende la geometria delle scene, non solo i pattern di pixel. Conferma la posizione esatta, anche da foto parziali o pesantemente ritagliate che romperebbero i matcher tradizionali.
Il risultato è un pipeline a tre fasi, più semplice e più accurato del sistema a nove fasi che ha sostituito.
Il Netryx originale usava CosPlace per il recupero e una pila di DISK + LightGlue + LoFTR + RANSAC + salto di descrittori + espansione di vicinato per la verifica. Funzionava, ma era fragile — tante euristiche stratificate l'una sull'altra, ciascuna una soluzione alternativa per una limitazione della fase precedente.
V2 ha buttato via tutto. Ecco cosa ha sostituito cosa:
| V1 (Originale) | V2 (Astra) | |
|---|---|---|
| Trovare candidati | CosPlace (ResNet-50, 512-dim) | MegaLoc (DINOv2 ViT-B/14, 8448-dim → PCA 1024) |
| Confermare corrispondenze | DISK + LightGlue + RANSAC | Matching denso 3D MASt3R |
| Gestire casi limite | Fallback LoFTR, salto di descrittori, espansione di vicinato, Ultra Mode | Consenso spaziale — tutto qui |
| Fasi totali del pipeline | 9+ | 3 |
| Matching di immagini parziali | Debole — i keypoint sparsi falliscono su piccole sovrapposizioni | Forte — MASt3R trova corrispondenze dense in piccole regioni |
| Condividere indici | Non possibile | Community Hub tramite Hugging Face + bundle .netryx offline |
La semplificazione non è solo estetica. Meno fasi significa meno punti in cui le cose possono andare storte, ricerche più veloci e codice che è effettivamente manutenibile.
Il pipeline ha tre fasi. Non è una semplificazione eccessiva — sono davvero solo tre fasi.
Immagine di query
│
▼
┌─────────────┐
│ MegaLoc │ "Dove in città potrebbe essere?"
│ Recupero │
└─────┬───────┘
│ Top 500 candidati
▼
┌─────────────┐
│ MASt3R │ "È effettivamente lo stesso posto?"
│ Matching │
└─────┬───────┘
│ Candidati con punteggio
▼
┌─────────────┐
│ Consenso │ "Quale raggruppamento di corrispondenze è più affidabile?"
│ Spaziale │
└─────┬───────┘
│
▼
📍 Coordinate GPS
L'immagine di query viene convertita in un descrittore compatto — un vettore a 8448 dimensioni che cattura l'essenza visiva della scena. Questo viene ridotto tramite PCA a 1024 dimensioni, poi confrontato con ogni posizione indicizzata tramite similarità del prodotto scalare.
Estraiamo anche un descrittore per un ritaglio centrale leggermente ingrandito e per una versione orizzontalmente specchiata della query, quindi uniamo i risultati. Questo gestisce i casi in cui la query ha un diverso livello di zoom o è rivolta nella direzione opposta rispetto alla vista indicizzata.
L'output è la top 500 delle posizioni candidate dall'indice, classificate per similarità visiva.
MegaLoc è del laboratorio di Gabriele Berton (lo stesso gruppo che ha creato CosPlace ed EigenPlaces). È il più recente della loro linea di lavoro, addestrato simultaneamente su SF-XL, GSV-Cities, MSLS e dati di recupero landmark. Nessun altro modello di recupero lo supera costantemente in tutti i benchmark — interni, esterni, urbani, rurali, giorno, notte.
Per ciascuno di quei 500 candidati, scarichiamo il corrispondente panorama a livello stradale, lo ritagliamo all'angolo di heading indicizzato ed eseguiamo MASt3R per trovare corrispondenze dense di pixel tra la query e il ritaglio.
È qui che avviene la magia per le query difficili. I matcher tradizionali come SuperPoint + LightGlue estraggono forse 500-2000 keypoint sparsi e cercano di abbinarli. Se la tua immagine di query si sovrappone solo al 20% con l'immagine del database, potrebbero esserci solo 50 keypoint co-visibili — non abbastanza per un abbinamento affidabile.
MASt3R funziona in modo completamente diverso. Tratta il matching come un problema di ricostruzione 3D, prevedendo mappe di punti dense e descrittori di caratteristiche locali per ogni pixel. Anche una piccola regione sovrapposta produce centinaia di corrispondenze affidabili, perché comprende la struttura 3D della scena, non solo i pattern di pixel 2D.
Nel benchmark Map-free localization (immagine di riferimento singola, cambi di punto di vista fino a 180°), MASt3R supera i metodi precedenti del 30%. Non è un miglioramento incrementale — è un salto generazionale.
Ecco il problema di scegliere semplicemente il candidato con il punteggio di corrispondenza più alto: esistono falsi positivi. Due ristoranti di catena identici a 5 km di distanza produrranno entrambi punteggi MASt3R alti. Una fila di palazzi di appartamenti di epoca sovietica sembrano tutti uguali.
Il consenso spaziale risolve questo problema. Dividiamo l'area di ricerca in celle di griglia di circa 50 metri e raggruppiamo geograficamente tutte le buone corrispondenze. Ogni cella ottiene un punteggio basato sull'evidenza combinata di tutte le corrispondenze in quella cella e nelle celle vicine.
Un singolo outlier con 200 inlier nella posizione sbagliata viene superato da un raggruppamento di 5 corrispondenze con 80-150 inlier ciascuna nella posizione corretta. La corrispondenza migliore del raggruppamento vincente diventa la risposta finale.
Ecco perché l'accuratezza viene mantenuta anche a raggi di ricerca più ampi dove ci sono più posizioni simili.