Le logiciel de géolocalisation d'images de rue le plus sophistiqué au monde
Géolocalisation par IA de pointe à partir d'une seule image.
L'idée • Comment ça marche • Premiers pas • Community Hub • Installation
Vous avez une photographie. Peut-être une capture d'écran tirée d'une vidéo. Peut-être une photo de téléphone recadrée et floue que quelqu'un a publiée en ligne. Peut-être qu'elle ne montre qu'une devanture de magasin, un tronçon de route ou l'angle d'un bâtiment. Vous voulez savoir exactement où elle a été prise.
Netryx Astra V2 répond à cette question.
C'est un système de géolocalisation open source qui prend une seule image et trouve les coordonnées GPS précises en la comparant à une base de données de panoramas de type street-view. Téléversez votre photo, et en quelques minutes il vous indique la rue, la ville, les coordonnées — à quelques mètres près.
Ce qui distingue la V2 de la Netryx originale (et des autres outils existants), c'est le pipeline de mise en correspondance. Nous avons tout reconstruit de zéro en utilisant deux modèles qui n'existaient pas lorsque nous avons lancé ce projet :
MegaLoc (CVPR 2025) — le modèle de recherche d'images le plus précis pour la reconnaissance de lieux, entraîné sur six jeux de données couvrant les variations intérieures, extérieures, de jour, de nuit et saisonnières. Il trouve le bon quartier.
MASt3R (ECCV 2024) — un matcher dense conscient de la 3D qui comprend la géométrie des scènes, et pas seulement les motifs de pixels. Il confirme l'emplacement exact, même à partir de photos partielles ou fortement recadrées qui feraient échouer les matchers traditionnels.
Le résultat est un pipeline en trois étapes, à la fois plus simple et plus précis que le système en neuf étapes qu'il remplace.
La Netryx originale utilisait CosPlace pour la recherche et un empilement de DISK + LightGlue + LoFTR + RANSAC + saut de descripteurs + expansion de voisinage pour la vérification. Cela fonctionnait, mais c'était fragile — beaucoup d'heuristiques superposées les unes aux autres, chacune étant un contournement d'une limitation de l'étape précédente.
La V2 a tout jeté. Voici ce qui a remplacé quoi :
| V1 (Originale) | V2 (Astra) | |
|---|---|---|
| Recherche de candidats | CosPlace (ResNet-50, 512-dim) | MegaLoc (DINOv2 ViT-B/14, 8448-dim → PCA 1024) |
| Confirmation des correspondances | DISK + LightGlue + RANSAC | Mise en correspondance 3D dense MASt3R |
| Gestion des cas limites | Repli sur LoFTR, saut de descripteurs, expansion de voisinage, Ultra Mode | Consensus spatial — c'est tout |
| Nombre total d'étapes du pipeline | 9+ | 3 |
| Correspondance sur image partielle | Faible — les points clés épars échouent sur de petits recouvrements | Forte — MASt3R trouve des correspondances denses dans de minuscules régions |
| Partage d'index | Impossible | Community Hub via Hugging Face + bundles .netryx hors ligne |
La simplification n'est pas seulement esthétique. Moins d'étapes signifie moins d'endroits où les choses peuvent mal tourner, des recherches plus rapides et un code réellement maintenable.
Le pipeline comporte trois étapes. Ce n'est pas une simplification abusive — il n'y a vraiment que trois étapes.
Query Image
│
▼
┌─────────────┐
│ MegaLoc │ "Where in the city could this be?"
│ Retrieval │
└─────┬───────┘
│ Top 500 candidates
▼
┌─────────────┐
│ MASt3R │ "Is this actually the same place?"
│ Matching │
└─────┬───────┘
│ Scored candidates
▼
┌─────────────┐
│ Spatial │ "Which cluster of matches is most trustworthy?"
│ Consensus │
└─────┬───────┘
│
▼
📍 GPS Coordinates
Votre image de requête est convertie en un descripteur compact — un vecteur de 8448 dimensions qui capture l'essence visuelle de la scène. Celui-ci est réduit par PCA à 1024 dimensions, puis comparé à chaque lieu indexé via une similarité par produit scalaire.
Nous extrayons également un descripteur pour un recadrage central légèrement zoomé et pour une version retournée horizontalement de la requête, puis nous fusionnons les résultats. Cela gère les cas où la requête se trouve à un niveau de zoom différent ou orientée dans la direction opposée à la vue indexée.
La sortie est constituée des 500 meilleurs lieux candidats de l'index, classés par similarité visuelle.
MegaLoc provient du laboratoire de Gabriele Berton (le même groupe qui a créé CosPlace et EigenPlaces). C'est le dernier-né de leur lignée de travaux, entraîné simultanément sur SF-XL, GSV-Cities, MSLS et des données de récupération de points de repère. Aucun autre modèle de récupération ne le surpasse systématiquement sur tous les benchmarks — intérieur, extérieur, urbain, rural, jour, nuit.
Pour chacun de ces 500 candidats, nous téléchargeons le panorama street-view correspondant, le recadrons à l'angle de cap indexé, et exécutons MASt3R pour trouver des correspondances denses pixel à pixel entre la requête et le recadrage.
C'est là que la magie opère pour les requêtes difficiles. Les appariements traditionnels comme SuperPoint + LightGlue extraient peut-être 500 à 2000 points clés épars et tentent de les apparier. Si votre image de requête ne chevauche que 20 % avec l'image de la base de données, il pourrait n'y avoir que 50 points clés co-visibles — pas assez pour un appariement fiable.
MASt3R fonctionne de manière complètement différente. Il traite l'appariement comme un problème de reconstruction 3D, en prédisant des cartes de points denses et des descripteurs de caractéristiques locales pour chaque pixel. Même une petite région de chevauchement produit des centaines de correspondances fiables, car il comprend la structure 3D de la scène, et pas seulement les motifs de pixels 2D.
Sur le benchmark de localisation sans carte (image de référence unique, changements de point de vue jusqu'à 180°), MASt3R surpasse les méthodes précédentes de 30 %. Ce n'est pas une amélioration incrémentale — c'est un saut générationnel.
Voici le problème si l'on se contente de choisir le candidat ayant le meilleur score d'appariement : les faux positifs existent. Deux restaurants de chaîne identiques à 5 km l'un de l'autre produiront tous deux des scores MASt3R élevés. Une rangée d'immeubles d'habitation de l'ère soviétique se ressemblent tous.
Le consensus spatial résout cela. Nous divisons la zone de recherche en cellules de grille d'environ 50 mètres et regroupons toutes les bonnes correspondances géographiquement. Chaque cellule obtient un score basé sur les preuves combinées de toutes les correspondances dans cette cellule et ses voisines.