
Die weltweit anspruchsvollste Software zur Geolokalisierung von Straßenbildern
Modernste KI-Geolokalisierung aus einem einzigen Bild.
Die Idee • So funktioniert es • Erste Schritte • Community-Hub • Installation
Sie haben ein Foto. Vielleicht ist es ein Screenshot aus einem Video. Vielleicht ist es ein zugeschnittenes, unscharfes Handyfoto, das jemand online gepostet hat. Vielleicht zeigt es nur eine Ladenfront, ein Stück Straße oder die Ecke eines Gebäudes. Sie möchten genau wissen, wo es aufgenommen wurde.
Netryx Astra V2 beantwortet diese Frage.
Es ist ein Open-Source-Geolokalisierungssystem, das ein einzelnes Bild nimmt und die präzisen GPS-Koordinaten findet, indem es es mit einer Datenbank von Street-View-Panoramen abgleicht. Laden Sie Ihr Foto hoch, und innerhalb von Minuten nennt es Ihnen die Straße, die Stadt, die Koordinaten — auf wenige Meter genau.
Was V2 vom ursprünglichen Netryx (und von anderen verfügbaren Tools) unterscheidet, ist die Matching-Pipeline. Wir haben alles von Grund auf neu aufgebaut, mit zwei Modellen, die es noch nicht gab, als wir dieses Projekt begannen:
MegaLoc (CVPR 2025) — das genaueste Bild-Retrieval-Modell für Ortserkennung, trainiert auf sechs Datensätzen, die Innen-, Außen-, Tag-, Nacht- und saisonale Variationen abdecken. Es findet die richtige Nachbarschaft.
MASt3R (ECCV 2024) — ein 3D-bewusster dichter Matcher, der die Geometrie von Szenen versteht, nicht nur Pixelmuster. Es bestätigt den genauen Standort, selbst bei Teil- oder stark zugeschnittenen Fotos, die traditionelle Matcher scheitern lassen würden.
Das Ergebnis ist eine dreistufige Pipeline, die sowohl einfacher als auch genauer ist als das neunstufige System, das sie ersetzt hat.
Das ursprüngliche Netryx verwendete CosPlace für das Retrieval und einen Stapel aus DISK + LightGlue + LoFTR + RANSAC + Descriptor-Hopping + Neighborhood-Expansion für die Verifikation. Es funktionierte, war aber fragil — viele Heuristiken, die übereinander geschichtet waren, jede ein Workaround für eine Einschränkung der vorherigen Stufe.
V2 hat all das verworfen. Hier ist, was was ersetzt hat:
| V1 (Original) | V2 (Astra) | |
|---|---|---|
| Kandidaten finden | CosPlace (ResNet-50, 512-dim) | MegaLoc (DINOv2 ViT-B/14, 8448-dim → PCA 1024) |
| Übereinstimmungen bestätigen | DISK + LightGlue + RANSAC | MASt3R dichtes 3D-Matching |
| Umgang mit Sonderfällen | LoFTR-Fallback, Descriptor-Hopping, Neighborhood-Expansion, Ultra Mode | Räumlicher Konsens — das war's |
| Gesamte Pipeline-Stufen | 9+ | 3 |
| Teilbild-Matching | Schwach — sparse Keypoints scheitern bei kleinen Überlappungen | Stark — MASt3R findet dichte Korrespondenzen in winzigen Regionen |
| Indexe teilen | Nicht möglich | Community-Hub über Hugging Face + Offline-.netryx-Bundles |
Die Vereinfachung ist nicht nur ästhetisch. Weniger Stufen bedeuten weniger Stellen, an denen etwas schiefgehen kann, schnellere Suchen und Code, der tatsächlich wartbar ist.
Die Pipeline hat drei Stufen. Das ist keine Übervereinfachung — es sind wirklich nur drei Stufen.
Query Image
│
▼
┌─────────────┐
│ MegaLoc │ "Where in the city could this be?"
│ Retrieval │
└─────┬───────┘
│ Top 500 candidates
▼
┌─────────────┐
│ MASt3R │ "Is this actually the same place?"
│ Matching │
└─────┬───────┘
│ Scored candidates
▼
┌─────────────┐
│ Spatial │ "Which cluster of matches is most trustworthy?"
│ Consensus │
└─────┬───────┘
│
▼
📍 GPS Coordinates
Ihr Abfragebild wird in einen kompakten Deskriptor umgewandelt – einen 8448-dimensionalen Vektor, der die visuelle Essenz der Szene erfasst. Dieser wird per PCA auf 1024 Dimensionen reduziert und dann über Dot-Product-Ähnlichkeit mit jedem indexierten Standort verglichen.
Wir extrahieren außerdem einen Deskriptor für einen leicht hineingezoomten mittleren Ausschnitt und für eine horizontal gespiegelte Version der Abfrage und führen die Ergebnisse dann zusammen. Dies deckt Fälle ab, in denen die Abfrage auf einer anderen Zoomstufe liegt oder in die entgegengesetzte Richtung zur indexierten Ansicht zeigt.
Die Ausgabe sind die 500 besten Kandidatenstandorte aus dem Index, sortiert nach visueller Ähnlichkeit.
MegaLoc stammt aus dem Labor von Gabriele Berton (dieselbe Gruppe, die CosPlace und EigenPlaces entwickelt hat). Es ist der neueste Beitrag ihrer Arbeit und wurde gleichzeitig auf SF-XL, GSV-Cities, MSLS und Landmark-Retrieval-Daten trainiert. Kein anderes Retrieval-Modell schlägt es durchgängig über alle Benchmarks hinweg – indoor, outdoor, städtisch, ländlich, Tag, Nacht.
Für jeden dieser 500 Kandidaten laden wir das entsprechende Street-View-Panorama herunter, schneiden es im indexierten Blickwinkel zu und führen MASt3R aus, um dichte Pixelkorrespondenzen zwischen der Abfrage und dem Ausschnitt zu finden.
Hier geschieht die Magie bei schwierigen Abfragen. Traditionelle Matcher wie SuperPoint + LightGlue extrahieren vielleicht 500–2000 sparse Keypoints und versuchen, diese zuzuordnen. Wenn Ihr Abfragebild nur zu 20 % mit dem Datenbankbild überlappt, gibt es möglicherweise nur 50 gemeinsam sichtbare Keypoints – nicht genug für eine zuverlässige Übereinstimmung.
MASt3R funktioniert völlig anders. Es behandelt das Matching als 3D-Rekonstruktionsproblem und sagt dichte Punktkarten und lokale Feature-Deskriptoren für jedes Pixel voraus. Selbst ein kleiner überlappender Bereich erzeugt Hunderte zuverlässiger Korrespondenzen, weil es die 3D-Struktur der Szene versteht und nicht nur 2D-Pixelmuster.
Auf dem Map-free-Lokalisierungs-Benchmark (einzelnes Referenzbild, Blickwinkeländerungen bis zu 180°) übertrifft MASt3R frühere Methoden um 30 %. Das ist keine inkrementelle Verbesserung – es ist ein Generationssprung.
Hier ist das Problem, einfach den Kandidaten mit dem höchsten Match-Score auszuwählen: Es gibt False Positives. Zwei identische Kettenrestaurants 5 km voneinander entfernt erzeugen beide hohe MASt3R-Scores. Eine Reihe sowjetischer Plattenbauten sieht alle gleich aus.
Räumlicher Konsens löst dies. Wir unterteilen das Suchgebiet in etwa 50-Meter-Rasterzellen und clustern alle guten Übereinstimmungen geografisch. Jede Zelle erhält einen Score basierend auf den kombinierten Belegen aller Übereinstimmungen in dieser Zelle und ihren Nachbarn.
Ein einzelner Ausreißer mit 200 Inliers am falschen Ort wird von einem Cluster aus 5 Übereinstimmungen mit jeweils 80–150 Inliers am richtigen Ort übertroffen. Die beste Übereinstimmung des Gewinner-Clusters wird zur endgültigen Antwort.