sparkyniner/netryx-astra-v2-geolocation-toolDie weltweit anspruchsvollste Software zur Geolokalisierung von Straßenbildern
Modernste KI-Geolokalisierung aus einem einzigen Bild.
Die Idee • Funktionsweise • Erste Schritte • Community-Hub • Installation
Du hast ein Foto. Vielleicht ein Screenshot aus einem Video. Vielleicht ein zugeschnittenes, unscharfes Handyfoto, das jemand online gestellt hat. Vielleicht zeigt es nur eine Ladenfront, ein Stück Straße oder die Ecke eines Gebäudes. Du willst genau wissen, wo es aufgenommen wurde.
Netryx Astra V2 beantwortet diese Frage.
Es ist ein Open-Source-Geolokalisierungssystem, das ein einzelnes Bild nimmt und die genauen GPS-Koordinaten findet, indem es mit einer Datenbank von Street-View-Panoramen abgeglichen wird. Lade dein Foto hoch, und innerhalb von Minuten erfährst du die Straße, die Stadt, die Koordinaten – auf wenige Meter genau.
Was V2 vom ursprünglichen Netryx (und von anderen Tools) unterscheidet, ist die Matching-Pipeline. Wir haben alles von Grund auf neu aufgebaut und zwei Modelle verwendet, die es zu Beginn dieses Projekts noch nicht gab:
MegaLoc (CVPR 2025) – das genaueste Bildabrufmodell für die Ortserkennung, trainiert auf sechs Datensätzen, die Innenräume, Außenbereiche, Tag, Nacht und jahreszeitliche Variationen abdecken. Es findet die richtige Nachbarschaft.
MASt3R (ECCV 2024) – ein 3D-bewusster dichter Matcher, der die Geometrie von Szenen versteht, nicht nur Pixelmuster. Er bestätigt den genauen Standort, selbst bei partiellen oder stark zugeschnittenen Fotos, an denen herkömmliche Matcher scheitern würden.
Das Ergebnis ist eine dreistufige Pipeline, die einfacher und genauer ist als das neunstufige System, das sie ersetzt hat.
Das ursprüngliche Netryx verwendete CosPlace für den Abruf und einen Stapel aus DISK + LightGlue + LoFTR + RANSAC + Deskriptor-Hopping + Nachbarschaftserweiterung für die Verifikation. Es funktionierte, war aber fragil – viele Heuristiken, die aufeinander aufbauten, jede eine Notlösung für eine Einschränkung der vorherigen Stufe.
V2 hat das alles weggeworfen. Hier ist, was was ersetzt hat:
| V1 (Original) | V2 (Astra) | |
|---|---|---|
| Kandidaten finden | CosPlace (ResNet-50, 512-dim) | MegaLoc (DINOv2 ViT-B/14, 8448-dim → PCA 1024) |
| Übereinstimmungen bestätigen | DISK + LightGlue + RANSAC | MASt3R dichtes 3D-Matching |
| Umgang mit Randfällen | LoFTR-Rückfall, Deskriptor-Hopping, Nachbarschaftserweiterung, Ultra Mode | Räumlicher Konsens – das war's |
| Pipeline-Stufen insgesamt | 9+ | 3 |
| Partielles Bild-Matching | Schwach – spärliche Keypoints versagen bei kleinen Überlappungen | Stark – MASt3R findet dichte Korrespondenzen in winzigen Regionen |
| Indizes teilen | Nicht möglich | Community-Hub via Hugging Face + offline .netryx-Pakete |
Die Vereinfachung ist nicht nur ästhetisch. Weniger Stufen bedeuten weniger Fehlerquellen, schnellere Suchen und Code, der tatsächlich wartbar ist.
Die Pipeline hat drei Stufen. Das ist keine Übertreibung – es sind wirklich nur drei Stufen.
Query-Bild
│
▼
┌─────────────┐
│ MegaLoc │ "Wo in der Stadt könnte dies sein?"
│ Retrieval │
└─────┬───────┘
│ Top 500 Kandidaten
▼
┌─────────────┐
│ MASt3R │ "Ist das tatsächlich derselbe Ort?"
│ Matching │
└─────┬───────┘
│ Bewertete Kandidaten
▼
┌─────────────┐
│ Räumlicher│ "Welcher Match-Cluster ist am vertrauenswürdigsten?"
│ Konsens │
└─────┬───────┘
│
▼
📍 GPS-Koordinaten
Dein Query-Bild wird in einen kompakten Deskriptor umgewandelt – einen 8448-dimensionalen Vektor, der die visuelle Essenz der Szene einfängt. Dieser wird PCA-reduziert auf 1024 Dimensionen und dann per Skalarprodukt-Ähnlichkeit mit jedem indizierten Ort verglichen.
Wir extrahieren auch einen Deskriptor für einen leicht hineingezoomten zentralen Ausschnitt und für eine horizontal gespiegelte Version des Quellbilds und führen die Ergebnisse zusammen. Das behandelt Fälle, in denen das Query einen anderen Zoomfaktor oder die entgegengesetzte Blickrichtung hat als die indizierte Ansicht.
Die Ausgabe sind die top 500 Kandidatenstandorte aus dem Index, geordnet nach visueller Ähnlichkeit.
MegaLoc stammt aus Gabriele Bertons Labor (derselben Gruppe, die CosPlace und EigenPlaces entwickelt hat). Es ist das neueste in ihrer Reihe von Arbeiten, gleichzeitig trainiert auf SF-XL, GSV-Cities, MSLS und Landmark-Retrieval-Daten. Kein anderes Retrieval-Modell schlägt es durchgängig in allen Benchmarks – indoor, outdoor, urban, ländlich, Tag, Nacht.
Für jeden dieser 500 Kandidaten laden wir das entsprechende Street-View-Panorama herunter, schneiden es im indizierten Blickwinkel zu und führen MASt3R aus, um dichte Pixelkorrespondenzen zwischen dem Query und dem Ausschnitt zu finden.
Hier geschieht die Magie für schwierige Queries. Herkömmliche Matcher wie SuperPoint + LightGlue extrahieren vielleicht 500–2000 spärliche Keypoints und versuchen, sie zu matchen. Wenn dein Query-Bild nur 20 % mit dem Datenbankbild überlappt, gibt es vielleicht nur 50 gemeinsam sichtbare Keypoints – nicht genug für einen zuverlässigen Match.
MASt3R arbeitet völlig anders. Es behandelt Matching als 3D-Rekonstruktionsproblem und sagt dichte Punktkarten und lokale Merkmalsdeskriptoren für jedes Pixel voraus. Selbst eine kleine überlappende Region liefert Hunderte zuverlässiger Korrespondenzen, weil es die 3D-Struktur der Szene versteht, nicht nur 2D-Pixelmuster.
Im Map-free Localization Benchmark (ein einzelnes Referenzbild, Blickwinkeländerungen bis zu 180°) schlägt MASt3R bisherige Methoden um 30 %. Das ist keine inkrementelle Verbesserung – es ist ein Generationssprung.
Das Problem, einfach den Kandidaten mit der höchsten Match-Bewertung auszuwählen, sind falsch-positive Ergebnisse. Zwei identische Fast-Food-Ketten 5 km entfernt liefern beide hohe MASt3R-Werte. Eine Reihe von Plattenbauten aus der Sowjetzeit sehen alle gleich aus.
Räumlicher Konsens löst dies. Wir teilen den Suchbereich in ~50-Meter-Rasterzellen auf und clustern alle guten Matches geografisch. Jede Zelle erhält eine Bewertung basierend auf der kombinierten Evidenz aller Matches in dieser Zelle und ihren Nachbarzellen.
Ein einzelner Ausreißer mit 200 Inliers am falschen Ort wird von einem Cluster aus 5 Matches mit jeweils 80–150 Inliers am richtigen Ort überboten. Der beste Match des Gewinner-Clusters wird zur endgültigen Antwort.
Deshalb bleibt die Genauigkeit auch bei größeren Suchradien erhalten, bei denen es mehr ähnlich aussehende Standorte gibt.