NETRYX

Open-Source-Geolokalisierungs-Engine auf Straßenebene

Laden Sie jedes Straßenfoto hoch. Erhalten Sie präzise GPS-Koordinaten.
Genauigkeit unter 50 m. Keine Orientierungspunkte erforderlich. Läuft vollständig auf Ihrer Hardware.

Demos · Funktionsweise · Erste Schritte · Nutzung · FAQ

---

DIESE VERSION IST ALT, VERWENDEN SIE STATTDESSEN

NEUES REPO

Was ist Netryx?

Netryx ist ein lokales Geolokalisierungswerkzeug, das die exakten GPS-Koordinaten eines beliebigen Straßenfotos ermittelt. Im Gegensatz zur umgekehrten Bildersuche (die gegen hochgeladene Web-Bilder abgleicht) vergleicht Netryx mit systematisch gecrawlten Street-View-Panoramen – das bedeutet, es funktioniert an jeder beliebigen Straßenecke ohne Internetpräsenz.

Die Kern-Pipeline kombiniert drei hochmoderne Computer-Vision-Modelle:

• CosPlace zur globalen visuellen Ortserkennung (Abruf)
• ALIKED/DISK zur lokalen Merkmalsextraktion (Schlüsselpunkte)
• LightGlue zur tiefen Merkmalsanpassung (Verifikation)

Google Lens durchsucht das Internet. Netryx durchsucht die physische Welt.

---

Demos

Anwendungsfall	Link
Geolokalisierung von Raketenschlägen – Katar (Feb. 2026)	Auf YouTube ansehen
Konfliktüberwachung – Pariser Proteste	Auf YouTube ansehen
Blindgeolokalisierung anhand eines zufälligen Fotos – Paris	Auf YouTube ansehen
Technischer Tiefgang: Wie die Pipeline funktioniert	Auf YouTube ansehen

---

Funktionsweise

Netryx verwendet eine dreistufige Pipeline, die schrittweise von Millionen von Kandidaten auf eine einzige präzise Übereinstimmung eingrenzt. Netryx ist lediglich ein Tool, es ist quellenagnostisch und kann Bilder von jedem Anbieter wie mapilliary oder kartaview oder jedem anderen Anbieter verarbeiten.

Stufe 1 – Globaler Abruf (CosPlace)

Jedes Street-View-Panorama im Index wurde mit CosPlace in einen 512-dimensionalen „Fingerabdruck“ vorverarbeitet. CosPlace ist ein Modell zur visuellen Ortserkennung, das mit Millionen von geotaggten Bildern trainiert wurde.

Wenn Sie ein Abfragefoto hochladen:

1. Das System extrahiert einen CosPlace-Deskriptor aus Ihrem Bild.
2. Es extrahiert auch einen Deskriptor aus einer horizontal gespiegelten Version (erfasst umgekehrte Perspektiven).
3. Beide Deskriptoren werden mithilfe der Kosinusähnlichkeit mit jedem Eintrag im Index verglichen.
4. Ein Radiusfilter (Haversine-Distanz) grenzt die Kandidaten auf Ihren angegebenen Suchbereich ein.
5. Die 500–1000 visuell ähnlichsten Panorama-Ansichten werden als Kandidaten zurückgegeben.

Diese Stufe läuft in unter 1 Sekunde, unabhängig von der Indexgröße – es handelt sich um eine einzige Matrixmultiplikation.

Stufe 2 – Lokale geometrische Verifikation (ALIKED/DISK + LightGlue)

CosPlace findet Orte, die ähnlich aussehen. Stufe 2 beweist durch geometrische Verifikation, dass es sich um denselben Ort handelt.

Für jeden Kandidaten:

1. Das Original-Panorama wird von Google Street View heruntergeladen (8 Kacheln, zusammengesetzt).
2. Ein rektilinearer Ausschnitt wird im indizierten Blickwinkel extrahiert.
3. Es werden Multi-FOV-Ausschnitte mit drei Sichtfeldern (70°, 90°, 110°) erzeugt, um Zoom-Unterschiede zwischen dem Abfragefoto und der indizierten Ansicht auszugleichen.
4. ALIKED (auf CUDA) oder DISK (auf MPS/CPU) extrahiert lokale Schlüsselpunkte und Deskriptoren.
5. LightGlue führt einen tiefen Merkmalsabgleich zwischen den Schlüsselpunkten von Abfrage und Kandidat durch.
6. RANSAC filtert die Übereinstimmungen, sodass nur geometrisch konsistente Korrespondenzen erhalten bleiben (falsche Übereinstimmungen werden verworfen).
7. Der Kandidat mit den meisten verifizierten Inliers ist die beste Übereinstimmung.

Diese Stufe verarbeitet 300–500 Kandidaten in 2–5 Minuten, abhängig von Ihrer Hardware.

Stufe 3 – Verfeinerung

Die erste Übereinstimmung ist gut, aber nicht immer optimal. Die Verfeinerung verbessert sie:

• Richtungsverfeinerung: Für die 15 besten Kandidaten testet das System ±45° Richtungsversätze in 15°-Schritten über 3 Sichtfelder. Dies deckt Fälle ab, in denen der indizierte Blickwinkel nicht exakt der Blickrichtung der Abfrage entspricht.
• Räumliches Konsens-Clustering: Übereinstimmungen werden in 50-Meter-Zellen geclustert. Wenn mehrere Kandidaten in einem Bereich clusteren, wird dieser Cluster einem einzelnen hohen Inlier-Ausreißer vorgezogen – dies reduziert Falschpositive.
• Vertrauensbewertung: Das System bewertet die geografische Clusterung der besten Übereinstimmungen und das Einzigartigkeitsverhältnis (wie viel besser die beste Übereinstimmung im Vergleich zum Zweitplatzierten an einem anderen Ort ist).

Ultra-Modus (Optional)

Für schwierige Bilder (Nacht, Unschärfe, wenig Textur) fügt der Ultra-Modus hinzu:

• LoFTR: Ein detektor-freier dichter Matcher, der Korrespondenzen ohne Schlüsselpunktdetektion findet. Bewältigt Unschärfe und kontrastarme Szenen, bei denen ALIKED/DISK Schwierigkeiten haben.
• Deskriptor-Hopping: Ist die erste Übereinstimmung schwach (<50 Inliers), extrahiert das System einen CosPlace-Deskriptor aus dem übereinstimmenden Panorama (das sauber/hochqualitativ ist) und durchsucht den Index erneut. Dies findet oft das exakte richtige Panorama, das die verschlechterte Abfrage verfehlt hat.
• Nachbarschaftserweiterung: Sucht alle Panoramen innerhalb von 100 m der besten Übereinstimmung. Der korrekte Ort ist oft einen Straßenknoten von der CosPlace-Top-Übereinstimmung entfernt.

---

Architektur

Abfragebild
    │
    ├── CosPlace-Deskriptorextraktion (512-dim Fingerabdruck)
    ├── Extraktion des gespiegelten Deskriptors
    │
    ▼
Indexsuche (Kosinusähnlichkeit, radiusgefiltert)
    │
    ├── Top 500 Kandidaten, geordnet nach visueller Ähnlichkeit
    │
    ▼
Panoramen herunterladen → Ausschnitt bei 3 Sichtfeldern → ALIKED/DISK-Schlüsselpunkte extrahieren
    │
    ├── LightGlue-Abgleich mit Abfrageschlüsselpunkten
    ├── RANSAC-geometrische Verifikation
    │
    ▼
Richtungsverfeinerung (±45°, 3 Sichtfelder, 15 beste Kandidaten)
    │
    ├── Räumliches Konsens-Clustering
    ├── Vertrauensbewertung
    │
    ▼
📍 GPS-Koordinaten + Vertrauensbewertung

---

Erste Schritte

Anforderungen

Komponente	Minimum	Empfohlen
Betriebssystem	macOS / Linux / Windows	macOS (M1+) oder Linux mit NVIDIA GPU
GPU VRAM	4GB	8GB+
RAM	8GB	16GB+
Speicher	10GB	50GB+ (abhängig von der Größe des indizierten Bereichs)
Internet	Erforderlich für Indizierung und Suche	Breitband empfohlen
Python	3.9+	3.10+

GPU-Unterstützung:

• Mac: MPS (Metal Performance Shaders) – M1/M2/M3/M4
• NVIDIA: CUDA – jede GPU mit 4GB+ VRAM
• CPU: Funktioniert, aber deutlich langsamer

Installation

# Clone the repository
git clone https://github.com/sparkyniner/Netryx-OpenSource-Next-Gen-Street-Level-Geolocation.git

cd .\Netryx-OpenSource-Next-Gen-Street-Level-Geolocation\

# Create virtual environment
python3 -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate

# Install dependencies
pip install -r requirements.txt