NETRYX

Open-Source-Geolokalisierungs-Engine auf Straßenebene

Laden Sie jedes Straßenfoto hoch. Erhalten Sie präzise GPS-Koordinaten.
Genauigkeit unter 50 m. Keine Orientierungspunkte erforderlich. Läuft vollständig auf Ihrer Hardware.

Demos · Funktionsweise · Erste Schritte · Nutzung · FAQ

DIESE VERSION IST ALT, VERWENDEN SIE STATTDESSEN

NEUES REPO

Was ist Netryx?

Netryx ist ein lokales Geolokalisierungswerkzeug, das die exakten GPS-Koordinaten eines beliebigen Straßenfotos ermittelt. Im Gegensatz zur umgekehrten Bildersuche (die gegen hochgeladene Web-Bilder abgleicht) vergleicht Netryx mit systematisch gecrawlten Street-View-Panoramen – das bedeutet, es funktioniert an jeder beliebigen Straßenecke ohne Internetpräsenz.

Die Kern-Pipeline kombiniert drei hochmoderne Computer-Vision-Modelle:

• CosPlace zur globalen visuellen Ortserkennung (Abruf)
• ALIKED/DISK zur lokalen Merkmalsextraktion (Schlüsselpunkte)
• LightGlue zur tiefen Merkmalsanpassung (Verifikation)

Google Lens durchsucht das Internet. Netryx durchsucht die physische Welt.

Demos

Funktionsweise

Netryx verwendet eine dreistufige Pipeline, die schrittweise von Millionen von Kandidaten auf eine einzige präzise Übereinstimmung eingrenzt. Netryx ist lediglich ein Tool, es ist quellenagnostisch und kann Bilder von jedem Anbieter wie mapilliary oder kartaview oder jedem anderen Anbieter verarbeiten.

Stufe 1 – Globaler Abruf (CosPlace)

Jedes Street-View-Panorama im Index wurde mit CosPlace in einen 512-dimensionalen „Fingerabdruck“ vorverarbeitet. CosPlace ist ein Modell zur visuellen Ortserkennung, das mit Millionen von geotaggten Bildern trainiert wurde.

Wenn Sie ein Abfragefoto hochladen:

1. Das System extrahiert einen CosPlace-Deskriptor aus Ihrem Bild.
2. Es extrahiert auch einen Deskriptor aus einer horizontal gespiegelten Version (erfasst umgekehrte Perspektiven).
3. Beide Deskriptoren werden mithilfe der Kosinusähnlichkeit mit jedem Eintrag im Index verglichen.
4. Ein Radiusfilter (Haversine-Distanz) grenzt die Kandidaten auf Ihren angegebenen Suchbereich ein.
5. Die 500–1000 visuell ähnlichsten Panorama-Ansichten werden als Kandidaten zurückgegeben.

Diese Stufe läuft in unter 1 Sekunde, unabhängig von der Indexgröße – es handelt sich um eine einzige Matrixmultiplikation.

Stufe 2 – Lokale geometrische Verifikation (ALIKED/DISK + LightGlue)

CosPlace findet Orte, die ähnlich aussehen. Stufe 2 beweist durch geometrische Verifikation, dass es sich um denselben Ort handelt.

Für jeden Kandidaten:

1. Das Original-Panorama wird von Google Street View heruntergeladen (8 Kacheln, zusammengesetzt).
2. Ein rektilinearer Ausschnitt wird im indizierten Blickwinkel extrahiert.
3. Es werden Multi-FOV-Ausschnitte mit drei Sichtfeldern (70°, 90°, 110°) erzeugt, um Zoom-Unterschiede zwischen dem Abfragefoto und der indizierten Ansicht auszugleichen.
4. ALIKED (auf CUDA) oder DISK (auf MPS/CPU) extrahiert lokale Schlüsselpunkte und Deskriptoren.
5. LightGlue führt einen tiefen Merkmalsabgleich zwischen den Schlüsselpunkten von Abfrage und Kandidat durch.
6. RANSAC filtert die Übereinstimmungen, sodass nur geometrisch konsistente Korrespondenzen erhalten bleiben (falsche Übereinstimmungen werden verworfen).
7. Der Kandidat mit den meisten verifizierten Inliers ist die beste Übereinstimmung.

Diese Stufe verarbeitet 300–500 Kandidaten in 2–5 Minuten, abhängig von Ihrer Hardware.

Stufe 3 – Verfeinerung

Die erste Übereinstimmung ist gut, aber nicht immer optimal. Die Verfeinerung verbessert sie:

• Richtungsverfeinerung: Für die 15 besten Kandidaten testet das System ±45° Richtungsversätze in 15°-Schritten über 3 Sichtfelder. Dies deckt Fälle ab, in denen der indizierte Blickwinkel nicht exakt der Blickrichtung der Abfrage entspricht.
• Räumliches Konsens-Clustering: Übereinstimmungen werden in 50-Meter-Zellen geclustert. Wenn mehrere Kandidaten in einem Bereich clusteren, wird dieser Cluster einem einzelnen hohen Inlier-Ausreißer vorgezogen – dies reduziert Falschpositive.
• Vertrauensbewertung: Das System bewertet die geografische Clusterung der besten Übereinstimmungen und das Einzigartigkeitsverhältnis (wie viel besser die beste Übereinstimmung im Vergleich zum Zweitplatzierten an einem anderen Ort ist).

Ultra-Modus (Optional)

Für schwierige Bilder (Nacht, Unschärfe, wenig Textur) fügt der Ultra-Modus hinzu:

• LoFTR: Ein detektor-freier dichter Matcher, der Korrespondenzen ohne Schlüsselpunktdetektion findet. Bewältigt Unschärfe und kontrastarme Szenen, bei denen ALIKED/DISK Schwierigkeiten haben.
• Deskriptor-Hopping: Ist die erste Übereinstimmung schwach (<50 Inliers), extrahiert das System einen CosPlace-Deskriptor aus dem übereinstimmenden Panorama (das sauber/hochqualitativ ist) und durchsucht den Index erneut. Dies findet oft das exakte richtige Panorama, das die verschlechterte Abfrage verfehlt hat.
• Nachbarschaftserweiterung: Sucht alle Panoramen innerhalb von 100 m der besten Übereinstimmung. Der korrekte Ort ist oft einen Straßenknoten von der CosPlace-Top-Übereinstimmung entfernt.

Architektur

Abfragebild
    │
    ├── CosPlace-Deskriptorextraktion (512-dim Fingerabdruck)
    ├── Extraktion des gespiegelten Deskriptors
    │
    ▼
Indexsuche (Kosinusähnlichkeit, radiusgefiltert)
    │
    ├── Top 500 Kandidaten, geordnet nach visueller Ähnlichkeit
    │
    ▼
Panoramen herunterladen → Ausschnitt bei 3 Sichtfeldern → ALIKED/DISK-Schlüsselpunkte extrahieren
    │
    ├── LightGlue-Abgleich mit Abfrageschlüsselpunkten
    ├── RANSAC-geometrische Verifikation
    │
    ▼
Richtungsverfeinerung (±45°, 3 Sichtfelder, 15 beste Kandidaten)
    │
    ├── Räumliches Konsens-Clustering
    ├── Vertrauensbewertung
    │
    ▼
📍 GPS-Koordinaten + Vertrauensbewertung

Erste Schritte

Anforderungen

GPU-Unterstützung:

• Mac: MPS (Metal Performance Shaders) – M1/M2/M3/M4
• NVIDIA: CUDA – jede GPU mit 4GB+ VRAM
• CPU: Funktioniert, aber deutlich langsamer

Installation

# Clone the repository
git clone https://github.com/sparkyniner/Netryx-OpenSource-Next-Gen-Street-Level-Geolocation.git

cd .\Netryx-OpenSource-Next-Gen-Street-Level-Geolocation\

# Create virtual environment
python3 -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate

# Install dependencies
pip install -r requirements.txt

# Install LightGlue explicitly (required for matching)
pip install git+https://github.com/cvg/LightGlue.git

# Optional: Install kornia for Ultra Mode (LoFTR)
pip install kornia

Hinweis: lightglue wird von der App als Python-Modul importiert, wird aber aus dem obigen GitHub-Repository installiert.

Gemini-API-Schlüssel (optional – für AI-Grobmodus) [Nicht zur Verwendung empfohlen, manuell erledigt die Arbeit]

Wenn Sie die KI-gestützte Blindgeolokalisierungsfunktion nutzen möchten:

1. Holen Sie sich einen kostenlosen API-Schlüssel von Google AI Studio
2. Setzen Sie ihn als Umgebungsvariable:

export GEMINI_API_KEY="Ihr_Schlüssel_hier"

Nutzung

GUI starten

python test_super.py

macOS-Anwender: Sollte die GUI leer erscheinen, aktualisieren Sie tkinter: brew install [email protected] (oder Ihre Python-Version). Das mitgelieferte tkinter des System-Pythons hat bekannte Darstellungsprobleme unter aktuellen macOS-Versionen.

Schritt 1: Index erstellen

Bevor Sie suchen können, müssen Sie einen Bereich indizieren. Dabei werden Street-View-Panoramen gecrawlt und CosPlace-Fingerabdrücke extrahiert.

1. Wählen Sie den Modus Erstellen
2. Geben Sie die Mittelkoordinaten (Breitengrad, Längengrad) des Bereichs ein, den Sie indizieren möchten
3. Legen Sie den Suchradius fest (beginnen Sie zum Testen mit 0,5–1 km, produktiv mit 5–10 km)
4. Stellen Sie die Gitterauflösung ein (300 ist ein guter Standard – höher = dichtere Abdeckung, bitte nicht ändern)
5. Klicken Sie auf Index erstellen

Geschätzte Indizierungszeit:

Der Index wird inkrementell gespeichert – wird der Vorgang unterbrochen, wird er beim nächsten Lauf ab der unterbrochenen Stelle fortgesetzt.

Schritt 2: Suchen

1. Wählen Sie den Modus Suchen
2. Laden Sie ein Straßenfoto hoch
3. Wählen Sie die Suchmethode:
   • Manuell: Koordinaten + Radius eingeben, wenn Sie ungefähr wissen, woher das Foto stammt
   • AI Grob: Lassen Sie Gemini visuelle Hinweise (Schilder, Architektur, Vegetation) analysieren, um die Region zu erraten – kein Vorwissen erforderlich
4. Klicken Sie auf Suche ausführen, dann auf Vollständige Suche starten
5. Beobachten Sie die Echtzeit-Scan-Visualisierung, während Kandidaten bewertet werden
6. Das Ergebnis erscheint auf der Karte mit einem Vertrauenswert

Ultra-Modus

Aktivieren Sie das Kontrollkästchen Ultra-Modus für schwierige Bilder. Dies fügt LoFTR-dichtes Matching, Deskriptor-Hopping und Nachbarschaftserweiterung hinzu. Deutlich langsamer, findet aber Übereinstimmungen, die die Standard-Pipeline übersieht.

Wie der Index funktioniert

Alle Einbettungen werden in einem einzigen einheitlichen Index gespeichert. Bei der Suche schränkt der Radiusfilter die Ergebnisse automatisch auf den von Ihnen angegebenen Bereich ein. Das bedeutet:

• Sie können Paris, dann Tel Aviv, dann London indizieren – alle in denselben Index
• Die Suche mit center=Paris, radius=5km gibt nur Paris-Ergebnisse zurück
• Die Suche mit center=London, radius=10km gibt nur London-Ergebnisse zurück
• Keine Städteauswahl erforderlich – Koordinaten + Radius übernehmen alles

Datenfluss:

Erstellen-Modus:
  Gitterpunkte → Google Street View API → Panoramen → Ausschnitte → CosPlace → cosplace_parts/*.npz

Automatischer Aufbau:
  cosplace_parts/*.npz → cosplace_descriptors.npy + metadata.npz (durchsuchbarer Index)

Suchen-Modus:
  Abfragebild → CosPlace → Indexsuche (radiusgefiltert) → Kandidaten herunterladen → ALIKED/DISK + LightGlue → Ergebnis

Projektstruktur

netryx/
├── test_super.py          # Hauptanwendung (GUI + Indizierung + Suche)
├── cosplace_utils.py      # CosPlace-Modell laden und Deskriptorextraktion
├── build_index.py         # Eigenständiger Hochleistungsindex-Builder (für große Datensätze)
├── requirements.txt       # Python-Abhängigkeiten
├── cosplace_parts/        # Rohe Einbettungs-Chunks (während der Indizierung erstellt)
├── index/                 # Kompilierter durchsuchbarer Index
│   ├── cosplace_descriptors.npy   # Alle 512-dim Deskriptoren
│   └── metadata.npz               # Koordinaten, Blickwinkel, Panoid-IDs
└── README.md

Technische Details

Verwendete Modelle

Plattformspezifisches Verhalten

FAQ

Nimmt die Genauigkeit bei größerem Suchradius ab?

Nein. CosPlace ordnet die Kandidaten im gesamten Index nach visueller Ähnlichkeit. Unabhängig davon, ob Ihr Index 1 km oder 50 km abdeckt, sind die Top-Kandidaten immer die visuell ähnlichsten. Der Radiusfilter schließt einfach geografisch irrelevante Einträge vor der Sortierung aus.

Wie lange dauert eine Suche?

Typischerweise 2–5 Minuten auf Apple Silicon, 1–3 Minuten auf NVIDIA GPU. Der Engpass ist das Herunterladen der Panorama-Kacheln von Google (netzgebunden), nicht der Abgleich selbst.

Kann ich ein ganzes Land indizieren?

Nicht praktikabel. Ein Radius von 10 km erzeugt ca. 100K Panoramen und einen ~7 GB Index. Ein ganzes Land würde Petabytes benötigen. Indizieren Sie bestimmte Städte oder interessante Regionen (5–20 km).

Meine Suche hat 0 Kandidaten gefunden.

Ihre Suchkoordinaten überschneiden sich nicht mit einem indizierten Bereich. Indizieren Sie den Bereich zuerst oder passen Sie Ihren Suchmittelpunkt/-radius so an, dass er sich mit vorhandenen indizierten Daten überschneidet. Verwenden Sie „Abdeckungskarte anzeigen“, um zu visualisieren, was indiziert wurde.

Die Übereinstimmung ist leicht falsch (um einen Block versetzt).

Aktivieren Sie den Ultra-Modus. Die Nachbarschaftserweiterung sucht alle Panoramen innerhalb von 100 m der ersten Übereinstimmung und findet oft den exakt richtigen Straßenknoten.

Funktioniert das mit Innenaufnahmen?

Nein. Netryx gleicht nur mit Outdoor-Street-View-Panoramen ab. Innenaufnahmen, Luft-/Satellitenbilder und Nahaufnahmen von Objekten liefern keine sinnvollen Ergebnisse.

Kostet das Geld?

Netryx ist kostenlos und quelloffen. Die optionale AI-Grob-Funktion erfordert einen Gemini-API-Schlüssel (kostenloses Kontingent von Google verfügbar). Die Rechenkosten fallen auf Ihrer eigenen Hardware an – keine Cloud-Dienste erforderlich.

Gibt es eine gehostete Version?

Ja. netryx.live betreibt die vollständige Pipeline in der Cloud, sodass Sie nichts lokal einrichten müssen. Nützlich, wenn Sie schnelle Ergebnisse wünschen, ohne Ihren eigenen Index erstellen zu müssen. Allerdings ist es aufgrund von Recheneinschränkungen etwa 30% weniger genau als die Open-Source-Version.

Möchten Sie die vollständige Pipeline nicht einrichten?

netryx.live betreibt dieselbe Engine in der Cloud – laden Sie ein Foto hoch, erhalten Sie Koordinaten. Keine Installation, keine Indizierung, keine GPU erforderlich. Allerdings ist es aufgrund von Recheneinschränkungen etwa 30% weniger genau als die Open-Source-Version.

Erstellt von

Sairaj Balaji — KI-Forscher und Schöpfer von PrismX. Zuschüsse von Microsoft for Startups und ElevenLabs. Vorgestellt in Fast Company und Deutsche Welle.

• LinkedIn

Lizenz

MIT-Lizenz. Siehe LICENSE für Details.

Rechtlicher Haftungsausschluss

Netryx wurde entwickelt für legitime OSINT-Forschung, Investigativjournalismus, Menschenrechtsüberwachung, Katastrophenhilfe und akademische Forschung.

Verantwortung des Nutzers: Sie sind allein dafür verantwortlich, die Einhaltung geltender Gesetze sicherzustellen, einschließlich der Google Maps/Street View-Nutzungsbedingungen und lokaler Datenschutzbestimmungen.

Nicht verwenden für: Stalking, Belästigung, unbefugte Überwachung oder Aktivitäten, die die Privatsphäre oder Sicherheit von Personen verletzen.

Die Entwickler von Netryx lehnen jede Haftung für Missbrauch ab.