NETRYX

Движок геолокации уровня улицы с открытым исходным кодом

Загрузите любую уличную фотографию. Получите точные GPS-координаты.
Точность менее 50 м. Ориентиры не требуются. Работает полностью на вашем оборудовании.

Демонстрации · Как это работает · Начало работы · Использование · ЧаВО

ЭТА ВЕРСИЯ СТАРАЯ, ИСПОЛЬЗУЙТЕ ЭТУ ВМЕСТО НЕЁ

НОВЫЙ РЕПОЗИТОРИЙ

Что такое Netryx?

Netryx — это инструмент геолокации, работающий в первую очередь локально, который определяет точные GPS-координаты любой уличной фотографии. В отличие от обратного поиска изображений (который сопоставляет загруженные веб-изображения), Netryx сопоставляет с систематически сканированными панорамами улиц — это означает, что он работает на любом случайном углу улицы, не имеющем присутствия в интернете.

Основной конвейер объединяет три современные модели компьютерного зрения:

CosPlace для глобального распознавания визуальных мест (поиск)
ALIKED/DISK для извлечения локальных признаков (ключевые точки)
LightGlue для глубокого сопоставления признаков (верификация)

Google Lens ищет в интернете. Netryx ищет в физическом мире.

Демонстрации

Сценарий использования	Ссылка
Геолокация ракетного удара — Катар (февраль 2026)	Смотреть на YouTube
Мониторинг конфликтов — протесты в Париже	Смотреть на YouTube
Слепая геолокация по случайному фото — Париж	Смотреть на YouTube
Техническое погружение: как работает конвейер	Смотреть на YouTube

Как это работает

Netryx использует трёхэтапный конвейер, который последовательно сужает выбор от миллионов кандидатов до одного точного совпадения. Netryx — это просто инструмент, он не зависит от источника и может обрабатывать изображения от любого провайдера, такого как Mapillary или KartaView, или любого другого.

Этап 1 — Глобальный поиск (CosPlace)

Каждая панорама улиц в индексе была предварительно обработана в 512-мерный «отпечаток» с помощью CosPlace — модели распознавания визуальных мест, обученной на миллионах геотегированных изображений.

Когда вы загружаете запрашиваемую фотографию:

Система извлекает дескриптор CosPlace из вашего изображения
Также извлекается дескриптор из горизонтально отражённой версии (чтобы учесть обратные ракурсы)
Оба дескриптора сравниваются с каждой записью в индексе с использованием косинусного сходства
Фильтр радиуса (расстояние по гаверсинусу) сужает кандидатов до указанной области поиска
Возвращаются 500–1000 наиболее визуально похожих видов панорам в качестве кандидатов

Этот этап выполняется менее чем за 1 секунду независимо от размера индекса — это одно матричное умножение.

Этап 2 — Локальная геометрическая верификация (ALIKED/DISK + LightGlue)

CosPlace находит места, которые выглядят похожими. Этап 2 доказывает, что это одно и то же место, используя геометрическую верификацию.

Для каждого кандидата:

Исходная панорама загружается из Google Street View (8 тайлов, сшитых вместе)
Извлекается прямоугольный кадр под индексированным углом направления
Создаются кадры с несколькими полями обзора при трёх значениях поля зрения (70°, 90°, 110°) для обработки несоответствия масштаба между запрашиваемым фото и индексированным видом
ALIKED (на CUDA) или DISK (на MPS/CPU) извлекает локальные ключевые точки и дескрипторы
LightGlue выполняет глубокое сопоставление признаков между ключевыми точками запроса и кандидата
RANSAC фильтрует совпадения, оставляя только геометрически согласованные соответствия (отбрасывает ложные совпадения)
Кандидат с наибольшим количеством верифицированных инлайеров является наилучшим совпадением

Этот этап обрабатывает 300–500 кандидатов за 2–5 минут в зависимости от вашего оборудования.

Этап 3 — Уточнение

Первоначальное совпадение хорошее, но не всегда оптимальное. Уточнение улучшает его:

Уточнение направления: Для 15 лучших кандидатов система проверяет смещения направления ±45° с шагом 15° для 3 полей обзора. Это позволяет поймать случаи, когда индексированное направление не совсем соответствует направлению взгляда запроса.
Пространственный консенсус: Совпадения группируются в ячейки по 50 м. Если несколько кандидатов группируются в одной области, этот кластер предпочитается одному выбросу с высоким числом инлайеров — это снижает количество ложных срабатываний.
Оценка уверенности: Система оценивает географическую кластеризацию лучших совпадений и коэффициент уникальности (насколько лучше лучшее совпадение по сравнению с кандидатом, занявшим второе место в другом месте).

Ультра-режим (опционально)

Для сложных изображений (ночь, размытие, низкая текстура) Ультра-режим добавляет:

LoFTR: Беcдетекторный плотный matcher, который находит соответствия без опоры на обнаружение ключевых точек. Работает с размытыми и низкоконтрастными сценами, где ALIKED/DISK испытывают трудности.
Перескок дескрипторов: Если начальное совпадение слабое (<50 инлайеров), система извлекает дескриптор CosPlace из совпавшей панорамы (которая чистая/высокого качества) и повторно ищет в индексе. Это часто позволяет найти точную правильную панораму, которую ухудшенный запрос пропустил.
Расширение окрестности: Поиск всех панорам в радиусе 100 м от наилучшего совпадения. Правильное местоположение часто находится на расстоянии одного уличного узла от наилучшего совпадения CosPlace.

Архитектура

Изображение запроса
    │
    ├── Извлечение дескриптора CosPlace (512-мерный отпечаток)
    ├── Извлечение дескриптора отражённого изображения
    │
    ▼
Поиск по индексу (косинусное сходство, фильтр по радиусу)
    │
    ├── 500 лучших кандидатов, ранжированных по визуальному сходству
    │
    ▼
Загрузка панорам → Кадрирование при 3 полях обзора → Извлечение ключевых точек ALIKED/DISK
    │
    ├── Сопоставление LightGlue с ключевыми точками запроса
    ├── Геометрическая верификация RANSAC
    │
    ▼
Уточнение направления (±45°, 3 поля обзора, 15 лучших кандидатов)
    │
    ├── Кластеризация пространственного консенсуса
    ├── Оценка уверенности
    │
    ▼
📍 GPS-координаты + Оценка уверенности

Начало работы

Требования

Компонент	Минимальные	Рекомендуемые
ОС	macOS / Linux / Windows	macOS (M1+) или Linux с NVIDIA GPU
Видеопамять GPU	4 ГБ	8 ГБ+
ОЗУ	8 ГБ	16 ГБ+
Память	10 ГБ	50 ГБ+ (зависит от размера индексируемой области)
Интернет	Требуется для индексации и поиска	Рекомендуется широкополосный
Python	3.9+	3.10+

Поддержка GPU:

Mac: MPS (Metal Performance Shaders) — M1/M2/M3/M4
NVIDIA: CUDA — любой GPU с 4 ГБ+ видеопамяти
CPU: Работает, но значительно медленнее

Установка

# Клонирование репозитория
git clone https://github.com/sparkyniner/Netryx-OpenSource-Next-Gen-Street-Level-Geolocation.git

cd .\Netryx-OpenSource-Next-Gen-Street-Level-Geolocation\

# Создание виртуального окружения
python3 -m venv venv
source venv/bin/activate  # На Windows: venv\Scripts\activate

# Установка зависимостей
pip install -r requirements.txt

# Явная установка LightGlue (требуется для сопоставления)
pip install git+https://github.com/cvg/LightGlue.git

Netryx-OpenSource-Next-Gen-Street-Level-Geolocation

Популярное