
Самое совершенное в мире программное обеспечение для геолокации изображений на уровне улиц
Геолокация на основе ИИ передового уровня по одному изображению.
Идея • Как это работает • Начало работы • Community Hub • Установка
У вас есть фотография. Возможно, это скриншот из видео. Возможно, это обрезанное размытое фото с телефона, которое кто-то выложил в сеть. Возможно, на нём изображена всего лишь витрина магазина, участок дороги или угол здания. Вы хотите узнать, где именно она была сделана.
Netryx Astra V2 отвечает на этот вопрос.
Это система геолокации с открытым исходным кодом, которая берёт одно изображение и находит точные GPS-координаты, сопоставляя его с базой данных панорам улиц. Загрузите своё фото, и в течение нескольких минут она сообщит вам улицу, город, координаты — с точностью до нескольких метров.
Что отличает V2 от оригинального Netryx (и от других инструментов) — это конвейер сопоставления. Мы перестроили всё с нуля, используя две модели, которых не существовало, когда мы начинали этот проект:
MegaLoc (CVPR 2025) — самая точная модель поиска изображений для распознавания мест, обученная на шести наборах данных, охватывающих помещения, улицу, день, ночь и сезонные изменения. Она находит нужный район.
MASt3R (ECCV 2024) — 3D-осведомлённый плотный матчер, который понимает геометрию сцен, а не только пиксельные паттерны. Он подтверждает точное местоположение даже по частичным или сильно обрезанным фотографиям, которые сломали бы традиционные матчеры.
В результате получился трёхэтапный конвейер, который одновременно проще и точнее девятиэтапной системы, которую он заменил.
Оригинальный Netryx использовал CosPlace для поиска и стек из DISK + LightGlue + LoFTR + RANSAC + перебора дескрипторов + расширения окрестностей для верификации. Это работало, но было хрупким — множество эвристик, наложенных друг на друга, каждая из которых была обходным путём для ограничения предыдущего этапа.
V2 отбросил всё это. Вот что заменило что:
| V1 (оригинал) | V2 (Astra) | |
|---|---|---|
| Поиск кандидатов | CosPlace (ResNet-50, 512-мерный) | MegaLoc (DINOv2 ViT-B/14, 8448-мерный → PCA 1024) |
| Подтверждение совпадений | DISK + LightGlue + RANSAC | Плотное 3D-сопоставление MASt3R |
| Обработка крайних случаев | Резервный LoFTR, перебор дескрипторов, расширение окрестностей, Ultra Mode | Пространственный консенсус — и всё |
| Всего этапов конвейера | 9+ | 3 |
| Сопоставление частичных изображений | Слабое — разреженные ключевые точки не справляются с малыми перекрытиями | Сильное — MASt3R находит плотные соответствия в крошечных областях |
| Обмен индексами | Невозможен | Community Hub через Hugging Face + офлайн-пакеты .netryx |
Упрощение — это не только эстетика. Меньше этапов означает меньше мест, где что-то может пойти не так, более быстрый поиск и код, который действительно поддерживаем.
В конвейере три этапа. Это не чрезмерное упрощение — их действительно всего три.
Query Image
│
▼
┌─────────────┐
│ MegaLoc │ "Where in the city could this be?"
│ Retrieval │
└─────┬───────┘
│ Top 500 candidates
▼
┌─────────────┐
│ MASt3R │ "Is this actually the same place?"
│ Matching │
└─────┬───────┘
│ Scored candidates
▼
┌─────────────┐
│ Spatial │ "Which cluster of matches is most trustworthy?"
│ Consensus │
└─────┬───────┘
│
▼
📍 GPS Coordinates
Ваше изображение-запрос преобразуется в компактный дескриптор — 8448-мерный вектор, который отражает визуальную суть сцены. Затем он уменьшается с помощью PCA до 1024 измерений и сравнивается с каждым проиндексированным местоположением через скалярное произведение (сходство).
Мы также извлекаем дескриптор для слегка увеличенной центральной обрезки и для горизонтально отражённой версии запроса, после чего объединяем результаты. Это помогает в случаях, когда запрос находится на другом уровне масштабирования или направлен в противоположную сторону от проиндексированного вида.
На выходе получаются 500 лучших кандидатов из индекса, ранжированных по визуальному сходству.
MegaLoc создан в лаборатории Габриэле Бертона (той же группой, что сделала CosPlace и EigenPlaces). Это последняя работа в их линейке, обученная одновременно на данных SF-XL, GSV-Cities, MSLS и данных для поиска достопримечательностей. Ни одна другая модель поиска не превосходит её стабильно на всех бенчмарках — в помещении, на улице, в городе, в сельской местности, днём и ночью.
Для каждого из этих 500 кандидатов мы скачиваем соответствующую панораму уличного вида, обрезаем её под проиндексированный угол направления и запускаем MASt3R, чтобы найти плотные попиксельные соответствия между запросом и обрезкой.
Именно здесь происходит магия для сложных запросов. Традиционные матчеры вроде SuperPoint + LightGlue извлекают, возможно, 500–2000 разреженных ключевых точек и пытаются их сопоставить. Если ваше изображение-запрос перекрывается с изображением из базы всего на 20%, совместно видимых ключевых точек может быть лишь 50 — недостаточно для надёжного сопоставления.
MASt3R работает совершенно иначе. Он рассматривает сопоставление как задачу 3D-реконструкции, предсказывая плотные карты точек и локальные дескрипторы признаков для каждого пикселя. Даже небольшая перекрывающаяся область даёт сотни надёжных соответствий, потому что модель понимает 3D-структуру сцены, а не только 2D-паттерны пикселей.
На бенчмарке локализации без карт (одно эталонное изображение, изменения точки обзора до 180°) MASt3R превосходит предыдущие методы на 30%. Это не постепенное улучшение — это скачок на поколение.
Вот в чём проблема простого выбора кандидата с наивысшим баллом совпадения: существуют ложные срабатывания. Два одинаковых сетевых ресторана в 5 км друг от друга оба дадут высокие оценки MASt3R. Ряд советских панельных домов выглядит одинаково.
Пространственный консенсус решает эту проблему. Мы делим область поиска на ячейки сетки размером ~50 метров и кластеризуем все хорошие совпадения географически. Каждая ячейка получает оценку на основе совокупных свидетельств от всех совпадений в этой ячейке и её соседях.
Одиночный выброс с 200 инлайерами в неверном месте проигрывает по оценке кластеру из 5 совпадений с 80–150 инлайерами каждое в правильном месте. Лучшее совпадение из победившего кластера становится финальным ответом.
Именно поэтому точность сохраняется даже при больших радиусах поиска, где больше похожих местоположений.
Откройте для себя самые используемые инструменты нашего сообщества.
Данных о популярности пока нет.