sparkyniner/netryx-astra-v2-geolocation-toolأكثر برامج التحديد الجغرافي للصور على مستوى الشارع تطورًا في العالم
أحدث ما توصلت إليه تقنيات التحديد الجغرافي بالذكاء الاصطناعي من صورة واحدة.
الفكرة • كيف يعمل • بدء الاستخدام • المركز المجتمعي • التثبيت
لديك صورة فوتوغرافية. ربما تكون لقطة شاشة من فيديو. ربما تكون صورة هاتف مقطوعة وغير واضحة نشرها شخص ما على الإنترنت. ربما تظهر مجرد واجهة متجر، أو امتداد طريق، أو زاوية مبنى. تريد أن تعرف بالضبط أين التُقطت.
Netryx Astra V2 تجيب على هذا السؤال.
إنه نظام تحديد جغرافي مفتوح المصدر يأخذ صورة واحدة ويجد الإحداثيات الدقيقة لنظام تحديد المواقع العالمي (GPS) من خلال مطابقتها مع قاعدة بيانات للصور البانورامية على مستوى الشارع. ارفع صورتك، وفي غضون دقائق يخبرك بالشارع والمدينة والإحداثيات – بدقة تصل إلى بضعة أمتار.
ما يجعل الإصدار V2 مختلفًا عن Netryx الأصلي (وعن الأدوات الأخرى المتوفرة) هو خط أنابيب المطابقة. لقد أعدنا بناء كل شيء من الأساس باستخدام نموذجين لم يكونا موجودين عندما بدأنا هذا المشروع:
MegaLoc (CVPR 2025) – النموذج الأكثر دقة لاسترجاع الصور للتعرف على الأماكن، تم تدريبه عبر ست مجموعات بيانات تغطي التباينات الداخلية والخارجية والنهارية والليلية والموسمية. يجد الحي الصحيح.
MASt3R (ECCV 2024) – أداة مطابقة كثيفة ثلاثية الأبعاد تفهم هندسة المشاهد، وليس فقط أنماط البكسل. إنه يؤكد الموقع الدقيق، حتى من الصور الجزئية أو المقطوعة بشكل كبير والتي قد تعطل أدوات المطابقة التقليدية.
النتيجة هي خط أنابيب من ثلاث خطوات أبسط وأكثر دقة من النظام ذي التسع مراحل الذي حل محله.
استخدمت Netryx الأصلية CosPlace للاسترجاع ومجموعة من DISK + LightGlue + LoFTR + RANSAC + القفز بين الواصفات + توسيع الجوار للتحقق. لقد كانت تعمل، لكنها كانت هشة – الكثير من الاستدلالات المتراكمة فوق بعضها البعض، كل منها كان حلاً بديلاً لقيود المرحلة السابقة.
قام الإصدار V2 بالتخلص من كل ذلك. إليك ما حل محل ماذا:
| V1 (الأصلي) | V2 (Astra) | |
|---|---|---|
| إيجاد المرشحين | CosPlace (ResNet-50, 512-dim) | MegaLoc (DINOv2 ViT-B/14, 8448-dim → PCA 1024) |
| تأكيد التطابقات | DISK + LightGlue + RANSAC | مطابقة ثلاثية الأبعاد كثيفة MASt3R |
| معالجة الحالات الحدية | خيار احتياطي LoFTR، القفز بين الواصفات، توسيع الجوار، الوضع فائق السرعة | توافق مكاني – هذا كل شيء |
| إجمالي مراحل خط الأنابيب | 9+ | 3 |
| مطابقة الصور الجزئية | ضعيف – نقاط المفاتيح المتفرقة تفشل عند التداخلات الصغيرة | قوي – يجد MASt3R تطابقات كثيفة في مناطق صغيرة جدًا |
| مشاركة الفهارس | غير ممكن | المركز المجتمعي عبر Hugging Face + حزم .netryx دون اتصال |
التبسيط ليس مجرد تحسين جمالي. عدد أقل من المراحل يعني عددًا أقل من الأماكن التي يمكن أن تحدث فيها الأخطاء، وبحوثًا أسرع، ورمزًا يسهل صيانته فعليًا.
يتكون خط الأنابيب من ثلاث مراحل. هذا ليس تبسيطًا مفرطًا – إنها بالفعل ثلاث مراحل فقط.
صورة الاستعلام
│
▼
┌─────────────┐
│ MegaLoc │ "أين يمكن أن يكون هذا في المدينة؟"
│ استرجاع │
└─────┬───────┘
│ أفضل 500 مرشح
▼
┌─────────────┐
│ MASt3R │ "هل هذا حقًا نفس المكان؟"
│ مطابقة │
└─────┬───────┘
│ مرشحون بدرجات
▼
┌─────────────┐
│ توافق │ "أي تكتل من التطابقات هو الأكثر جدارة بالثقة؟"
│ مكاني │
└─────┬───────┘
│
▼
📍 إحداثيات GPS
يتم تحويل صورة الاستعلام الخاصة بك إلى واصف مضغوط – متجه ذو 8448 بُعدًا يلتقط الجوهر البصري للمشهد. يتم تقليل هذا المتجه بواسطة PCA إلى 1024 بُعدًا، ثم يتم مقارنته مع كل موقع مفهرس عن طريق التشابه النقطي.
نقوم أيضًا باستخراج واصف لقص مركزي مكبر قليلاً ولإصدار مقلوب أفقيًا من الاستعلام، ثم ندمج النتائج. يعالج هذا الحالات التي يكون فيها الاستعلام بمستوى تكبير مختلف أو يواجه الاتجاه المعاكس للعرض المفهرس.
الناتج هو أفضل 500 موقع مرشح من الفهرس، مرتبة حسب التشابه البصري.
MegaLoc هو من مختبر Gabriele Berton (نفس المجموعة التي صنعت CosPlace وEigenPlaces). إنه الأحدث في سلسلة أعمالهم، تم تدريبه على SF-XL وGSV-Cities وMSLS وبيانات استرجاع المعالم في وقت واحد. لا يوجد نموذج استرجاع آخر يتفوق عليه باستمرار عبر جميع المعايير – داخلي، خارجي، حضري، ريفي، نهاري، ليلي.
لكل من هؤلاء المرشحين الـ 500، نقوم بتنزيل الصورة البانورامية للشارع المقابلة، ونقتصها بزاوية الاتجاه المفهرسة، ونشغل MASt3R للعثور على تطابقات كثيفة بين البكسل في الاستعلام والقص.
هذا هو المكان الذي يحدث فيه السحر للاستعلامات الصعبة. أدوات المطابقة التقليدية مثل SuperPoint + LightGlue تستخرج ربما 500-2000 نقطة مفتاحية متفرقة وتحاول مطابقتها. إذا كانت صورتك الاستعلامية تتداخل بنسبة 20٪ فقط مع صورة قاعدة البيانات، فقد يكون هناك 50 نقطة مفتاحية مرئية مشتركة فقط – غير كافية لمطابقة موثوقة.
يعمل MASt3R بشكل مختلف تمامًا. إنه يعالج المطابقة كمشكلة إعادة بناء ثلاثية الأبعاد، ويتنبأ بخرائط نقاط كثيفة ووصفات ميزات محلية لكل بكسل. حتى المنطقة المتداخلة الصغيرة تنتج مئات التطابقات الموثوقة، لأنه يفهم البنية ثلاثية الأبعاد للمشهد، وليس فقط أنماط البكسل ثنائية الأبعاد.
في معيار Map-free localization (صورة مرجعية واحدة، تغييرات في زاوية الرؤية تصل إلى 180 درجة)، يتفوق MASt3R على الطرق السابقة بنسبة 30٪. هذا ليس تحسنًا تدريجيًا – إنها قفزة جيلية.
إليك المشكلة في مجرد اختيار المرشح الحاصل على أعلى درجة مطابقة: توجد نتائج إيجابية خاطئة. مطعمان متطابقتان من نفس السلسلة على بعد 5 كيلومترات سينتجان درجات MASt3R عالية. صف من مجمعات الشقق السوفيتية تبدو جميعها متشابهة.
التوافق المكاني يحل هذا. نقوم بتقسيم منطقة البحث إلى خلايا شبكية بحجم حوالي 50 مترًا ونجمع جميع التطابقات الجيدة جغرافيًا. تحصل كل خلية على درجة بناءً على الأدلة المجمعة من جميع التطابقات في تلك الخلية وجيرانها.
تطابق واحد شاذ يحتوي على 200 نقطة داخلية في الموقع الخطأ يتم تفوقه بالنتيجة بواسطة تكتل من 5 تطابقات تحتوي كل منها على 80-150 نقطة داخلية في الموقع الصحيح. يصبح أفضل تطابق في التكتل الفائز هو الإجابة النهائية.
لهذا السبب تظل الدقة عالية حتى عند أنصاف أقطار البحث الأكبر حيث يوجد المزيد من المواقع المتشابهة.
يمكننا أن نلاحظ في هذه الصورة أنه لا يوجد أي شيء للاعتماد عليه، إنها مجرد جزء صغير مقطوع. إن تقنيات OSINT التقليدية ستفشل تمامًا هنا. ومع ذلك، قامت Netryx Astra بتحديد موقعها الجغرافي بدقة حتى إحداثياتها المحددة دون أي بيانات وصفية أو أدلة مسبقة، وتعمل بالكامل محليًا.
صورة مقطوعة صغيرة لمبنى، هذا كل ما تطلبه الأمر للعثور على موقعه في دائرة نصف قطرها 1 كم في موسكو.
هذا هو الجزء الذي نحن متحمسون له أكثر.
فهرسة مدينة تستغرق ساعات من وقت الحوسبة. من المهدر أن يقوم كل مستخدم بفهرسة نفس المدينة بشكل مستقل. لذلك قمنا ببناء نظام مشاركة: شخص واحد يقوم بفهرسة موسكو، ويحمل النتيجة، ويقوم الجميع بتنزيلها في دقائق.
أسرع طريقة. قام شخص آخر بالفعل بعمل الفهرسة – ما عليك سوى تنزيل الفهرس المبني مسبقًا.