إنشاء صور القمر الصناعي من خرائط المتجهات

طور باحثون في المملكة المتحدة نظامًا لتجميع الصور قائم على الذكاء الاصطناعي يمكنه تحويل الخرائط القائمة على المتجهات إلى صور على غرار القمر الصناعي أثناء الطيران.

العمارة العصبية تسمى توليف سلس لصور القمر الصناعي (SSS) ، ويوفر إمكانية وجود بيئات افتراضية واقعية وحلول ملاحة تتمتع بدقة أفضل مما يمكن أن تقدمه صور الأقمار الصناعية ؛ أكثر حداثة (حيث يمكن تحديث أنظمة الخرائط على أساس مباشر) ؛ ويمكن أن تسهل مناظر واقعية على غرار المدار في المناطق التي تكون فيها دقة مستشعر الأقمار الصناعية محدودة أو غير متاحة بأي شكل آخر.

يمكن ترجمة بيانات المتجه الخالية من الدقة إلى أحجام صور أعلى بكثير مما هو متاح غالبًا من صور الأقمار الصناعية الحقيقية ، ويمكن أن تعكس بسرعة التحديثات في خرائط الخرائط المستندة إلى الشبكة ، مثل العوائق الجديدة أو التغييرات في البنية التحتية لشبكة الطرق. المصدر: https://arxiv.org/pdf/2111.03384.pdf

لإثبات قوة النظام ، أنشأ الباحثون بيئة تفاعلية على غرار Google Earth حيث يمكن للمشاهد تكبير ومراقبة صور القمر الصناعي التي تم إنشاؤها في مجموعة متنوعة من مقاييس العرض والتفاصيل ، مع تحديث المربعات بشكل مباشر إلى حد كبير بطريقة الأنظمة التفاعلية التقليدية لصور الأقمار الصناعية:

تكبير البيئة التي تم إنشاؤها ، بناءً على خريطة رسم الخرائط. شاهد الفيديو في نهاية المقالة للحصول على دقة أفضل ومزيد من التفاصيل حول العملية. المصدر: https://www.youtube.com/watch؟v=PqFySVpkZzg

علاوة على ذلك ، نظرًا لأن النظام يمكنه إنشاء صور على غرار القمر الصناعي من أي خريطة قائمة على المتجهات ، فيمكن استخدامه نظريًا لبناء عوالم تاريخية أو متوقعة أو خيالية ، لإدماجها في محاكيات الطيران والبيئات الافتراضية. بالإضافة إلى ذلك ، يتوقع الباحثون توليف بيئات افتراضية ثلاثية الأبعاد بالكامل من بيانات رسم الخرائط باستخدام المحولات.

على المدى القريب ، يعتقد المؤلفون أنه يمكن استخدام إطار العمل الخاص بهم لعدد من تطبيقات العالم الحقيقي ، بما في ذلك التخطيط التفاعلي للمدينة والنمذجة الإجرائية ، وتصور سيناريو حيث يمكن لأصحاب المصلحة تحرير الخريطة بشكل تفاعلي ومشاهدة صور من منظور الطيور. التضاريس المتوقعة في غضون ثوان.

الجديد ورقة يأتي من باحثين في جامعة ليدز ، ويحمل عنوان توليف سلس لصور القمر الصناعي.

تعيد هندسة SSS إنشاء لندن ، مع لمحة عن هيكل المتجه الأساسي الذي يغذي إعادة الإعمار. أقحم أعلى اليسار ، الصورة بأكملها ، متوفرة في مواد تكميلية بدقة 8k.

بيانات التدريب على الهندسة المعمارية والمصدر

يستفيد النظام الجديد من UCL Berkeley لعام 2017 Pix2Pix و NVIDIA's السيوف هندسة تركيب الصورة. يحتوي الإطار على شبكتين عصبيتين تلافيفيتين جديدتين - Map2sat، والتي تقوم بالتحويل من الصور المتجهية إلى الصور المستندة إلى البكسل ؛ و sem2cont، والتي لا تحسب فقط طريقة سلسة لتجميع مربعات 256 × 256 معًا ، ولكنها توفر أيضًا بيئة استكشاف تفاعلية.

هندسة SSS.

يتعلم النظام تجميع عروض الأقمار الصناعية من خلال التدريب على عروض المتجهات ومكافئاتها من الأقمار الصناعية الواقعية ، مما يشكل فهمًا عامًا حول كيفية تفسير الأوجه المتجهة إلى تفسيرات صور حقيقية.

يتم تحويل الصور المستندة إلى المتجهات المستخدمة في مجموعة البيانات إلى نقطية من ملفات GeoPackage (.geo) التي تحتوي على ما يصل إلى 13 تسمية فئة ، مثل مسار, البيئة الطبيعية, بناء و طريق، والتي يتم الاستفادة منها في تحديد نوع الصور التي سيتم وضعها في عرض القمر الصناعي.

تحتفظ صور الأقمار الصناعية النقطية. geo أيضًا بالبيانات الوصفية المحلية للنظام المرجعي للإحداثيات ، والتي تُستخدم لتفسيرها في سياق إطار عمل الخريطة الأوسع ، وللسماح للمستخدم بالتنقل التفاعلي في الخرائط التي تم إنشاؤها.

بلاط غير ملحوم تحت قيود صارمة

يعد إنشاء بيئات خرائط قابلة للاستكشاف تحديًا ، نظرًا لأن قيود الأجهزة في المشروع تقيد المربعات بحجم 256 × 256 بكسل فقط. لذلك من المهم أن تأخذ عملية العرض أو التركيب "الصورة الأكبر" في الاعتبار ، بدلاً من التركيز حصريًا على البلاط الموجود ، مما قد يؤدي إلى تجاور متناقض عندما يتم تجميع المربعات ، مع تغيير لون الطرق فجأة ، وغير ذلك. -واقعية القطع الأثرية.

لذلك يستخدم SSS تسلسلاً هرميًا للفضاء لشبكات المولدات لإنشاء تنوع في المحتوى على مجموعة متنوعة من المقاييس ، والنظام قادر على تقييم المربعات بشكل تعسفي على أي نطاق وسيط قد يحتاجه العارض.

يستخدم قسم seam2cont في البنية طبقتين متداخلتين ومستقلتين لإخراج map2sat ، ويحسب حدًا مناسبًا ضمن سياق الصورة الأوسع التي سيتم تمثيلها:

تستخدم وحدة seam2cont صورة واحدة مع درزات مبلطة وواحدة بدون طبقات من شبكة map2sat ، من أجل حساب الحدود غير الملحومة بين البلاط الذي تم إنشاؤه 256 × 256 بكسل.

شبكة map2sat هي تكيف محسن لشبكة SPADE كاملة ، مدربة حصريًا على 256 × 256 بكسل. لاحظ المؤلفون أن هذا تطبيق خفيف الوزن ورائع ، مما يؤدي إلى أوزان تبلغ 31.5 ميجابايت فقط مقابل 436.9 ميجابايت في شبكة SPADE كاملة.

تم استخدام 3000 صورة أقمار صناعية حقيقية لتدريب الشبكتين الفرعيتين على مدار 70 حقبة من وقت التدريب ؛ تحتوي جميع الصور على معلومات دلالية مكافئة (أي فهم مفاهيمي منخفض المستوى للكائنات المصورة مثل "الطرق") ، وبيانات تعريف تحديد المواقع الجغرافية.

تتوفر المزيد من المواد على صفحة المشروع، بالإضافة إلى مقطع فيديو مصاحب (مضمن أدناه).