Вектор газрын зургаас хиймэл дагуулын зураг үүсгэх

Их Британийн судлаачид хиймэл оюун ухаанд суурилсан зургийн синтезийн системийг бүтээсэн бөгөөд энэ нь вектор дээр суурилсан газрын зургийг хиймэл дагуулын зураглал болгон хувиргах боломжтой юм.

Мэдрэлийн архитектур гэж нэрлэдэг Хиймэл дагуулын зургийн үл үзэгдэх синтез (SSS) бөгөөд хиймэл дагуулын зургаас илүү нарийвчлалтай бодит виртуал орчин, навигацийн шийдлүүдийг санал болгодог; илүү шинэчлэгдсэн (зураг зүйн газрын зургийн системийг шууд шинэчлэх боломжтой тул); Хиймэл дагуулын мэдрэгчийн нарийвчлал хязгаарлагдмал эсвэл өөр байдлаар ашиглах боломжгүй газруудад тойрог замын бодит дүр төрхийг хөнгөвчлөх боломжтой.

Нарийвчлалгүй вектор өгөгдлийг бодит хиймэл дагуулын зургаас илүү өндөр хэмжээтэй болгон хөрвүүлэх боломжтой бөгөөд шинэ саад бэрхшээл, замын сүлжээний дэд бүтцэд гарсан өөрчлөлт зэрэг сүлжээнд суурилсан зураг зүйн газрын зургийн шинэчлэлтийг хурдан тусгах боломжтой. Эх сурвалж: https://arxiv.org/pdf/2111.03384.pdf

Системийн хүч чадлыг харуулахын тулд судлаачид интерактив, Google Earth маягийн орчинг бий болгож, үзэгчид сансрын хиймэл дагуулаас авсан зургийг янз бүрийн масштаб, нарийвчлалтайгаар томруулж, ажиглаж, хавтангийн шинэчлэлтүүд бараг ижил түвшинд явагддаг. Хиймэл дагуулын зургийн уламжлалт интерактив систем шиг:

Зураг зүйн газрын зураг дээр үндэслэн үүсгэсэн орчныг томруулж байна. Илүү сайн нягтрал болон үйл явцын талаар дэлгэрэнгүй мэдээлэл авахын тулд нийтлэлийн төгсгөлд байгаа видеог үзнэ үү. Эх сурвалж: https://www.youtube.com/watch?v=PqFySVpkZzg

Цаашилбал, систем нь ямар ч вектор дээр суурилсан газрын зургаас хиймэл дагуулын зураглал үүсгэх боломжтой тул онолын хувьд үүнийг түүхэн, төлөвлөсөн эсвэл зохиомол ертөнцийг бий болгох, нислэгийн симулятор болон виртуал орчинд оруулахад ашиглах боломжтой. Нэмж дурдахад судлаачид трансформаторын тусламжтайгаар зураг зүйн өгөгдлөөс бүрэн 3D виртуал орчинг нэгтгэхээр төлөвлөж байна.

Ойрын хугацаанд тэдний хүрээг интерактив хот төлөвлөлт, процедурын загварчлал зэрэг бодит ертөнцийн хэд хэдэн хэрэглээнд ашиглах боломжтой гэж зохиогчид үзэж байгаа бөгөөд оролцогч талууд газрын зургийг интерактив байдлаар засварлаж, шувууны нүдээр харах зураглалыг харах боломжтой хувилбарыг төлөвлөх болно. секундын дотор төлөвлөсөн газар нутаг.

Шинэ цаасан Лидсийн их сургуулийн хоёр судлаачаас гаралтай бөгөөд гарчигтай Хиймэл дагуулын зургийн үл үзэгдэх синтез.

SSS архитектур нь Лондонг дахин бүтээж, сэргээн босголтод нөлөөлж буй үндсэн вектор бүтцийг харна. Зүүн дээд талд, зургийг бүхэлд нь оруулаад 8к нягтралтай нэмэлт материалаар авах боломжтой.

Архитектур ба эх сурвалжийн сургалтын өгөгдөл

Шинэ систем нь UCL Berkeley-ийн 2017-г ашигладаг Pix2Pix болон NVIDIA ХУВЬЦАА зургийн синтезийн архитектур. Энэхүү хүрээ нь хоёр шинэ эргэлтийн мэдрэлийн сүлжээг агуулдаг. газрын зураг2сат, вектороос пиксел дээр суурилсан зураглал руу хөрвүүлэх ажлыг гүйцэтгэдэг; болон давхарга2үргэлжлэл, энэ нь 256×256 хэмжээтэй хавтангуудыг цуглуулах ямар ч саадгүй аргыг тооцоолоод зогсохгүй интерактив хайгуулын орчинг бүрдүүлдэг.

SSS-ийн архитектур.

Уг систем нь векторын харагдац болон тэдгээрийн бодит амьдрал дээрх хиймэл дагуулын эквивалент дээр сургах замаар хиймэл дагуулын дүрсийг нэгтгэж сурснаар вектор талыг фото бодит тайлбар болгон хэрхэн тайлбарлах талаар ерөнхий ойлголтыг бүрдүүлдэг.

Өгөгдлийн багцад ашигласан вектор дээр суурилсан зургуудыг GeoPackage (.geo) файлуудаас растержуулсан бөгөөд үүнд 13 хүртэлх ангиллын шошго орно. мөр, байгаль орчин, барилга болон авто замын, эдгээр нь хиймэл дагуулын дүрслэлд ямар төрлийн зураг оруулахаа шийдэхэд ашигладаг.

Растержуулсан .geo хиймэл дагуулын зургууд нь орон нутгийн Координатын лавлагааны системийн мета өгөгдлийг хадгалдаг бөгөөд үүнийг газрын зургийн илүү өргөн хүрээнд контекст болгон тайлбарлаж, хэрэглэгчдэд үүсгэсэн газрын зургийг интерактив байдлаар удирдах боломжийг олгодог.

Хатуу хязгаарлалт дор үл үзэгдэх хавтанцар

Төслийн техник хангамжийн хязгаарлалт нь хавтангийн хэмжээг зөвхөн 256 x 256 пикселээр хязгаарладаг тул судлах боломжтой газрын зургийн орчныг бий болгох нь хэцүү байдаг. Иймд дүрслэх эсвэл найруулах үйл явц нь зөвхөн гар дээрх хавтан дээр анхаарлаа төвлөрүүлэхийн оронд "илүү том дүр зургийг" харгалзан үзэх нь чухал бөгөөд энэ нь хавтангуудыг нэгтгэх үед эвдрэлцэх, замууд гэнэт өнгө өөрчлөгдөж, бусад сөрөг үр дагаварт хүргэдэг. - бодитоор дүрслэх олдворууд.

Тиймээс SSS нь янз бүрийн масштабын агуулгын өөрчлөлтийг бий болгохын тулд генераторын сүлжээний масштабын орон зайн шатлалыг ашигладаг бөгөөд систем нь үзэгчдэд хэрэгтэй байж болох завсрын масштабын хавтанг дур мэдэн үнэлэх боломжтой.

Архитектурын seam2cont хэсэг нь map2sat гаралтын давхардсан, бие даасан хоёр давхаргыг ашигладаг бөгөөд дүрслэх өргөн зургийн хүрээнд тохирох хүрээг тооцдог.

seam2cont модуль нь map2sat сүлжээнээс 256×256 пикселийн хэмжээтэй хавтангийн хоорондох үл үзэгдэх хил хязгаарыг тооцоолохын тулд хавтанцар давхаргатай, нэг давхаргагүй зургийг ашигладаг.

map2sat сүлжээ нь зөвхөн 256×256 пикселээр бэлтгэгдсэн бүрэн хэмжээний SPADE сүлжээний оновчтой хувилбар юм. Зохиогчид нь энэ нь хөнгөн бөгөөд spry хэрэглүүр бөгөөд бүрэн SPADE сүлжээнд ердөө 31.5mb-аас 436.9mb жинтэй болоход хүргэдэг гэж тэмдэглэжээ.

3000 бодит хиймэл дагуулын зургийг 70 гаруй сургалтын хугацаанд хоёр дэд сүлжээг сургахад ашигласан; бүх зураг нь ижил утгатай семантик мэдээлэл (өөрөөр хэлбэл "зам" гэх мэт дүрслэгдсэн объектын талаарх ойлголтын доод түвшний ойлголт), гео-д суурилсан байршлын мета өгөгдлийг агуулдаг.

Нэмэлт материалыг төслийн хуудаснаас авах боломжтой, мөн дагалдах видео (доор суулгасан).