ການສ້າງຮູບພາບດາວທຽມຈາກແຜນທີ່ vector

ນັກຄົ້ນຄວ້າໃນປະເທດອັງກິດໄດ້ພັດທະນາລະບົບການສັງເຄາະຮູບພາບທີ່ອີງໃສ່ AI ທີ່ສາມາດປ່ຽນແຜນທີ່ທີ່ອີງໃສ່ vector ເຂົ້າໄປໃນຮູບພາບແບບດາວທຽມໃນເວລາບິນ.

ສະຖາປັດຕະຍະກໍາ neural ເອີ້ນວ່າ ການສັງເຄາະພາບດາວທຽມແບບບໍ່ມີຮອຍຕໍ່ (SSS), ແລະສະເຫນີຄວາມສົດໃສດ້ານຂອງສະພາບແວດລ້ອມ virtual ທີ່ແທ້ຈິງແລະການແກ້ໄຂການນໍາທາງທີ່ມີຄວາມລະອຽດດີກວ່າຮູບພາບດາວທຽມສາມາດສະເຫນີ; ມີຄວາມທັນສະ ໄໝ ຫຼາຍຂຶ້ນ (ນັບຕັ້ງແຕ່ລະບົບແຜນທີ່ຮູບແຕ້ມສາມາດປັບປຸງໄດ້ບົນພື້ນຖານສົດ); ແລະສາມາດອຳນວຍຄວາມສະດວກໃນການເບິ່ງແບບວົງໂຄຈອນຕາມຄວາມເປັນຈິງໃນພື້ນທີ່ທີ່ຄວາມລະອຽດຂອງເຊັນເຊີດາວທຽມຖືກຈຳກັດ ຫຼືບໍ່ມີໃຫ້ນຳໃຊ້.

ຂໍ້ມູນ vector ທີ່ບໍ່ມີຄວາມລະອຽດສາມາດຖືກແປເປັນຂະຫນາດຮູບພາບທີ່ສູງກວ່າທີ່ມັກຈະມີຢູ່ໃນຮູບພາບດາວທຽມທີ່ແທ້ຈິງ, ແລະສາມາດສະທ້ອນເຖິງການປັບປຸງຢ່າງໄວວາໃນແຜນທີ່ຕາຕະລາງຕາມເຄືອຂ່າຍ, ເຊັ່ນ: ສິ່ງກີດຂວາງໃຫມ່ຫຼືການປ່ຽນແປງໂຄງສ້າງເຄືອຂ່າຍຖະຫນົນ. ທີ່ມາ: https://arxiv.org/pdf/2111.03384.pdf

ເພື່ອສະແດງໃຫ້ເຫັນເຖິງພະລັງຂອງລະບົບ, ນັກຄົ້ນຄວ້າໄດ້ສ້າງສະພາບແວດລ້ອມແບບໂຕ້ຕອບແບບ Google Earth ທີ່ຜູ້ເບິ່ງສາມາດຊູມເຂົ້າແລະສັງເກດເຫັນຮູບພາບດາວທຽມທີ່ສ້າງຂຶ້ນໃນຄວາມຫລາກຫລາຍຂອງຂະຫນາດ render ແລະລາຍລະອຽດ, ດ້ວຍກະເບື້ອງການປັບປຸງສົດໃນລັກສະນະດຽວກັນ. ວິທີການເປັນລະບົບການໂຕ້ຕອບແບບດັ້ງເດີມສໍາລັບຮູບພາບດາວທຽມ:

ຂະຫຍາຍໄປສູ່ສະພາບແວດລ້ອມທີ່ສ້າງຂຶ້ນ, ອີງໃສ່ແຜນທີ່ຮູບແຕ້ມ. ເບິ່ງວິດີໂອໃນຕອນທ້າຍຂອງບົດຄວາມສໍາລັບການແກ້ໄຂທີ່ດີກວ່າແລະລາຍລະອຽດເພີ່ມເຕີມກ່ຽວກັບຂະບວນການ. ທີ່ມາ: https://www.youtube.com/watch?v=PqFySVpkZzg

ນອກຈາກນັ້ນ, ເນື່ອງຈາກວ່າລະບົບສາມາດສ້າງຮູບພາບແບບດາວທຽມຈາກແຜນທີ່ທີ່ອີງໃສ່ vector ໃດ, ໃນທາງທິດສະດີສາມາດຖືກນໍາໃຊ້ເພື່ອສ້າງໂລກປະຫວັດສາດ, ການຄາດຄະເນຫຼືການສົມມຸດຕິຖານ, ສໍາລັບການລວມເຂົ້າໃນການຈໍາລອງການບິນແລະສະພາບແວດລ້ອມ virtual. ນອກຈາກນັ້ນ, ນັກຄົ້ນຄວ້າຄາດວ່າຈະສັງເຄາະສະພາບແວດລ້ອມ virtual 3D ຢ່າງເຕັມທີ່ຈາກຂໍ້ມູນຮູບແຕ້ມໂດຍໃຊ້ເຄື່ອງຫັນ.

ໃນໄລຍະທີ່ໃກ້ກວ່າ, ຜູ້ຂຽນເຊື່ອວ່າກອບຂອງພວກມັນສາມາດຖືກ ນຳ ໃຊ້ເຂົ້າໃນການ ນຳ ໃຊ້ໃນໂລກຕົວຈິງຫຼາຍຢ່າງ, ລວມທັງການວາງແຜນເມືອງແບບໂຕ້ຕອບແລະການສ້າງແບບ ຈຳ ລອງຂັ້ນຕອນ, ຈິນຕະນາການສະຖານະການທີ່ພາກສ່ວນກ່ຽວຂ້ອງສາມາດແກ້ໄຂແຜນທີ່ແບບໂຕ້ຕອບແລະເບິ່ງຮູບພາບທີ່ເບິ່ງຕານົກ. ພູມສັນຖານທີ່ຄາດຄະເນພາຍໃນວິນາທີ.

ໃຫມ່ ເຈ້ຍ ມາຈາກນັກຄົ້ນຄວ້າສອງຄົນຢູ່ມະຫາວິທະຍາໄລ Leeds, ແລະມີຫົວຂໍ້ ການສັງເຄາະພາບດາວທຽມແບບບໍ່ມີຮອຍຕໍ່.

ສະຖາປັດຕະຍະກຳ SSS ສ້າງຄືນໃຫມ່ລອນດອນ, ດ້ວຍການເບິ່ງເຫັນໂຄງສ້າງ vector ທີ່ຕິດພັນກັບການກໍ່ສ້າງຄືນໃໝ່. ໃສ່ຊ້າຍເທິງ, ຮູບທັງໝົດ, ມີຢູ່ໃນອຸປະກອນເສີມທີ່ຄວາມລະອຽດ 8k.

ສະຖາປັດຕະຍະກໍາແລະຂໍ້ມູນການຝຶກອົບຮົມແຫຼ່ງຂໍ້ມູນ

ລະບົບໃຫມ່ເຮັດໃຫ້ການນໍາໃຊ້ຂອງ UCL Berkeley ຂອງ 2017 Pix2Pix ແລະ NVIDIA ດາບ ຖາປັດຕະຍະສັງເຄາະຮູບພາບ. ໂຄງຮ່າງການປະກອບມີສອງເຄືອຂ່າຍ neural convolutional ນະວະນິຍາຍ - ແຜນທີ່ 2 ເສົາ, ເຊິ່ງປະຕິບັດການແປງຈາກ vector ກັບຮູບພາບທີ່ອີງໃສ່ pixels ລວງ; ແລະ seam2cont, ເຊິ່ງບໍ່ພຽງແຕ່ຄິດໄລ່ວິທີການທີ່ບໍ່ມີຮອຍຕໍ່ເພື່ອລວບລວມກະເບື້ອງ 256 × 256, ແຕ່ຍັງໃຫ້ສະພາບແວດລ້ອມການສໍາຫຼວດແບບໂຕ້ຕອບ.

ສະຖາປັດຕະຍະກໍາຂອງ SSS.

ລະບົບຮຽນຮູ້ການສັງເຄາະມຸມເບິ່ງດາວທຽມໂດຍການຝຶກອົບຮົມກ່ຽວກັບການເບິ່ງ vector ແລະການທຽບເທົ່າດາວທຽມຊີວິດຈິງຂອງເຂົາເຈົ້າ, ປະກອບເປັນຄວາມເຂົ້າໃຈທົ່ວໄປກ່ຽວກັບວິທີການຕີຄວາມຫມາຍ vector facets ເຂົ້າໄປໃນການຕີຄວາມຫມາຍຮູບພາບທີ່ແທ້ຈິງ.

ຮູບພາບທີ່ອີງໃສ່ vector ທີ່ໃຊ້ໃນຊຸດຂໍ້ມູນແມ່ນ rasterized ຈາກໄຟລ໌ GeoPackage (.geo) ທີ່ມີເຖິງ 13 class labels, ເຊັ່ນ: ຕິດຕາມ, ສະພາບແວດລ້ອມ ທຳ ມະຊາດ, ອາຄານ ແລະ ຖະຫນົນຫົນທາງ, ເຊິ່ງມີຜົນບັງຄັບໃຊ້ໃນການຕັດສິນໃຈປະເພດຂອງຮູບພາບທີ່ຈະໃສ່ເຂົ້າໄປໃນທັດສະນະຂອງດາວທຽມ.

ຮູບພາບດາວທຽມ .geo rasterized ຍັງຮັກສາ metadata ຂອງລະບົບການອ້າງອີງປະສານງານໃນທ້ອງຖິ່ນ, ເຊິ່ງຖືກນໍາໃຊ້ເພື່ອຕີຄວາມຫມາຍໃຫ້ເຂົາເຈົ້າເຂົ້າໄປໃນສະພາບການໃນກອບແຜນທີ່ທີ່ກວ້າງກວ່າ, ແລະເພື່ອໃຫ້ຜູ້ໃຊ້ສາມາດໂຕ້ຕອບກັບແຜນທີ່ທີ່ສ້າງຂື້ນ.

ກະເບື້ອງທີ່ບໍ່ມີຮອຍຕໍ່ພາຍໃຕ້ຂໍ້ຈໍາກັດທີ່ຍາກ

ການສ້າງສະພາບແວດລ້ອມແຜນທີ່ທີ່ສາມາດສຳຫຼວດໄດ້ແມ່ນສິ່ງທ້າທາຍ, ເພາະວ່າຂໍ້ຈຳກັດຂອງຮາດແວໃນໂຄງການຈຳກັດແຜ່ນກະເບື້ອງໃຫ້ມີຂະໜາດພຽງແຕ່ 256 x 256 ພິກເຊວເທົ່ານັ້ນ. ດັ່ງນັ້ນ, ມັນເປັນສິ່ງສໍາຄັນທີ່ຂະບວນການສະແດງຫຼືການປະກອບຄໍາຄິດເຫັນ 'ຮູບພາບໃຫຍ່' ເຂົ້າໄປໃນບັນຊີ, ແທນທີ່ຈະສຸມໃສ່ການພຽງແຕ່ຢູ່ໃນກະເບື້ອງຢູ່ໃນມື, ເຊິ່ງຈະນໍາໄປສູ່ການ jarring juxtapositions ໃນເວລາທີ່ກະເບື້ອງໄດ້ຖືກ collated, ຖະຫນົນຫົນທາງມີການປ່ຽນແປງສີຢ່າງກະທັນຫັນ, ແລະອື່ນໆທີ່ບໍ່ແມ່ນ. - ສິ່ງ​ປອມ​ທີ່​ສະ​ແດງ​ໃຫ້​ເຫັນ​ຈິງ​.

ດັ່ງນັ້ນ, SSS ຈຶ່ງໃຊ້ການຈັດລຽງລຳດັບຂະໜາດພື້ນທີ່ຂອງເຄືອຂ່າຍເຄື່ອງກຳເນີດເພື່ອສ້າງຄວາມຜັນຜວນຂອງເນື້ອຫາໃນຫຼາຍໆຂະໜາດ, ແລະລະບົບຈຶ່ງສາມາດປະເມີນການວັດແທກຂະໜາດກາງທີ່ຜູ້ຊົມອາດຈະຕ້ອງການໄດ້.

ສ່ວນ seam2cont ຂອງສະຖາປັດຕະຍະກໍາໃຊ້ສອງຊັ້ນຊ້ອນກັນແລະເອກະລາດຂອງຜົນຜະລິດ map2sat, ແລະຄິດໄລ່ຂອບເຂດທີ່ເຫມາະສົມໃນຂອບເຂດຂອງຮູບພາບທີ່ກວ້າງກວ່າທີ່ຈະເປັນຕົວແທນ:

ໂມດູນ seam2cont ໃຊ້ຮູບຫນຶ່ງທີ່ມີກະເບື້ອງແລະຮູບຫນຶ່ງທີ່ບໍ່ມີ seam ຈາກເຄືອຂ່າຍ map2sat, ເພື່ອຄິດໄລ່ຂອບທີ່ບໍ່ມີຮອຍຕໍ່ລະຫວ່າງກະເບື້ອງທີ່ສ້າງຂື້ນ 256 × 256 pixels.

ເຄືອຂ່າຍ map2sat ແມ່ນການປັບຕົວໃຫ້ເໝາະສົມຂອງເຄືອຂ່າຍ SPADE ເຕັມຮູບແບບ, ການຝຶກອົບຮົມສະເພາະທີ່ 256×256 pixels. ຜູ້ຂຽນສັງເກດເຫັນວ່ານີ້ແມ່ນການປະຕິບັດທີ່ມີນ້ໍາຫນັກເບົາແລະ spry, ເຮັດໃຫ້ນ້ໍາຫນັກພຽງແຕ່ 31.5mb ທຽບກັບ 436.9mb ໃນເຄືອຂ່າຍ SPADE ເຕັມ.

ຮູບຖ່າຍດາວທຽມຕົວຈິງ 3000 ໜ່ວຍ ໄດ້ນຳໃຊ້ເຂົ້າໃນການຝຶກອົບຮົມ 70 ເຄືອຂ່າຍຍ່ອຍໃນໄລຍະ XNUMX ສະໄໝຂອງການຝຶກອົບຮົມ; ຮູບພາບທັງຫມົດປະກອບດ້ວຍຂໍ້ມູນ semantic ທຽບເທົ່າ (ເຊັ່ນ: ຄວາມເຂົ້າໃຈແນວຄວາມຄິດໃນລະດັບຕ່ໍາຂອງວັດຖຸທີ່ພັນລະນາເຊັ່ນ 'ຖະຫນົນຫົນທາງ'), ແລະ metadata ຕໍາແຫນ່ງທີ່ຕັ້ງພູມສາດ.

ເອກະສານເພີ່ມເຕີມແມ່ນມີຢູ່ໃນຫນ້າໂຄງການ, ເຊັ່ນດຽວກັນກັບວິດີໂອປະກອບ (ຝັງຂ້າງລຸ່ມນີ້).