NeRF: Facebook Co-Research ພັດທະນາການສັງເຄາະວິດີໂອແບບຄົງທີ່/ແບບໄດນາມິກແບບປະສົມ

ການຮ່ວມມືລະຫວ່າງສະຖາບັນ Virginia Polytechnic ແລະມະຫາວິທະຍາໄລຂອງລັດແລະ Facebook ໄດ້ແກ້ໄຂສິ່ງທ້າທາຍໃຫຍ່ອັນຫນຶ່ງໃນການສັງເຄາະວິດີໂອ NeRF: ການຜະສົມຮູບພາບແລະວິດີໂອແບບຄົງທີ່ແລະແບບເຄື່ອນໄຫວຢ່າງເສລີໃນຜົນຜະລິດຂອງ Neural Radiance Fields (NeRF).

ລະບົບສາມາດສ້າງ scenes ນໍາທາງທີ່ມີທັງອົງປະກອບວິດີໂອແບບເຄື່ອນໄຫວແລະສະພາບແວດລ້ອມຄົງທີ່, ແຕ່ລະບັນທຶກໃນສະຖານທີ່, ແຕ່ແຍກອອກເປັນລັກສະນະທີ່ຄວບຄຸມຂອງສະພາບແວດລ້ອມ virtual:

ຍິ່ງໄປກວ່ານັ້ນ, ມັນບັນລຸໄດ້ຈາກທັດສະນະດຽວ, ໂດຍບໍ່ມີການຕ້ອງການປະເພດຂອງຫຼາຍ array ກ້ອງຖ່າຍຮູບທີ່ສາມາດຜູກມັດການລິເລີ່ມເຊັ່ນນີ້ກັບສະພາບແວດລ້ອມສະຕູດິໂອ.

ໄດ້ ເຈ້ຍ, ມີສິດ ການສັງເຄາະວິວແບບໄດນາມິກຈາກວິດີໂອແບບໄດນາມິກໂມໂນກຸນ, ບໍ່ແມ່ນຄົນທໍາອິດທີ່ຈະພັດທະນາ monocular NeRF workflow, ແຕ່ເບິ່ງຄືວ່າເປັນຄັ້ງທໍາອິດໃນເວລາດຽວກັນການຝຶກອົບຮົມແບບຈໍາລອງທີ່ໃຊ້ເວລາທີ່ມີການປ່ຽນແປງແລະເວລາຄົງທີ່ຈາກວັດສະດຸປ້ອນດຽວກັນ, ແລະເພື່ອສ້າງກອບທີ່ອະນຸຍາດໃຫ້ວິດີໂອການເຄື່ອນໄຫວທີ່ຈະມີຢູ່ໃນ 'pre-mapped' ທ້ອງຖິ່ນ NeRF, ຄ້າຍຄືກັນກັບ. ປະເພດຂອງສະພາບແວດລ້ອມ virtual ທີ່ມັກຈະຫຸ້ມນັກສະແດງໃນ outings SF ງົບປະມານສູງ.

ນອກເຫນືອຈາກ D-NeRF

ນັກຄົ້ນຄວ້າຕ້ອງໄດ້ສ້າງ versatility ຂອງ Dynamic NeRF ຄືນໃໝ່.D-NeRF) ດ້ວຍຈຸດດຽວຂອງມຸມເບິ່ງ, ແລະບໍ່ແມ່ນຄວາມຫຼາກຫຼາຍຂອງກ້ອງຖ່າຍຮູບທີ່ D-NeRF ໃຊ້. ເພື່ອແກ້ໄຂບັນຫານີ້, ພວກເຂົາເຈົ້າໄດ້ຄາດຄະເນການໄຫຼຂອງ scene ໄປຂ້າງຫນ້າແລະກັບຄືນໄປບ່ອນແລະນໍາໃຊ້ຂໍ້ມູນນີ້ເພື່ອພັດທະນາພາກສະຫນາມ radiance warped ທີ່ສອດຄ່ອງຊົ່ວຄາວ.

ດ້ວຍພຽງແຕ່ຫນຶ່ງ POV, ມັນຈໍາເປັນຕ້ອງໃຊ້ການວິເຄາະການໄຫຼຂອງແສງ 2D ເພື່ອໃຫ້ໄດ້ຈຸດ 3D ໃນກອບເອກະສານອ້າງອີງ. ຫຼັງຈາກນັ້ນ, ຈຸດ 3D ທີ່ຄິດໄລ່ແລ້ວຈະຖືກປ້ອນເຂົ້າໄປໃນກ້ອງຖ່າຍຮູບສະເໝືອນຈິງເພື່ອສ້າງ 'ການໄຫລຂອງສາກ' ທີ່ກົງກັບກະແສແສງທີ່ຄຳນວນແລ້ວກັບກະແສແສງທີ່ຄາດຄະເນໄວ້.

ໃນເວລາການຝຶກອົບຮົມ, ອົງປະກອບແບບເຄື່ອນໄຫວແລະອົງປະກອບສະຖິດແມ່ນ reconciled ເຂົ້າໄປໃນຕົວແບບເຕັມຮູບແບບເປັນ facets ທີ່ສາມາດເຂົ້າເຖິງແຍກຕ່າງຫາກ.

ໂດຍລວມທັງການຄິດໄລ່ການສູນເສຍຄໍາສັ່ງຄວາມເລິກ, ຮູບແບບແລະການນໍາໃຊ້ປົກກະຕິຢ່າງເຂັ້ມງວດຂອງການຄາດຄະເນການໄຫຼ scene ໃນ D-NeRF, ບັນຫາຂອງ motion blur ໄດ້ຖືກຫຼຸດຜ່ອນຢ່າງຫຼວງຫຼາຍ.

ເຖິງແມ່ນວ່າການຄົ້ນຄວ້າມີຫຼາຍຢ່າງທີ່ສະເຫນີໃນແງ່ຂອງການຄິດໄລ່ NeRF ເປັນປົກກະຕິ, ແລະປັບປຸງຢ່າງຫຼວງຫຼາຍຕາມຄວາມຊໍານິຊໍານານແລະຄວາມສະດວກໃນການຄົ້ນຫາສໍາລັບຜົນຜະລິດຈາກ POV ດຽວ, ຢ່າງຫນ້ອຍຫມາຍເຫດເທົ່າທຽມກັນແມ່ນການແຍກໃຫມ່ແລະການລວມເອົາອົງປະກອບ NeRF ແບບເຄື່ອນໄຫວແລະຄົງທີ່. .

ອີງໃສ່ກ້ອງຖ່າຍຮູບ sole, ລະບົບດັ່ງກ່າວບໍ່ສາມາດ replicate ມຸມເບິ່ງ panopticon ຂອງຫຼາຍກ້ອງຖ່າຍຮູບ array ການຕັ້ງຄ່າ NeRF, ແຕ່ມັນສາມາດໄປທຸກບ່ອນ, ແລະບໍ່ມີລົດບັນທຸກ.

NeRF – Static ຫຼືວິດີໂອ?

ບໍ່ດົນມານີ້ພວກເຮົາໄດ້ເບິ່ງບາງ ປະທັບໃຈ ການຄົ້ນຄວ້າ NeRF ໃຫມ່ຈາກປະເທດຈີນທີ່ສາມາດແຍກອົງປະກອບອອກໃນ scene NeRF ແບບເຄື່ອນໄຫວທີ່ຈັບດ້ວຍກ້ອງຖ່າຍຮູບ 16 ໂຕ.

ST-NeRF (ຂ້າງເທິງ) ອະນຸຍາດໃຫ້ຜູ້ເບິ່ງສາມາດຈັດຕໍາແຫນ່ງອົງປະກອບສ່ວນບຸກຄົນໃນ scene ທີ່ຖືກຈັບ, ແລະແມ້ກະທັ້ງການປັບຂະຫນາດໃຫ້ເຂົາເຈົ້າ, ປ່ຽນອັດຕາການຫຼິ້ນຂອງເຂົາເຈົ້າ, ຢຸດໃຫ້ເຂົາເຈົ້າຫຼືແລ່ນໃຫ້ເຂົາເຈົ້າກັບຄືນໄປບ່ອນ. ນອກຈາກນັ້ນ, ST-NeRF ຊ່ວຍໃຫ້ຜູ້ໃຊ້ສາມາດ 'ເລື່ອນ' ຜ່ານພາກສ່ວນໃດນຶ່ງຂອງວົງໂຄຈອນ 180 ອົງສາທີ່ຖືກຈັບໂດຍກ້ອງຖ່າຍຮູບ 16 ໜ່ວຍ.

ຢ່າງໃດກໍຕາມ, ນັກຄົ້ນຄວ້າຂອງ ST-NeRF ເຈ້ຍ ຍອມຮັບໃນການປິດເວລານັ້ນສະເຫມີແລ່ນໄປໃນບາງທິດທາງຫຼືອື່ນໆພາຍໃຕ້ລະບົບນີ້, ແລະວ່າມັນເປັນການຍາກທີ່ຈະປ່ຽນແສງສະຫວ່າງແລະນໍາໃຊ້ຜົນກະທົບກັບສະພາບແວດລ້ອມທີ່ເປັນວິດີໂອ, ແທນທີ່ຈະເປັນ 'ແຜນທີ່ສະຖິຕິ' ສະພາບແວດລ້ອມ NeRF ເຊິ່ງຢູ່ໃນຕົວຂອງມັນເອງບໍ່ມີ. ອົງປະກອບການເຄື່ອນຍ້າຍ, ແລະບໍ່ຈໍາເປັນຕ້ອງຖືກບັນທຶກເປັນວິດີໂອ.

ສະພາບແວດລ້ອມ NeRF ຄົງທີ່ທີ່ສາມາດແກ້ໄຂໄດ້ສູງ

scene Neural Radiance Field ຄົງທີ່, ຕອນນີ້ແຍກອອກຈາກພາກສ່ວນວິດີໂອການເຄື່ອນໄຫວຕ່າງໆ, ແມ່ນງ່າຍຕໍ່ການປິ່ນປົວ ແລະຂະຫຍາຍໃນຫຼາຍວິທີ, ລວມທັງການສະທ້ອນແສງ, ດັ່ງທີ່ສະເໜີໃນຕົ້ນປີນີ້ໂດຍ NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis), ເຊິ່ງສະເໜີຂັ້ນຕອນເບື້ອງຕົ້ນໃນການປ່ຽນແປງແສງ ແລະ/ຫຼືໂຄງສ້າງຂອງສະພາບແວດລ້ອມ ຫຼືວັດຖຸ NeRF:

Relighting ວັດຖຸ NeRF ກັບ NeRV. ທີ່ມາ: https://www.youtube.com/watch?v=4XyDdvhhjVo

Retexturing ໃນ NeRV, ເຖິງແມ່ນວ່າລວມທັງຜົນກະທົບ specular photorealistic. ເນື່ອງຈາກພື້ນຖານຂອງ array ຂອງຮູບພາບແມ່ນຄົງທີ່, ມັນງ່າຍທີ່ຈະປະມວນຜົນແລະຂະຫຍາຍ NeRF facet ໃນທາງນີ້ກ່ວາການລວມເອົາຜົນກະທົບໃນທົ່ວກອບວິດີໂອ, ເຮັດໃຫ້ການປຸງແຕ່ງເບື້ອງຕົ້ນແລະການຝຶກອົບຮົມໃນທີ່ສຸດເບົາແລະງ່າຍຂຶ້ນ.