ກ້ານໃບ NeRF ຍ້າຍອີກບາດກ້າວຫນຶ່ງທີ່ໃກ້ຊິດກັບການປ່ຽນແທນ CGI - Unite.AI
ເຊື່ອມຕໍ່ກັບພວກເຮົາ

ປັນຍາປະດິດ

NeRF ຍ້າຍອີກບາດກ້າວຫນຶ່ງທີ່ໃກ້ຊິດກັບການປ່ຽນແທນ CGI

mm
ການປັບປຸງ on

ນັກຄົ້ນຄວ້າຢູ່ MIT ແລະ Google ໄດ້ເອົາບາດກ້າວອັນໃຫຍ່ຫຼວງໃນການແກ້ໄຂອຸປະສັກພື້ນຖານທີ່ສຸດອັນຫນຶ່ງສໍາລັບເຕັກໂນໂລຊີ AI-driven ທີ່ພົ້ນເດັ່ນຂື້ນທີ່ໃນທີ່ສຸດອາດຈະທົດແທນ CGI - ແຍກຮູບພາບ neural radiance field (NeRF) ເຂົ້າໄປໃນອົງປະກອບຂອງສາຍຕາຂອງມັນ, ເພື່ອໃຫ້ຮູບພາບສາມາດ. ໄດ້​ຮັບ​ການ​ເຮັດ​ໃຫ້​ຜິວ​ຫນັງ​ແລະ re-lit​.

ວິທີການໃຫມ່, ເອີ້ນວ່າ NeRFactor, ແຍກພາບທີ່ຖ່າຍອອກມາເປັນຮູບປົກກະຕິຕໍ່ວັດຖຸຢ່າງມີປະສິດຕິພາບ (ຕາມໂຄງສ້າງທີ່ສາມາດກຳນົດໄດ້), ການເບິ່ງເຫັນແສງສະຫວ່າງ, albedo (ອັດຕາສ່ວນຂອງແສງທີ່ບັງເອີນທີ່ສະທ້ອນອອກມາຈາກພື້ນຜິວ) ແລະຟັງຊັນການກະຈາຍການສະທ້ອນສອງທິດທາງ (BRDFs).

ດ້ວຍການແຍກລັກສະນະເຫຼົ່ານີ້, ມັນເປັນໄປໄດ້ບໍ່ພຽງແຕ່ປ່ຽນໂຄງສ້າງສໍາລັບວັດຖຸສ່ວນບຸກຄົນຫຼືກຸ່ມວັດຖຸເທົ່ານັ້ນ, ແຕ່ຍັງເພີ່ມແຫຼ່ງແສງສະຫວ່າງໃຫມ່ແລະເປັນເອກະລັກແລະການຈັດຕັ້ງປະຕິບັດເງົາ, ຫຼຸດລາຄາໃດໆທີ່ຖືກຈັບໂດຍອາເລກ້ອງຫຼາຍອັນທີ່ສ້າງການປ້ອນຂໍ້ມູນສໍາລັບຮູບພາບ NeRF.

ປົກກະຕິ, ການເບິ່ງເຫັນ, albedo ແລະ BRDF ແຍກຢູ່ພາຍໃຕ້ NeRFactor. ທີ່ມາ: https://www.youtube.com/watch?v=UUVSPJlwhPg

ປົກກະຕິ, ການເບິ່ງເຫັນ, albedo ແລະ BRDF ແຍກຢູ່ພາຍໃຕ້ NeRFactor. ທີ່ມາ: https://www.youtube.com/watch?v=UUVSPJlwhPg

ຮູບແບບສະຫນັບສະຫນູນເງົາອ່ອນຫຼືແຂງຈາກແຫຼ່ງແສງສະຫວ່າງທີ່ກໍານົດເອງໂດຍຜູ້ໃຊ້ກໍານົດເອງ, ແລະແຍກສີ່ດ້ານຂອງວິດີໂອທີ່ຖືກບັນທຶກໂດຍໂຄງການ, ການນໍາໃຊ້ການສູນເສຍການຟື້ນຟູຄືນໃຫມ່, ຂໍ້ມູນຈາກການຄິດໄລ່ທີ່ຜ່ານມາຂອງ BRDF, ແລະການເຮັດໃຫ້ລຽບງ່າຍພື້ນຖານ.

ຂັ້ນຕອນການເຮັດວຽກຂອງ NeRFactor, ສະກັດເອົາຮູບໂສມທີ່ສາມາດປະຕິບັດໄດ້ແຍກຕ່າງຫາກທີ່ມາຈາກອາເຣກ້ອງຫຼາຍອັນ. ທີ່ມາ: https://arxiv.org/pdf/2106.01970.pdf

NeRFactor ໃຊ້ເຄື່ອງກວດຫາແສງ HDR, ເປັນວິທີການທີ່ຕັ້ງໄວ້ດີ ເຊິ່ງໄດ້ແຜ່ລາມໄປສູ່ການເບິ່ງເຫັນທາງດ້ານອຸດສາຫະກຳ ແລະສິລະປະຕັ້ງແຕ່ມັນມາ. ການນໍາສະເຫນີ ໃນ​ປີ 1998​, ການ​ປະ​ເມີນ​ເສັ້ນ​ທາງ​ທີ່​ເປັນ​ໄປ​ໄດ້​ສໍາ​ລັບ​ລັງ​ສີ​, ທີ່​ເຮັດ​ໃຫ້​ມີ​ແສງ​ສະ​ຫວ່າງ​ໂດຍ​ຕົນ​ເອງ​. ເນື່ອງຈາກນີ້ສ້າງຈໍານວນຕົວກໍານົດການທີ່ບໍ່ສາມາດຄວບຄຸມໄດ້, ການສືບສວນແສງສະຫວ່າງໄດ້ຖືກກັ່ນຕອງຜ່ານ perceptron ຫຼາຍຊັ້ນ (MLP), ເຊິ່ງແຜນທີ່ເລຂາຄະນິດທີ່ຮັບຮູ້ໄດ້ກັບ probe ໂດຍບໍ່ມີການພະຍາຍາມຄິດໄລ່ແຜນທີ່ປະລິມານແສງສະຫວ່າງທີ່ສົມບູນສໍາລັບພື້ນທີ່ຕົວແບບ.

ສອງຕົວແບບພາກສະຫນາມ radiance neural ຖືກນໍາໃຊ້ເພື່ອສະແດງໃຫ້ເຫັນເຖິງຫ້າຮູບແບບແສງສະຫວ່າງທີ່ເປັນໄປໄດ້ພາຍໃຕ້ NeRFactor. ຄລິກຮູບເພື່ອຄວາມລະອຽດສູງກວ່າ.

ສາເຫດສໍາລັບການສະທ້ອນ

ການຄົ້ນຄວ້າໃຫມ່ແມ່ນບາງທີມີຄວາມສໍາຄັນທີ່ສຸດໃນການແຍກຊັ້ນຂອງຮູບພາບທີ່ຈັບໄດ້ທີ່ຄວບຄຸມການສະທ້ອນ. ນີ້ຍັງຄົງເປັນສິ່ງທ້າທາຍໃຫຍ່ທີ່ສຸດສໍາລັບຮູບພາບພາກສະຫນາມ radiance neural, ເນື່ອງຈາກວ່າລະບົບ NeRF ທີ່ແທ້ຈິງແລະມີຄວາມຍືດຫຍຸ່ນຢ່າງແທ້ຈິງຈະຕ້ອງບໍ່ພຽງແຕ່ສາມາດທົດແທນໂຄງສ້າງໄດ້, ແຕ່ສໍາຄັນຈະຕ້ອງມີບາງວິທີທີ່ຈະສະທ້ອນເຖິງວັດຖຸທີ່ເຄື່ອນຍ້າຍ (ນອກຈາກພຽງແຕ່ສະພາບແວດລ້ອມຄົງທີ່ທົ່ວໄປ). ທີ່ປົກກະຕິຈະຖືກຄິດໄລ່ຢູ່ໃນຂະບວນການເຮັດວຽກ CGI.

ບັນຫານີ້ໄດ້ຖືກສັງເກດເຫັນໃນບໍ່ດົນມານີ້ກ່ຽວກັບ Intel ການຄົ້ນຄວ້າໃຫມ່ທີ່ຫນ້າປະທັບໃຈ ເຂົ້າໄປໃນການຫັນປ່ຽນວິດີໂອເກມເຂົ້າໄປໃນວິດີໂອ photorealistic ຜ່ານເຄືອຂ່າຍ neural convolutional. ໃນຂະບວນການເຮັດວຽກດັ່ງກ່າວ, ຫຼາຍໆດ້ານ 'baked' ຂອງອຸປະກອນການແຫຼ່ງຈະຕ້ອງກາຍເປັນ discrete ແລະ swappable, ແລະນີ້ແມ່ນ arguably ງ່າຍຕໍ່ການແກ້ໄຂສໍາລັບການ relighting (ຊຶ່ງເປັນຫນ້າທີ່ຂອງເລຂາຄະນິດທີ່ຖືກ rendered ໃນ NeRF) ກ່ວາສໍາລັບການສະທ້ອນ (ທີ່ນໍາໃຊ້ '. off-screen 'ເລຂາຄະນິດທີ່ຢູ່ນອກຂອບເຂດຂອງຕົວແບບທັງຫມົດ).

ດັ່ງນັ້ນ, ການແຍກຊັ້ນຕ່າງໆໃນວິດີໂອ NeRF ທີ່ສ້າງຄວາມສະດວກໃນການສະທ້ອນເຮັດໃຫ້ NeRF ໃກ້ຊິດກັບການແກ້ໄຂ 'ສິ່ງທ້າທາຍການສະທ້ອນ' ຂອງມັນ.

NeRFactor: Neural Factorization ຂອງຮູບຮ່າງແລະການສະທ້ອນພາຍໃຕ້ການສະຫວ່າງທີ່ບໍ່ຮູ້ຈັກ

ການນໍາໃຊ້ສະພາບແວດລ້ອມ HDR ແລ້ວແກ້ໄຂບັນຫາການສ້າງການສະທ້ອນສະພາບແວດລ້ອມໂລກ (ເຊັ່ນ: ທ້ອງຟ້າ, ພູມສັນຖານ, ແລະປັດໃຈສະພາບແວດລ້ອມອື່ນໆທີ່ 'ຄົງ'), ແຕ່ວິທີການໃຫມ່ແມ່ນຈໍາເປັນເພື່ອແນະນໍາການສະທ້ອນທີ່ມີການເຄື່ອນໄຫວແລະການເຄື່ອນໄຫວ.

Photogrammetry ກັບ NeRF

ຮູບພາບ Neural Radiance Field ໃຊ້ການວິເຄາະການຮຽນຮູ້ຂອງເຄື່ອງຈັກເພື່ອພັດທະນາພື້ນທີ່ບໍລິມາດທັງໝົດຈາກສາກ ຫຼືວັດຖຸທີ່ໄດ້ຖືກບັນທຶກຈາກຫຼາຍມຸມ.

ຫຼາຍໆໂຄງການທີ່ອີງໃສ່ NeRF ທີ່ເກີດຂື້ນໃນປີທີ່ຜ່ານມາໄດ້ນໍາໃຊ້ອຸປະກອນກ້ອງຖ່າຍຮູບທີ່ປະກອບສ່ວນທີ່ຫຼາກຫຼາຍ; ບາງຄົນໃຊ້ກ້ອງຖ່າຍຮູບ 16 ຫຼືຫຼາຍກວ່ານັ້ນ, ຄົນອື່ນບໍ່ຫຼາຍປານໃດເປັນຫນຶ່ງຫຼືສອງ. ໃນທຸກກໍລະນີ, ທັດສະນະລະຫວ່າງກາງແມ່ນ 'infilled' (ເຊັ່ນການຕີຄວາມ) ເພື່ອໃຫ້ scene ຫຼືວັດຖຸສາມາດນໍາທາງ fluidly.

ຫນ່ວຍທີ່ໄດ້ຮັບຜົນໄດ້ຮັບແມ່ນພື້ນທີ່ volumetric ຢ່າງສົມບູນ, ດ້ວຍຄວາມເຂົ້າໃຈ 3D ພາຍໃນທີ່ສາມາດໄດ້ຮັບການຂຸດຄົ້ນໃນຫຼາຍວິທີ, ລວມທັງຄວາມສາມາດໃນການສ້າງຕາຫນ່າງ CG ແບບດັ້ງເດີມຈາກຜົນລວມ 3D-parsed ຂອງຮູບພາບການປ້ອນຂໍ້ມູນ.

NeRF ໃນສະພາບການຂອງ 'CGI ໃຫມ່'

ຮູບພາບພາກສະຫນາມ radiance neural ແມ່ນ ຖືກກັນ ໂດຍກົງຈາກຮູບພາບຂອງໂລກທີ່ແທ້ຈິງ, ລວມທັງຮູບພາບການເຄື່ອນຍ້າຍຂອງຄົນ, ວັດຖຸແລະ scenes. ໃນທາງກົງກັນຂ້າມ, ວິທີການ CGI 'ສຶກສາ' ແລະຕີຄວາມໂລກ, ຮຽກຮ້ອງໃຫ້ພະນັກງານທີ່ມີຄວາມຊໍານິຊໍານານໃນການກໍ່ສ້າງຕາຫນ່າງ, rigs ແລະໂຄງສ້າງທີ່ນໍາໃຊ້ຮູບພາບຂອງໂລກທີ່ແທ້ຈິງ (ເຊັ່ນການຈັບພາບໃບຫນ້າແລະສິ່ງແວດລ້ອມ). ມັນຍັງຄົງເປັນວິທີການຕີຄວາມໝາຍອັນສຳຄັນ ແລະ ທາງດ້ານສິລະປະທີ່ມີລາຄາແພງ ແລະ ຫຍຸ້ງຍາກ.

ນອກຈາກນັ້ນ, CGI ມີບັນຫາຢ່າງຕໍ່ເນື່ອງກັບຜົນກະທົບ 'ຮ່ອມພູ uncanny' ໃນຄວາມພະຍາຍາມຂອງຕົນເພື່ອສ້າງລັກສະນະຂອງມະນຸດ, ເຊິ່ງນໍາສະເຫນີບໍ່ມີຂໍ້ຈໍາກັດຕໍ່ວິທີການຂັບເຄື່ອນ NeRF, ເຊິ່ງພຽງແຕ່ເກັບກໍາວິດີໂອຫຼືຮູບພາບຂອງຄົນທີ່ແທ້ຈິງແລະ manipulates ມັນ.

ນອກຈາກນັ້ນ, NeRF ສາມາດສ້າງເລຂາຄະນິດຕາຫນ່າງແບບ CGI ແບບດັ້ງເດີມໄດ້ໂດຍກົງຈາກຮູບພາບຕາມຄວາມຈໍາເປັນ, ແລະໃນຕົວຈິງແມ່ນແທນທີ່ຂັ້ນຕອນຄູ່ມືຈໍານວນຫຼາຍທີ່ມີຄວາມຈໍາເປັນສະເຫມີໃນຮູບພາບທີ່ຜະລິດດ້ວຍຄອມພິວເຕີ.

ສິ່ງທ້າທາຍສໍາລັບ NeRF

ການຄົ້ນຄວ້າຫຼ້າສຸດນີ້ຈາກ MIT ແລະ Google ເກີດຂື້ນໃນສະພາບການຂອງເອກະສານ NeRF ທີ່ມີນ້ໍາຖ້ວມຢ່າງແທ້ຈິງໃນປີທີ່ຜ່ານມາ, ຫຼາຍໆຢ່າງໄດ້ສະເຫນີການແກ້ໄຂສິ່ງທ້າທາຍຕ່າງໆທີ່ຖືກຖິ້ມໄວ້ໃນເອກະສານເບື້ອງຕົ້ນ 2020.

ໃນເດືອນເມສາ, ນະວັດຕະກໍາຈາກສະມາຄົມການຄົ້ນຄວ້າຂອງຈີນໄດ້ສະຫນອງວິທີການ ໂດດດ່ຽວ ໄລຍະເວລາສ່ວນບຸກຄົນຂອງ facets ໃນ scene NeRF, ລວມທັງຄົນ.

ST-NeRF

ການຄົ້ນຄວ້າຂອງຈີນອະນຸຍາດໃຫ້ຜູ້ໃຊ້ສຸດທ້າຍສາມາດຄັດລອກ, ວາງແລະປັບຂະຫນາດອົງປະກອບທີ່ຖືກຈັບ, ແຍກພວກມັນອອກຈາກເສັ້ນເວລາເສັ້ນຂອງວິດີໂອຕົ້ນສະບັບ. ທີ່ມາ: https://www.youtube.com/watch?v=Wp4HfOwFGP4

ວິທີການນີ້ບໍ່ພຽງແຕ່ເຮັດໃຫ້ການຈິນຕະນາການຄືນໃຫມ່ຂອງ scene ຈາກມຸມໃດໆທີ່ຖືກຈັບໂດຍ array ກ້ອງຖ່າຍຮູບ (ແລະບໍ່ພຽງແຕ່ທັດສະນະດຽວທີ່ສະແດງຢູ່ໃນການຖ່າຍວິດີໂອທົ່ວໄປ), ແຕ່ຍັງເຮັດໃຫ້ການປະກອບທີ່ຫລາກຫລາຍ - ແລະເຖິງແມ່ນຄວາມສາມາດໃນການສະແດງສອງດ້ານຈາກອັນດຽວກັນ. footage ທີ່ແລ່ນຢູ່ໃນກອບເວລາຂອງຕົນເອງ (ຫຼືແມ້ກະທັ້ງແລ່ນກັບຫຼັງ, ຕາມຄວາມຈໍາເປັນ).

ສອງລັກສະນະ NeRF ແຍກຕ່າງຫາກແລ່ນດ້ວຍຄວາມໄວທີ່ແຕກຕ່າງກັນໃນ scene ດຽວກັນ. ທີ່ມາ: https://www.youtube.com/watch?v=Wp4HfOwFGP4

ການຄົ້ນຄວ້າຂອງຈີນອະນຸຍາດໃຫ້ຜູ້ໃຊ້ສຸດທ້າຍສາມາດຄັດລອກ, ວາງແລະປັບຂະຫນາດອົງປະກອບທີ່ຖືກຈັບ, ແຍກພວກມັນອອກຈາກເສັ້ນເວລາເສັ້ນຂອງວິດີໂອຕົ້ນສະບັບ. ທີ່ມາ: https://www.youtube.com/watch?v=Wp4HfOwFGP4

ຫນຶ່ງໃນສິ່ງທ້າທາຍທີ່ໃຫຍ່ທີ່ສຸດສໍາລັບ NeRF ແມ່ນການຫຼຸດຜ່ອນຊັບພະຍາກອນຢ່າງຫຼວງຫຼາຍທີ່ຈໍາເປັນເພື່ອຝຶກອົບຮົມ scene, ແລະນີ້ໄດ້ຖືກແກ້ໄຂໃນເອກະສານທີ່ຜ່ານມາຈໍານວນຫນຶ່ງ. ຕົວຢ່າງ, ສະຖາບັນ Max Planck ສໍາລັບລະບົບອັດສະລິຍະໄດ້ນໍາສະເຫນີບໍ່ດົນມານີ້ KiloNeRF, ເຊິ່ງບໍ່ພຽງແຕ່ເລັ່ງເວລາການສະແດງຜົນໂດຍປັດໃຈ 1000, ແຕ່ຍັງຊ່ວຍໃຫ້ NeRF ເຮັດວຽກແບບໂຕ້ຕອບໄດ້.

KiloNeRF ແລ່ນສະພາບແວດລ້ອມແບບໂຕ້ຕອບຢູ່ທີ່ 50fps ໃນ GTX 1080ti. ແຫຼ່ງຂໍ້ມູນ: https://github.com/creiser/kilonerf

KiloNeRF ແລ່ນສະພາບແວດລ້ອມແບບໂຕ້ຕອບຢູ່ທີ່ 50fps ໃນ GTX 1080ti. ແຫຼ່ງຂໍ້ມູນ: https://github.com/creiser/kilonerf

ແນວໃດກໍ່ຕາມ, ນະວັດຕະກໍາຄວາມໄວຂອງ NeRF ທີ່ຈັບພາບຈິນຕະນາການຂອງນັກຄົ້ນຄວ້າ ແລະສາທາລະນະຊົນຢ່າງແທ້ຈິງໃນປີ 2021 ແມ່ນ. PlenOctree ການຮ່ວມມື, ນໍາພາໂດຍ UC Berkeley, ເຊິ່ງສະຫນອງການສະແດງເວລາທີ່ແທ້ຈິງຂອງ Neural Radiance Fields:

PlenOctrees ສໍາລັບການສະແດງຜົນແບບສົດໆຂອງ Neural Radiance Fields

ຜົນກະທົບຂອງຄວາມສາມາດໂຕ້ຕອບຂອງ PlenOctrees ໄດ້ຖືກຜະລິດຄືນໃຫມ່ໃນ a ດໍາລົງຊີວິດ, ການໂຕ້ຕອບເວັບໄຊຕ໌.

ການເຄື່ອນໄຫວແບບໂຕ້ຕອບແບບສົດໆຂອງວັດຖຸ PlenOctrees ໃນ Firefox (ການເຄື່ອນໄຫວແມ່ນກ້ຽງແລະເຄື່ອນໄຫວຫຼາຍກ່ວາ GIF ນີ້ເປັນຕົວແທນ). ທີ່ມາ: http://alexyu.net/plenoctrees/demo/

ການເຄື່ອນໄຫວແບບໂຕ້ຕອບແບບສົດໆຂອງວັດຖຸ PlenOctrees ໃນ Firefox (ການເຄື່ອນໄຫວແມ່ນກ້ຽງແລະເຄື່ອນໄຫວຫຼາຍກ່ວາ GIF ນີ້ເປັນຕົວແທນ). ທີ່ມາ: http://alexyu.net/plenoctrees/demo/

ນອກຈາກນັ້ນ, Recursive-NeRF (ຈາກເອກະສານໃນເດືອນພຶດສະພາ 2021 ໂດຍນັກຄົ້ນຄວ້າທີ່ມະຫາວິທະຍາໄລ Tsinghua) ສະເຫນີການສະແດງຜົນ recursive ທີ່ມີຄຸນນະພາບສູງຕາມຄວາມຕ້ອງການ. ແທນທີ່ຈະບັງຄັບໃຫ້ຜູ້ໃຊ້ສະແດງ scenes ທັງຫມົດ, ລວມທັງພາກສ່ວນທີ່ອາດຈະບໍ່ເຫັນ, Recursive-NeRF ສະຫນອງບາງສິ່ງບາງຢ່າງທີ່ຄ້າຍຄືກັບການບີບອັດການສູນເສຍຂອງ JPEG, ແລະສາມາດສ້າງ sub-NeRFs ແຍກເພື່ອຈັດການກັບຮູບພາບເພີ່ມເຕີມຕາມຄວາມຕ້ອງການ - ບັນລຸການປະຫຍັດຊັບພະຍາກອນຄອມພິວເຕີ້ຢ່າງຫຼວງຫຼາຍ. .

ການຮັກສາລາຍລະອຽດໃນຂະນະທີ່ຖິ້ມການຄິດໄລ່ render ທີ່ບໍ່ຈໍາເປັນດ້ວຍ Recursive-NeRF. ທີ່ມາ: https://arxiv.org/pdf/2105.09103.pdf

ການຮັກສາລາຍລະອຽດໃນຂະນະທີ່ຖິ້ມການຄິດໄລ່ render ທີ່ບໍ່ຈໍາເປັນດ້ວຍ Recursive-NeRF. ຄລິກທີ່ຮູບເພື່ອຄວາມລະອຽດສູງກວ່າ. ທີ່ມາ: https://arxiv.org/pdf/2105.09103.pdf

ວິທີການອື່ນໆປະກອບມີ FastNeRF, ເຊິ່ງອ້າງວ່າບັນລຸການສະແດງຜົນ neural ທີ່ມີຄວາມຊື່ສັດສູງຢູ່ທີ່ 200fps.

ມັນໄດ້ຖືກສັງເກດເຫັນວ່າຫຼາຍເຕັກນິກການເພີ່ມປະສິດທິພາບສໍາລັບ NeRF ມີສ່ວນຮ່ວມ 'baking' scene ໄດ້, ໂດຍການໃຫ້ຄໍາຫມັ້ນສັນຍາກັບລັກສະນະທີ່ຕ້ອງການທີ່ຈະສະແດງແລະປະຖິ້ມລັກສະນະອື່ນໆ, ເຊິ່ງຈໍາກັດການຂຸດຄົ້ນແຕ່ເລັ່ງການໂຕ້ຕອບຢ່າງຫຼວງຫຼາຍ.

ຂໍ້ເສຍຂອງເລື່ອງນີ້ແມ່ນວ່າຄວາມກົດດັນຍ້າຍຈາກ GPU ໄປສູ່ບ່ອນເກັບມ້ຽນ, ເພາະວ່າ scenes baked ໃຊ້ເວລາເຖິງຈໍານວນ inordinate ຂອງພື້ນທີ່ດິດ; ໃນຂອບເຂດໃດຫນຶ່ງ, ນີ້ສາມາດຖືກຫຼຸດຜ່ອນໂດຍການລົງຕົວຢ່າງຂໍ້ມູນທີ່ຖືກອົບ, ເຖິງແມ່ນວ່ານີ້ຍັງກ່ຽວຂ້ອງກັບຄໍາຫມັ້ນສັນຍາທີ່ແນ່ນອນ, ໃນແງ່ຂອງການປິດເສັ້ນທາງຂອງການສໍາຫຼວດຫຼືການໂຕ້ຕອບ.

ກ່ຽວ​ກັບ​ການ​ຈັບ​ພາບ​ເຄື່ອນ​ໄຫວ​ແລະ rigging, ວິ​ທີ​ການ​ໃຫມ່​ຈາກ Zheijang ແລະ​ມະ​ຫາ​ວິ​ທະ​ຍາ​ໄລ Cornell​. ເປີດເຜີຍໃນເດືອນພຶດສະພາ, ໄດ້ສະເໜີວິທີການສ້າງມະນຸດທີ່ເຄື່ອນໄຫວໄດ້ຄືນໃໝ່ໂດຍໃຊ້ພື້ນທີ່ນ້ຳໜັກປະສົມ ແລະໂຄງສ້າງໂຄງກະດູກທີ່ແປຈາກວິດີໂອທີ່ປ້ອນເຂົ້າ:

ໂຄງສ້າງໂຄງກະດູກທີ່ມາຈາກ Animatable NeRF. ທີ່ມາ: https://www.youtube.com/watch?v=eWOSWbmfJo4

ໂຄງສ້າງໂຄງກະດູກທີ່ມາຈາກ Animatable NeRF. ທີ່ມາ: https://www.youtube.com/watch?v=eWOSWbmfJo4

ເມື່ອ NeRF ຈະມີເວລາ 'Jurassic Park' ຂອງມັນບໍ?

ເຖິງວ່າຈະມີຄວາມຄືບຫນ້າຢ່າງໄວວາຂອງການສັງເຄາະຮູບພາບໂດຍຜ່ານພາກສະຫນາມ radiance neural, ມັນເປັນພຽງແຕ່ໃນໄລຍະນີ້ວ່າປະເພດຂອງ "ກົດຫມາຍວ່າດ້ວຍ thermodynamics" ຈະໄດ້ຮັບການສ້າງຕັ້ງຂຶ້ນສໍາລັບວິທີການທີ່ຈະ deployable NeRF. ໃນແງ່ຂອງເສັ້ນເວລາທີ່ຄ້າຍຄືກັນກັບປະຫວັດສາດຂອງ CGI, NeRF ປະຈຸບັນແມ່ນປະມານປີ 1973, ກ່ອນທີ່ຈະມີ first use ຂອງ CGI ໃນ Westworld.

ນັ້ນບໍ່ໄດ້ຫມາຍຄວາມວ່າ NeRF ຈະຕ້ອງລໍຖ້າເກົ້າປີສໍາລັບການທຽບເທົ່າຂອງມັນ Wrath Of Khan milestone, ຫຼືຫຼາຍທົດສະວັດສໍາລັບຄວາມກ້າວຫນ້າທີ່ຄ້າຍຄືກັນທີ່ CGI ບັນລຸໄດ້ພາຍໃຕ້ການອຸປະຖໍາຢ່າງກະຕືລືລົ້ນຂອງ James Cameron ໃນປີ 1989. ສຸດຊື້ງ ຫຼືປີ 1991 Terminator 2 – ແລະຫຼັງຈາກນັ້ນ, ເຕັກໂນໂລຊີການປະຕິວັດຢ່າງແທ້ຈິງ ປັດຈຸບັນ breakout ໃນປີ 1993 Jurassic Park.

ສາກການຖ່າຍພາບໄດ້ມີການປ່ຽນແປງຢ່າງຫຼວງຫຼາຍນັບຕັ້ງແຕ່ການຢຸດຊະງັກເປັນເວລາດົນສໍາລັບຜົນກະທົບທາງພາບທາງເຄມີ, ເຊິ່ງຄອບງໍາການຜະລິດຮູບເງົາແລະໂທລະທັດຕັ້ງແຕ່ການເກີດຂອງຮູບເງົາຈົນເຖິງຕົ້ນຊຸມປີ 1990. ການມາເຖິງຂອງການປະຕິວັດ PC ແລະການເລັ່ງຂອງກົດຫມາຍ Moore ນໍາໄປສູ່ການປະຕິວັດ CGI, ເຊິ່ງຖ້າບໍ່ດັ່ງນັ້ນອາດຈະ conceivably ເກີດຂຶ້ນໃນຕົ້ນປີ 1960.

ມັນຍັງຄົງຈະເຫັນໄດ້ວ່າມີສິ່ງກີດຂວາງອັນໃດທີ່ບໍ່ເປັນໄປໄດ້ທີ່ມັນສາມາດຮັກສາຄວາມຄືບຫນ້າຂອງ NeRF ໄດ້ດົນນານ - ແລະຖ້າການປະດິດສ້າງຕໍ່ໄປໃນວິໄສທັດຄອມພິວເຕີອາດຈະບໍ່ໄດ້ເອົາຊະນະ NeRF ທັງຫມົດເປັນຄູ່ແຂ່ງທີ່ສໍາຄັນສໍາລັບມົງກຸດຂອງ CGI, ລັກສະນະຂົງເຂດ radiance neural. ເປັນ 'ເຄື່ອງແຟັກ' ອາຍຸສັ້ນຂອງການສັງເຄາະຮູບພາບ neural.

ໃນປັດຈຸບັນ, NeRF ບໍ່ໄດ້ຖືກນໍາໃຊ້ໃນສະພາບການໃດໆນອກການຄົ້ນຄວ້າທາງວິຊາການ; ແຕ່ມັນເປັນທີ່ສັງເກດວ່າຜູ້ຫຼິ້ນທີ່ສໍາຄັນເຊັ່ນ Google Research, ແລະຫຼາຍໆຫ້ອງທົດລອງວິໄສທັດຄອມພິວເຕີທີ່ໂດດເດັ່ນທີ່ສຸດກໍາລັງແຂ່ງຂັນສໍາລັບຄວາມກ້າວຫນ້າຂອງ NeRF ຫລ້າສຸດ.

ຫຼາຍອຸປະສັກທີ່ໃຫຍ່ທີ່ສຸດຂອງ NeRF ໄດ້ເລີ່ມຕົ້ນທີ່ຈະແກ້ໄຂໂດຍກົງໃນປີນີ້; ຖ້າການຄົ້ນຄວ້າຕໍ່ມາສະເຫນີການແກ້ໄຂ 'ບັນຫາການສະທ້ອນ', ແລະຫຼາຍສາຍຂອງ NeRF-optimizing ການຄົ້ນຄວ້າ coalesce ເຂົ້າໄປໃນການແກ້ໄຂການຕັດສິນໃຈຂອງເຕັກໂນໂລຊີການປຸງແຕ່ງແລະ / ຫຼືຄວາມຕ້ອງການເກັບຮັກສາຢ່າງຫຼວງຫຼາຍ, NeRF ມີການສັກຢາທີ່ຈະກາຍເປັນ 'CGI ໃຫມ່. ' ໃນຫ້າປີຂ້າງຫນ້າ.