ການພັດທະນາຢ່າງໄວວາຂອງແບບຈໍາລອງ AI Generative, ໂດຍສະເພາະແບບຈໍາລອງ AI ການຜະລິດແບບເລິກເຊິ່ງ, ມີຄວາມສາມາດກ້າວຫນ້າຢ່າງຫຼວງຫຼາຍໃນການຜະລິດພາສາທໍາມະຊາດ, ການຜະລິດ 3D, ການສ້າງຮູບພາບ, ແລະການສັງເຄາະສຽງເວົ້າ. ຮູບແບບເຫຼົ່ານີ້ໄດ້ປະຕິວັດການຜະລິດ 3D ໃນທົ່ວອຸດສາຫະກໍາຕ່າງໆ. ຢ່າງໃດກໍ່ຕາມ, ຫຼາຍໆຄົນປະເຊີນກັບສິ່ງທ້າທາຍ: ສາຍໄຟທີ່ສັບສົນແລະຕາຫນ່າງທີ່ສ້າງຂື້ນຂອງພວກເຂົາມັກຈະບໍ່ເຫມາະສົມກັບທໍ່ການສະແດງແບບດັ້ງເດີມເຊັ່ນ: Physically Based Rendering (PBR). ຮູບແບບທີ່ອີງໃສ່ການແຜ່ກະຈາຍ, ໂດຍສະເພາະແມ່ນບໍ່ມີໂຄງສ້າງເຮັດໃຫ້ມີແສງ, ສະແດງໃຫ້ເຫັນການຜະລິດຊັບສິນ 3D ທີ່ມີຄວາມຫຼາກຫຼາຍທີ່ຫນ້າປະທັບໃຈ, ເສີມຂະຫຍາຍກອບ 3D ໃນຮູບເງົາ, ເກມ, ແລະ AR/VR.

ບົດຄວາມນີ້ແນະນໍາ Paint3D, ກອບນະວະນິຍາຍສໍາລັບການຜະລິດແຜນທີ່ໂຄງສ້າງ 2K UV ທີ່ມີຄວາມຫຼາກຫຼາຍ, ຄວາມລະອຽດສູງສໍາລັບຕາຫນ່າງ 3D ທີ່ບໍ່ມີໂຄງສ້າງ, ມີເງື່ອນໄຂຢູ່ໃນວັດສະດຸປ້ອນຮູບພາບຫຼືຂໍ້ຄວາມ. ສິ່ງທ້າທາຍຕົ້ນຕໍຂອງ Paint3D ແມ່ນການສ້າງໂຄງສ້າງທີ່ມີຄຸນນະພາບສູງໂດຍບໍ່ມີການຝັງຕົວ, ເຮັດໃຫ້ຜູ້ໃຊ້ສາມາດແກ້ໄຂຫຼືເຮັດໃຫ້ມີແສງຄືນໃຫມ່ພາຍໃນທໍ່ກາຟິກທີ່ທັນສະໄຫມ. ມັນໃຊ້ຕົວແບບການແຜ່ກະຈາຍ 2D ທີ່ໄດ້ຮັບການຝຶກອົບຮົມໄວ້ລ່ວງໜ້າສໍາລັບການປະສົມໂຄງສ້າງແບບຫຼາຍມຸມ, ການສ້າງແຜນທີ່ໂຄງສ້າງຫຍາບເບື້ອງຕົ້ນ. ແນວໃດກໍ່ຕາມ, ແຜນທີ່ເຫຼົ່ານີ້ມັກຈະສະແດງສິ່ງປະດິດການສ່ອງແສງ ແລະພື້ນທີ່ບໍ່ສົມບູນເນື່ອງຈາກຂໍ້ຈຳກັດຂອງຕົວແບບ 2D ໃນການປິດການໃຊ້ງານຜົນກະທົບຂອງແສງ ແລະສະແດງຮູບຮ່າງ 3D ຢ່າງສົມບູນ. ພວກເຮົາຈະເຈາະເລິກເຖິງການເຮັດວຽກຂອງ Paint3D, ສະຖາປັດຕະຍະກໍາ, ແລະການປຽບທຽບກັບກອບການຜະລິດເລິກອື່ນໆ. ໃຫ້ເລີ່ມຕົ້ນ.

Paint3D​: ການ​ນໍາ​ສະ​ເຫນີ​

ຄວາມສາມາດຂອງແບບຈໍາລອງ AI ແບບ Deep Generative ໃນການຜະລິດພາສາທໍາມະຊາດ, ການຜະລິດ 3D, ແລະວຽກງານການສັງເຄາະຮູບພາບແມ່ນເປັນທີ່ຮູ້ຈັກແລະປະຕິບັດໃນການນໍາໃຊ້ຕົວຈິງ, ປະຕິວັດອຸດສາຫະກໍາການຜະລິດ 3D. ເຖິງວ່າຈະມີຄວາມສາມາດທີ່ໂດດເດັ່ນຂອງພວກເຂົາ, ເລິກທີ່ທັນສະໄຫມ AI ທົ່ວໄປ ກອບສ້າງຕາຫນ່າງທີ່ມີລັກສະນະໂດຍສາຍໄຟທີ່ສັບສົນແລະໂຄງສ້າງແສງສະຫວ່າງທີ່ສັບສົນທີ່ມັກຈະບໍ່ເຫມາະສົມກັບທໍ່ສະແດງຜົນແບບທໍາມະດາລວມທັງ PBR ຫຼືການສະແດງຜົນທາງດ້ານຮ່າງກາຍ. ເຊັ່ນດຽວກັນກັບແບບຈໍາລອງ AI ການຜະລິດເລິກ, ການສັງເຄາະໂຄງສ້າງຍັງກ້າວຫນ້າຢ່າງໄວວາໂດຍສະເພາະໃນການນໍາໃຊ້ຮູບແບບການແຜ່ກະຈາຍ 2D. ຮູບແບບການສັງເຄາະໂຄງສ້າງໃຊ້ຄວາມເລິກຂອງຮູບພາບທີ່ໄດ້ຝຶກອົບຮົມມາກ່ອນ ຮູບແບບການແຜ່ກະຈາຍ ປະສິດທິຜົນເພື່ອນໍາໃຊ້ເງື່ອນໄຂຂອງຂໍ້ຄວາມເພື່ອສ້າງໂຄງສ້າງທີ່ມີຄຸນນະພາບສູງ. ແນວໃດກໍ່ຕາມ, ວິທີການເຫຼົ່ານີ້ປະເຊີນກັບບັນຫາກັບໂຄງສ້າງກ່ອນການສະຫວ່າງທີ່ສາມາດສົ່ງຜົນກະທົບຢ່າງຫຼວງຫຼາຍຕໍ່ການສະແດງສະພາບແວດລ້ອມ 3D ສຸດທ້າຍແລະແນະນໍາຄວາມຜິດພາດຂອງການເຮັດໃຫ້ມີແສງໃນເວລາທີ່ແສງໄດ້ຖືກປ່ຽນແປງພາຍໃນຂະບວນການເຮັດວຽກທົ່ວໄປທີ່ສະແດງໃຫ້ເຫັນໃນຮູບພາບຕໍ່ໄປນີ້. 

ຍ້ອນວ່າມັນສາມາດສັງເກດເຫັນໄດ້, ແຜນທີ່ໂຄງສ້າງທີ່ມີການສະຫວ່າງໂດຍບໍ່ເສຍຄ່າເຮັດວຽກສອດຄ່ອງກັບທໍ່ສະແດງແບບດັ້ງເດີມທີ່ໃຫ້ຜົນໄດ້ຮັບທີ່ຖືກຕ້ອງ, ໃນຂະນະທີ່ແຜນທີ່ໂຄງສ້າງທີ່ມີການສະຫວ່າງກ່ອນປະກອບມີເງົາທີ່ບໍ່ເຫມາະສົມໃນເວລາທີ່ໃຊ້ relighting. ໃນທາງກົງກັນຂ້າມ, ໂຄງຮ່າງການສ້າງໂຄງສ້າງທີ່ໄດ້ຮັບການຝຶກອົບຮົມກ່ຽວກັບຂໍ້ມູນ 3D ສະເຫນີວິທີການທາງເລືອກທີ່ກອບສ້າງໂຄງສ້າງໂດຍການເຂົ້າໃຈເລຂາຄະນິດທັງຫມົດຂອງວັດຖຸ 3D ສະເພາະ. ເຖິງແມ່ນວ່າພວກເຂົາອາດຈະໃຫ້ຜົນໄດ້ຮັບທີ່ດີກວ່າ, ໂຄງສ້າງໂຄງສ້າງທີ່ໄດ້ຮັບການຝຶກອົບຮົມກ່ຽວກັບຂໍ້ມູນ 3D ຂາດຄວາມສາມາດທົ່ວໄປທີ່ຂັດຂວາງຄວາມສາມາດໃນການນໍາໃຊ້ຕົວແບບກັບວັດຖຸ 3D ພາຍນອກຂໍ້ມູນການຝຶກອົບຮົມຂອງພວກເຂົາ. 

ຮູບແບບການຜະລິດໂຄງສ້າງໃນປະຈຸບັນປະເຊີນກັບສິ່ງທ້າທາຍທີ່ສໍາຄັນສອງຢ່າງ: ການນໍາໃຊ້ການຊີ້ນໍາຂອງຮູບພາບຫຼືການກະຕຸ້ນທີ່ຫຼາກຫຼາຍເພື່ອບັນລຸລະດັບຄວາມກວ້າງຂອງທົ່ວໄປໃນທົ່ວວັດຖຸທີ່ແຕກຕ່າງກັນ, ແລະສິ່ງທ້າທາຍທີສອງແມ່ນການກໍາຈັດຄວາມສະຫວ່າງທີ່ປະສົມປະສານກັບຜົນໄດ້ຮັບທີ່ໄດ້ຮັບຈາກການຝຶກອົບຮົມກ່ອນ. ໂຄງສ້າງທາງສ່ວນຫນ້າຂອງແສງສະຫວ່າງສາມາດແຊກແຊງກັບຜົນໄດ້ຮັບສຸດທ້າຍຂອງວັດຖຸໂຄງສ້າງພາຍໃນເຄື່ອງຈັກສະແດງຜົນ, ແລະນັບຕັ້ງແຕ່ແບບຈໍາລອງການແຜ່ກະຈາຍ 2D ທີ່ໄດ້ຮັບການຝຶກອົບຮົມກ່ອນການໃຫ້ຜົນໄດ້ຮັບ 2D ຢູ່ໃນໂດເມນເບິ່ງເທົ່ານັ້ນ, ພວກເຂົາຂາດຄວາມເຂົ້າໃຈທີ່ສົມບູນແບບຂອງຮູບຮ່າງທີ່ນໍາໄປສູ່ພວກມັນບໍ່ສາມາດ. ເພື່ອຮັກສາຄວາມສອດຄ່ອງຂອງການເບິ່ງສໍາລັບວັດຖຸ 3D. 

ເນື່ອງຈາກສິ່ງທ້າທາຍທີ່ໄດ້ກ່າວມາຂ້າງເທິງ, ກອບ Paint3D ພະຍາຍາມພັດທະນາຕົວແບບການແຜ່ກະຈາຍໂຄງສ້າງແບບສອງຂັ້ນຕອນສໍາລັບວັດຖຸ 3D ທີ່ມີລັກສະນະທົ່ວໄປກັບຮູບແບບການຜະລິດກ່ອນການຝຶກອົບຮົມທີ່ແຕກຕ່າງກັນແລະຮັກສາຄວາມສອດຄ່ອງຂອງການເບິ່ງໃນຂະນະທີ່ຮຽນຮູ້ການສ້າງໂຄງສ້າງທີ່ບໍ່ມີແສງສະຫວ່າງ. 

Paint3D ແມ່ນຮູບແບບການຜະລິດແບບຫຍາບເປັນສອງຂັ້ນຕອນເພື່ອປັບໂຄງສ້າງທີ່ລະອຽດອ່ອນທີ່ມີຈຸດປະສົງເພື່ອໃຊ້ການຊີ້ນໍາທີ່ເຂັ້ມແຂງແລະຄວາມສາມາດໃນການສ້າງຮູບພາບຂອງການຝຶກອົບຮົມກ່ອນ. AI ທົ່ວໄປ ແບບຈໍາລອງເພື່ອໂຄງສ້າງວັດຖຸ 3D. ໃນຂັ້ນຕອນທໍາອິດ, ກອບ Paint3D ທໍາອິດຕົວຢ່າງຮູບພາບຫຼາຍມຸມເບິ່ງຈາກແບບຈໍາລອງການແຜ່ກະຈາຍຮູບພາບ 2D ທີ່ມີຄວາມຮູ້ຄວາມເລິກທີ່ໄດ້ຮັບການຝຶກອົບຮົມລ່ວງຫນ້າເພື່ອເຮັດໃຫ້ການທົ່ວໄປຂອງໂຄງສ້າງທີ່ມີຄຸນນະພາບສູງແລະມີຜົນມາຈາກການກະຕຸ້ນທີ່ຫຼາກຫຼາຍ. ຫຼັງຈາກນັ້ນ, ຮູບແບບດັ່ງກ່າວຈະສ້າງແຜນທີ່ໂຄງສ້າງເບື້ອງຕົ້ນໂດຍການສະທ້ອນຮູບພາບເຫຼົ່ານີ້ໃສ່ຫນ້າຕາຫນ່າງ 3D. ໃນຂັ້ນຕອນທີສອງ, ຮູບແບບໄດ້ສຸມໃສ່ການສ້າງໂຄງສ້າງແສງສະຫວ່າງຫນ້ອຍໂດຍການປະຕິບັດວິທີການທີ່ໃຊ້ໂດຍຕົວແບບການແຜ່ກະຈາຍທີ່ມີຄວາມຊ່ຽວຊານໃນການກໍາຈັດອິດທິພົນຂອງແສງສະຫວ່າງແລະການປັບປຸງຮູບຮ່າງຂອງພາກພື້ນທີ່ບໍ່ສົມບູນ. ຕະຫຼອດຂະບວນການ, ໂຄງຮ່າງການ Paint3D ສາມາດສ້າງໂຄງສ້າງ 2K ທີ່ມີຄຸນນະພາບສູງໄດ້ຢ່າງສະເໝີຕົ້ນສະເໝີປາຍ, ແລະລົບລ້າງຜົນກະທົບການສ່ອງແສງພາຍໃນຕົວ. 

ເພື່ອສະຫຼຸບມັນ, Paint3D ແມ່ນຮູບແບບໃຫມ່ທີ່ຫຍາບຄາຍເພື່ອປັບຕົວແບບ AI ການຜະລິດທີ່ມີຈຸດປະສົງເພື່ອຜະລິດແຜນທີ່ໂຄງສ້າງ 2K UV ທີ່ມີຄວາມຫຼາກຫຼາຍ, ແສງສະຫວ່າງຫນ້ອຍແລະຄວາມລະອຽດສູງສໍາລັບຕາຫນ່າງ 3D ທີ່ບໍ່ມີໂຄງສ້າງເພື່ອບັນລຸການປະຕິບັດດ້ານສິລະປະໃນໂຄງສ້າງ 3D ທີ່ມີເງື່ອນໄຂທີ່ແຕກຕ່າງກັນ. ວັດສະດຸປ້ອນລວມທັງຂໍ້ຄວາມ & ຮູບພາບ, ແລະສະຫນອງປະໂຫຍດທີ່ສໍາຄັນສໍາລັບວຽກງານການສັງເຄາະແລະການແກ້ໄຂຮູບພາບ. 

ວິທີການແລະສະຖາປັດຕະຍະກໍາ

ກອບຂອງ Paint3D ສ້າງ ແລະປັບປຸງແຜນທີ່ໂຄງສ້າງແບບກ້າວກະໂດດເພື່ອສ້າງແຜນທີ່ໂຄງສ້າງທີ່ມີຄວາມຫຼາກຫຼາຍ ແລະ ຄຸນນະພາບສູງສໍາລັບແບບ 3D ໂດຍໃຊ້ວັດສະດຸປ້ອນເງື່ອນໄຂທີ່ຕ້ອງການລວມທັງຮູບພາບແລະການກະຕຸ້ນເຕືອນ, ດັ່ງທີ່ສະແດງໃຫ້ເຫັນໃນຮູບພາບຕໍ່ໄປນີ້. 

ໃນຂັ້ນຕອນທີ່ຫຍາບຄາຍ, ຮູບແບບ Paint3D ໃຊ້ແບບຈໍາລອງການແຜ່ກະຈາຍຮູບພາບ 2D ທີ່ໄດ້ຝຶກອົບຮົມໄວ້ກ່ອນເພື່ອຕົວຢ່າງຮູບພາບຫຼາຍມຸມ, ແລະຫຼັງຈາກນັ້ນສ້າງແຜນທີ່ໂຄງສ້າງເບື້ອງຕົ້ນທີ່ສະແດງຮູບພາບເຫຼົ່ານີ້ໃສ່ພື້ນຜິວຂອງຕາຫນ່າງ. ໃນຂັ້ນຕອນທີສອງເຊັ່ນ: ຂັ້ນຕອນການປັບປຸງ, ຮູບແບບ Paint3D ໃຊ້ຂະບວນການແຜ່ກະຈາຍຢູ່ໃນພື້ນທີ່ UV ເພື່ອປັບປຸງແຜນທີ່ໂຄງສ້າງຫຍາບ, ດັ່ງນັ້ນຈຶ່ງບັນລຸໄດ້ຄຸນນະພາບສູງ, ການໃສ່ສີ, ແລະຟັງຊັນແສງສະຫວ່າງຫນ້ອຍທີ່ຮັບປະກັນການດຶງດູດສາຍຕາແລະຄວາມສົມບູນຂອງໂຄງສ້າງສຸດທ້າຍ. . 

ຂັ້ນ​ຕອນ​ທີ 1​: ຄວາມ​ຄືບ​ຫນ້າ​ການ​ຜະ​ລິດ​ຮູບ​ພາບ​ຫຍາບ​

ໃນຂັ້ນຕອນການຜະລິດໂຄງສ້າງຫຍາບທີ່ກ້າວຫນ້າ, ຮູບແບບ Paint3D ສ້າງແຜນທີ່ໂຄງສ້າງ UV ຫຍາບສໍາລັບຕາຫນ່າງ 3D ທີ່ນໍາໃຊ້ຮູບແບບການແຜ່ກະຈາຍ 2D ທີ່ມີຄວາມຮູ້ຄວາມເລິກທີ່ໄດ້ຮັບການຝຶກອົບຮົມກ່ອນ. ເພື່ອໃຫ້ມີຄວາມສະເພາະຫຼາຍ, ຮູບແບບທໍາອິດໃຊ້ມຸມເບິ່ງກ້ອງຖ່າຍຮູບທີ່ແຕກຕ່າງກັນເພື່ອສະແດງແຜນທີ່ຄວາມເລິກ, ຫຼັງຈາກນັ້ນໃຊ້ເງື່ອນໄຂຄວາມເລິກເພື່ອຕົວຢ່າງຮູບພາບຈາກຮູບແບບການແຜ່ກະຈາຍຮູບພາບ, ແລະຫຼັງຈາກນັ້ນໂຄງການກັບຄືນໄປບ່ອນຮູບພາບເຫຼົ່ານີ້ໃສ່ຫນ້າຕາຫນ່າງ. ໂຄງຮ່າງການດໍາເນີນການວິທີການສະແດງຜົນ, ການເກັບຕົວຢ່າງ, ແລະ back-projection ສະລັບກັນເພື່ອປັບປຸງຄວາມສອດຄ່ອງຂອງຕາຫນ່າງໂຄງສ້າງ, ເຊິ່ງໃນທີ່ສຸດຈະຊ່ວຍໃນການຜະລິດກ້າວຫນ້າຂອງແຜນທີ່ໂຄງສ້າງ. 

ຮູບແບບເລີ່ມຕົ້ນສ້າງໂຄງສ້າງຂອງພາກພື້ນທີ່ເບິ່ງເຫັນດ້ວຍມຸມເບິ່ງກ້ອງຖ່າຍຮູບທີ່ສຸມໃສ່ຕາຫນ່າງ 3D, ແລະສະແດງຕາຫນ່າງ 3D ໄປສູ່ແຜນທີ່ຄວາມເລິກຈາກມຸມເບິ່ງທໍາອິດ. ຮູບແບບຫຼັງຈາກນັ້ນຕົວຢ່າງຮູບພາບໂຄງສ້າງສໍາລັບສະພາບຮູບລັກສະນະແລະສະພາບຄວາມເລິກ. ຫຼັງຈາກນັ້ນ, ຮູບແບບດັ່ງກ່າວຈະກັບຄືນໂຄງການຮູບພາບໃສ່ຕາຫນ່າງ 3D. ສໍາລັບທັດສະນະ, ຮູບແບບ Paint3D ປະຕິບັດວິທີການທີ່ຄ້າຍຄືກັນແຕ່ມີການປ່ຽນແປງເລັກນ້ອຍໂດຍການປະຕິບັດຂະບວນການຕົວຢ່າງໂຄງສ້າງໂດຍໃຊ້ວິທີການແຕ້ມຮູບ. ຍິ່ງໄປກວ່ານັ້ນ, ຮູບແບບດັ່ງກ່າວເອົາພື້ນທີ່ໂຄງສ້າງຈາກມຸມເບິ່ງກ່ອນຫນ້ານີ້ເຂົ້າໄປໃນບັນຊີ, ອະນຸຍາດໃຫ້ຂະບວນການສະແດງບໍ່ພຽງແຕ່ອອກຮູບພາບທີ່ມີຄວາມເລິກ, ແຕ່ຍັງເປັນບາງສ່ວນຂອງຮູບພາບ RGB ສີທີ່ມີຫນ້າກາກທີ່ບໍ່ມີສີໃນມຸມເບິ່ງປະຈຸບັນ. 

ຮູບແບບດັ່ງກ່າວຈະໃຊ້ຮູບແບບການແຕ້ມຮູບທີ່ຮັບຮູ້ຄວາມເລິກດ້ວຍຕົວເຂົ້າລະຫັດ inpainting ເພື່ອຕື່ມໃສ່ພື້ນທີ່ທີ່ບໍ່ມີສີພາຍໃນຮູບພາບ RGB. ຮູບແບບດັ່ງກ່າວຈະສ້າງແຜນທີ່ໂຄງສ້າງຈາກມຸມເບິ່ງໂດຍການສໍາຫຼວດຮູບພາບທີ່ຖືກທາສີເຂົ້າໄປໃນຕາຫນ່າງ 3D ພາຍໃຕ້ມຸມເບິ່ງປະຈຸບັນ, ອະນຸຍາດໃຫ້ຕົວແບບສ້າງແຜນທີ່ໂຄງສ້າງກ້າວຫນ້າ, ແລະມາຮອດແຜນທີ່ໂຄງສ້າງຫຍາບທັງຫມົດ. ສຸດທ້າຍ, ຮູບແບບດັ່ງກ່າວຂະຫຍາຍຂະບວນການຕົວຢ່າງໂຄງສ້າງໄປສູ່ສາກ ຫຼືວັດຖຸທີ່ມີຫຼາຍມຸມເບິ່ງ. ເພື່ອໃຫ້ມີຄວາມສະເພາະຫຼາຍຂຶ້ນ, ຮູບແບບດັ່ງກ່າວໄດ້ໃຊ້ກ້ອງຖ່າຍຮູບຄູ່ເພື່ອບັນທຶກແຜນທີ່ຄວາມເລິກສອງຢ່າງໃນລະຫວ່າງການເກັບຕົວຢ່າງໂຄງສ້າງເບື້ອງຕົ້ນຈາກມຸມເບິ່ງທີ່ສົມມາດ. ຫຼັງຈາກນັ້ນ, ຮູບແບບດັ່ງກ່າວໄດ້ສົມທົບສອງແຜນທີ່ຄວາມເລິກແລະປະກອບຕາຂ່າຍໄຟຟ້າຄວາມເລິກ. ໂມເດວປ່ຽນແທນຮູບພາບຄວາມເລິກດຽວດ້ວຍຕາຂ່າຍຄວາມເລິກເພື່ອປະຕິບັດການເກັບຕົວຢ່າງຄວາມເລິກຫຼາຍມຸມເບິ່ງ. 

ຂັ້ນ​ຕອນ​ທີ 2​: ການ​ປັບ​ຮູບ​ພາບ​ໃນ​ຊ່ອງ UV​

ເຖິງແມ່ນວ່າການປະກົດຕົວຂອງແຜນທີ່ໂຄງສ້າງຫຍາບແມ່ນສົມເຫດສົມຜົນ, ມັນປະເຊີນກັບສິ່ງທ້າທາຍບາງຢ່າງເຊັ່ນ: ຮູໂຄງສ້າງທີ່ເກີດໃນລະຫວ່າງຂະບວນການສະແດງໂດຍການປິດບັງຕົວເອງຫຼືເງົາຟ້າຜ່າຍ້ອນການມີສ່ວນຮ່ວມຂອງຮູບແບບການແຜ່ກະຈາຍຮູບພາບ 2D. ຮູບແບບ Paint3D ມີຈຸດປະສົງເພື່ອປະຕິບັດຂະບວນການແຜ່ກະຈາຍຢູ່ໃນພື້ນທີ່ UV ບົນພື້ນຖານຂອງແຜນທີ່ໂຄງສ້າງຫຍາບ, ພະຍາຍາມຫຼຸດຜ່ອນບັນຫາແລະເສີມຂະຫຍາຍການດຶງດູດສາຍຕາຂອງແຜນທີ່ໂຄງສ້າງເຖິງແມ່ນວ່າໃນໄລຍະການປັບປຸງໂຄງສ້າງ. ຢ່າງໃດກໍຕາມ, ການປັບປຸງຮູບແບບການແຜ່ກະຈາຍຮູບພາບຕົ້ນຕໍກັບແຜນທີ່ໂຄງສ້າງໃນຊ່ອງ UV ແນະນໍາຄວາມບໍ່ຕໍ່ເນື່ອງຂອງໂຄງສ້າງເນື່ອງຈາກແຜນທີ່ໂຄງສ້າງແມ່ນສ້າງຂຶ້ນໂດຍແຜນທີ່ UV ຂອງໂຄງສ້າງຂອງພື້ນຜິວ 3D ທີ່ຕັດໂຄງສ້າງຢ່າງຕໍ່ເນື່ອງເປັນຊຸດຂອງຊິ້ນສ່ວນສ່ວນບຸກຄົນໃນ UV. ຊ່ອງ. ເປັນຜົນມາຈາກການແຕກແຍກ, ຮູບແບບພົບວ່າມັນຍາກທີ່ຈະຮຽນຮູ້ຄວາມສໍາພັນ 3D ທີ່ຢູ່ຕິດກັນລະຫວ່າງຊິ້ນສ່ວນທີ່ນໍາໄປສູ່ບັນຫາຄວາມບໍ່ຕໍ່ເນື່ອງຂອງໂຄງສ້າງ. 

ຮູບແບບດັ່ງກ່າວປັບປຸງແຜນທີ່ໂຄງສ້າງໃນພື້ນທີ່ UV ໂດຍປະຕິບັດຂະບວນການແຜ່ກະຈາຍພາຍໃຕ້ການຊີ້ນໍາຂອງຂໍ້ມູນດ້ານໂຄງສ້າງຂອງຊິ້ນສ່ວນ. ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະສັງເກດວ່າໃນພື້ນທີ່ UV, ມັນແມ່ນແຜນທີ່ຕໍາແຫນ່ງທີ່ສະແດງເຖິງຂໍ້ມູນທີ່ຢູ່ຕິດກັນ 3D ຂອງຊິ້ນສ່ວນໂຄງສ້າງ, ໂດຍຕົວແບບປະຕິບັດແຕ່ລະອົງປະກອບທີ່ບໍ່ແມ່ນພື້ນຫລັງເປັນຈຸດປະສານງານ 3D. ໃນ​ລະ​ຫວ່າງ​ຂະ​ບວນ​ການ​ການ​ແຜ່​ກະ​ຈາຍ​, ຕົວ​ແບບ​ຈະ​ເຊື່ອມ​ຕໍ່​ຂໍ້​ມູນ​ຂ່າວ​ສານ 3D ທີ່​ຕິດ​ກັນ​ໂດຍ​ການ​ເພີ່ມ​ຕົວ​ລະ​ຫັດ​ແຜນ​ທີ່​ຕໍາ​ແຫນ່ງ​ຂອງ​ບຸກ​ຄົນ​ເພື່ອ​ຮູບ​ແບບ​ການ​ແຜ່​ກະ​ຈາຍ​ຮູບ​ພາບ​ທີ່​ໄດ້​ຝຶກ​ອົບ​ຮົມ​. ຕົວເຂົ້າລະຫັດໃຫມ່ຄ້າຍຄືກັບການອອກແບບຂອງກອບ ControlNet ແລະມີສະຖາປັດຕະຍະກໍາດຽວກັນກັບຕົວເຂົ້າລະຫັດທີ່ປະຕິບັດໃນຮູບແບບການແຜ່ກະຈາຍຮູບພາບທີ່ມີຊັ້ນ zero-convolution ເຊື່ອມຕໍ່ທັງສອງ. ນອກຈາກນັ້ນ, ຮູບແບບການແຜ່ກະຈາຍໂຄງສ້າງແມ່ນໄດ້ຮັບການຝຶກອົບຮົມກ່ຽວກັບຊຸດຂໍ້ມູນທີ່ປະກອບດ້ວຍໂຄງສ້າງແລະແຜນທີ່ຕໍາແຫນ່ງ, ແລະຕົວແບບຮຽນຮູ້ທີ່ຈະຄາດຄະເນສິ່ງລົບກວນທີ່ເພີ່ມໃສ່ກັບສິ່ງລົບກວນທີ່ບໍ່ມີສຽງ. ຫຼັງຈາກນັ້ນ, ຮູບແບບດັ່ງກ່າວຈະເພີ່ມປະສິດທິພາບຕົວເຂົ້າລະຫັດຕໍາແຫນ່ງແລະ freezes denoiser ການຝຶກອົບຮົມສໍາລັບວຽກງານການແຜ່ກະຈາຍຮູບພາບຂອງຕົນ. 

ຮູບແບບດັ່ງກ່າວໄດ້ພ້ອມກັນນໍາໃຊ້ຕໍາແຫນ່ງຂອງຕົວເຂົ້າລະຫັດເງື່ອນໄຂແລະຕົວເຂົ້າລະຫັດອື່ນໆເພື່ອປະຕິບັດວຽກງານການປັບປຸງໃຫມ່ໃນພື້ນທີ່ UV. ໃນເລື່ອງນີ້, ຮູບແບບມີຄວາມສາມາດປັບປຸງສອງຢ່າງ: UVHD ຫຼື UV High Definition ແລະການໃສ່ສີ UV. ວິທີການ UVHD ແມ່ນໂຄງສ້າງເພື່ອເສີມຂະຫຍາຍການດຶງດູດສາຍຕາແລະຄວາມງາມຂອງແຜນທີ່ໂຄງສ້າງ. ເພື່ອບັນລຸ UVHD, ຮູບແບບດັ່ງກ່າວໃຊ້ຕົວເຂົ້າລະຫັດປັບປຸງຮູບພາບແລະຕົວເຂົ້າລະຫັດຕໍາແຫນ່ງທີ່ມີຮູບແບບການແຜ່ກະຈາຍ. ຮູບແບບດັ່ງກ່າວໃຊ້ວິທີການໃສ່ສີດ້ວຍ UV ເພື່ອຕື່ມຂໍ້ມູນໃສ່ຮູໂຄງສ້າງພາຍໃນຍົນ UV ທີ່ສາມາດຫຼີກເວັ້ນບັນຫາການປິດບັງຕົນເອງທີ່ສ້າງຂຶ້ນໃນລະຫວ່າງການສະແດງຜົນ. ໃນຂັ້ນຕອນການປັບປຸງ, ຮູບແບບ Paint3D ທໍາອິດປະຕິບັດການໃສ່ສີ UV ແລະຫຼັງຈາກນັ້ນດໍາເນີນການ UVHD ເພື່ອສ້າງແຜນທີ່ໂຄງສ້າງທີ່ຫລອມໂລຫະສຸດທ້າຍ. ໂດຍການລວມເອົາສອງວິທີການປັບປຸງ, ກອບ Paint3D ສາມາດຜະລິດແຜນທີ່ໂຄງສ້າງ UV ທີ່ສົມບູນ, ຫຼາກຫຼາຍຊະນິດ, ຄວາມລະອຽດສູງ, ແລະແສງສະຫວ່າງຫນ້ອຍ. 

Paint3D​: ການ​ທົດ​ລອງ​ແລະ​ຜົນ​ໄດ້​ຮັບ​

ຮູບແບບ Paint3D ຈ້າງງານ ການແຜ່ກະຈາຍຄົງທີ່ ຮູບແບບ text2image ເພື່ອຊ່ວຍມັນກັບວຽກງານການສ້າງໂຄງສ້າງໃນຂະນະທີ່ມັນໃຊ້ອົງປະກອບຕົວເຂົ້າລະຫັດຮູບພາບເພື່ອຈັດການກັບເງື່ອນໄຂຮູບພາບ. ເພື່ອເສີມຂະຫຍາຍການຍຶດຫມັ້ນຂອງຕົນໃນການຄວບຄຸມເງື່ອນໄຂເຊັ່ນ: ການໃສ່ສີຮູບພາບ, ຄວາມເລິກ, ແລະຄວາມລະອຽດສູງຂອງຮູບພາບ, ກອບ Paint3D ຈ້າງຕົວເຂົ້າລະຫັດໂດເມນ ControlNet. ຮູບແບບດັ່ງກ່າວໄດ້ຖືກປະຕິບັດຢູ່ໃນກອບ PyTorch ດ້ວຍການຄາດການແລະໂຄງສ້າງທີ່ປະຕິບັດໃນ Kaolin. 

Text to Textures ການປຽບທຽບ

ເພື່ອວິເຄາະປະສິດທິພາບຂອງມັນ, ພວກເຮົາເລີ່ມຕົ້ນໂດຍການປະເມີນຜົນກະທົບຂອງການສ້າງໂຄງສ້າງຂອງ Paint3D ເມື່ອປັບສະພາບໂດຍໃຊ້ການກະຕຸ້ນຂໍ້ຄວາມ, ແລະປຽບທຽບມັນກັບໂຄງສ້າງຂອງສິນລະປະລວມທັງ Text2Tex, TEXTure, ແລະ LatentPaint. ດັ່ງທີ່ມັນສາມາດສັງເກດເຫັນໄດ້ໃນຮູບຕໍ່ໄປນີ້, ກອບ Paint3D ບໍ່ພຽງແຕ່ດີເລີດໃນການສ້າງລາຍລະອຽດໂຄງສ້າງທີ່ມີຄຸນນະພາບສູງ, ແຕ່ມັນຍັງສັງເຄາະແຜນທີ່ໂຄງສ້າງທີ່ບໍ່ມີແສງສະຫວ່າງຢ່າງສົມເຫດສົມຜົນ. 

ໃນການສົມທຽບ, ໂຄງຮ່າງການທາສີແມ່ນມີຄວາມສ່ຽງທີ່ຈະສ້າງໂຄງສ້າງທີ່ມົວທີ່ສົ່ງຜົນໃຫ້ພາບທີ່ເໝາະສົມທີ່ສຸດ. ໃນທາງກົງກັນຂ້າມ, ເຖິງແມ່ນວ່າໂຄງສ້າງຂອງໂຄງສ້າງຈະສ້າງໂຄງສ້າງທີ່ຊັດເຈນ, ແຕ່ມັນຍັງຂາດຄວາມລຽບແລະສະແດງໃຫ້ເຫັນການເຊື່ອມແລະ seams ທີ່ສັງເກດເຫັນ. ສຸດທ້າຍ, ໂຄງຮ່າງການ Text2Tex ສ້າງໂຄງສ້າງທີ່ລຽບງ່າຍຢ່າງໂດດເດັ່ນ, ແຕ່ມັນບໍ່ສາມາດເຮັດເລື້ມຄືນປະສິດທິພາບສໍາລັບການສ້າງໂຄງສ້າງອັນດີງາມທີ່ມີລາຍລະອຽດທີ່ສັບສົນ. 

ຮູບພາບຕໍ່ໄປນີ້ປຽບທຽບກອບ Paint3D ກັບສະຖານະຂອງກອບສິນລະປະໃນປະລິມານ. 

ຍ້ອນວ່າມັນສາມາດສັງເກດເຫັນໄດ້, ກອບ Paint3D ປະຕິບັດໄດ້ດີກວ່າທຸກແບບທີ່ມີຢູ່, ແລະໂດຍຂອບທີ່ສໍາຄັນທີ່ມີການປັບປຸງເກືອບ 30% ໃນ FID ພື້ນຖານແລະປະມານ 40% ການປັບປຸງໃນພື້ນຖານ KID. ການປັບປຸງຄະແນນພື້ນຖານຂອງ FID ແລະ KID ສະແດງໃຫ້ເຫັນຄວາມສາມາດຂອງ Paint3D ໃນການສ້າງໂຄງສ້າງທີ່ມີຄຸນນະພາບສູງໃນທົ່ວວັດຖຸແລະປະເພດຕ່າງໆ. 

ຮູບພາບຕໍ່ກັບການປຽບທຽບໂຄງສ້າງ

ເພື່ອສ້າງຄວາມສາມາດໃນການສ້າງຂອງ Paint3D ໂດຍໃຊ້ການກະຕຸ້ນສາຍຕາ, ພວກເຮົາໃຊ້ຮູບແບບ TEXTure ເປັນພື້ນຖານ. ດັ່ງທີ່ໄດ້ກ່າວມາກ່ອນ, ຮູບແບບ Paint3D ໃຊ້ຕົວເຂົ້າລະຫັດຮູບພາບທີ່ມາຈາກຮູບແບບ text2image ຈາກ Stable Diffusion. ດັ່ງທີ່ມັນສາມາດເຫັນໄດ້ໃນຮູບພາບຕໍ່ໄປນີ້, ກອບ Paint3D ສັງເຄາະໂຄງສ້າງທີ່ສວຍງາມຢ່າງໂດດເດັ່ນ, ແລະຍັງສາມາດຮັກສາຄວາມຊື່ສັດສູງໃນສະພາບຂອງຮູບພາບ. 

ໃນທາງກົງກັນຂ້າມ, ໂຄງສ້າງ TEXTure ສາມາດສ້າງໂຄງສ້າງທີ່ຄ້າຍຄືກັບ Paint3D, ແຕ່ມັນສັ້ນເພື່ອສະແດງລາຍລະອຽດໂຄງສ້າງໃນສະພາບຮູບພາບຢ່າງຖືກຕ້ອງ. ນອກຈາກນັ້ນ, ດັ່ງທີ່ສະແດງໃຫ້ເຫັນໃນຮູບພາບຕໍ່ໄປນີ້, ກອບ Paint3D ໃຫ້ຄະແນນພື້ນຖານ FID ແລະ KID ທີ່ດີກວ່າເມື່ອປຽບທຽບກັບກອບ TEXTure ກັບອະດີດທີ່ຫຼຸດລົງຈາກ 40.83 ຫາ 26.86 ໃນຂະນະທີ່ອັນສຸດທ້າຍສະແດງໃຫ້ເຫັນການຫຼຸດລົງຈາກ 9.76 ຫາ 4.94. 

ຄວາມຄິດສຸດທ້າຍ

ໃນບົດຄວາມນີ້, ພວກເຮົາໄດ້ສົນທະນາກ່ຽວກັບ Paint3D, ກອບນະວະນິຍາຍທີ່ຫຍາບຄາຍທີ່ມີຄວາມສາມາດຜະລິດແຜນທີ່ໂຄງສ້າງ UV 2K ທີ່ມີແສງສະຫວ່າງຫນ້ອຍ, ມີຄວາມຫຼາກຫຼາຍແລະຄວາມລະອຽດສູງສໍາລັບຕາຫນ່າງ 3D ທີ່ບໍ່ມີໂຄງສ້າງທີ່ມີເງື່ອນໄຂໃນວັດສະດຸທາງພາບຫຼືຂໍ້ຄວາມ. ຈຸດເດັ່ນຕົ້ນຕໍຂອງໂຄງຮ່າງການ Paint3D ແມ່ນວ່າມັນສາມາດສ້າງໂຄງສ້າງ 2K UV ທີ່ມີຄວາມລະອຽດສູງທີ່ມີແສງສະຫວ່າງຫນ້ອຍທີ່ສອດຄ່ອງຕາມຄໍາທີ່ບໍ່ມີເງື່ອນໄຂໃນຮູບພາບຫຼືຂໍ້ຄວາມ. ເນື່ອງຈາກວິທີການທີ່ລະອຽດອ່ອນຂອງມັນ, ກອບຂອງ Paint3D ຜະລິດແຜນທີ່ໂຄງສ້າງທີ່ມີແສງສະຫວ່າງຫນ້ອຍ, ມີຄວາມຫຼາກຫຼາຍ, ແລະຄວາມລະອຽດສູງ, ແລະໃຫ້ປະສິດທິພາບທີ່ດີກວ່າຂອງກອບສິນລະປະໃນປະຈຸບັນ.