AI Pose ຄາດຄະເນໃນຄໍາຮ້ອງສະຫມັກການອອກກໍາລັງກາຍ

ໂດຍ Maksym Tatariants, ວິສະວະກອນວິທະຍາສາດຂໍ້ມູນຢູ່ MobiDev.

ການຄາດຄະເນການຕັ້ງຕົວຂອງມະນຸດຫມາຍເຖິງເຕັກໂນໂລຢີ - ຂ້ອນຂ້າງໃຫມ່, ແຕ່ພັດທະນາຢ່າງໄວວາ - ເຊິ່ງມີບົດບາດສໍາຄັນໃນຄໍາຮ້ອງສະຫມັກການອອກກໍາລັງກາຍແລະການເຕັ້ນ, ເຮັດໃຫ້ພວກເຮົາສາມາດວາງເນື້ອຫາດິຈິຕອນຜ່ານໂລກທີ່ແທ້ຈິງ.

ໃນສັ້ນ, ແນວຄວາມຄິດຂອງການຄາດຄະເນການຕັ້ງຕົວຂອງມະນຸດແມ່ນເຕັກໂນໂລຢີທີ່ອີງໃສ່ວິໄສທັດຄອມພິວເຕີສາມາດກວດພົບແລະປຸງແຕ່ງທ່າທາງຂອງມະນຸດ. ສ່ວນທີ່ສໍາຄັນທີ່ສຸດແລະສູນກາງຂອງເຕັກໂນໂລຢີນີ້ແມ່ນການສ້າງແບບຈໍາລອງຮ່າງກາຍຂອງມະນຸດ. ສາມຕົວແບບຂອງຮ່າງກາຍແມ່ນໂດດເດັ່ນທີ່ສຸດໃນລະບົບການປະເມີນການຕັ້ງຕົວຂອງມະນຸດໃນປະຈຸບັນ - ຕາມໂຄງກະດູກ, ຕາມຮູບຊົງ, ແລະລະດັບສຽງ.

ຮູບແບບທີ່ອີງໃສ່ໂຄງກະດູກ

ຮູບແບບນີ້ແມ່ນປະກອບດ້ວຍຊຸດຂອງຂໍ້ຕໍ່ (ຈຸດສໍາຄັນ), ເຊັ່ນ: ຫົວເຂົ່າ, ຂໍ້ຕີນ, ຂໍ້ມື, ສອກ, ບ່າ, ແລະທິດທາງຂອງແຂນຂາຂອງຮ່າງກາຍ. ຮູບແບບນີ້ແມ່ນມີຄວາມໂດດເດັ່ນສໍາລັບຄວາມຍືດຫຍຸ່ນຂອງມັນ, ແລະດັ່ງນັ້ນຈຶ່ງເຫມາະສົມກັບທັງ 3 ມິຕິລະດັບແລະ 2 ມິຕິການຄາດຄະເນຂອງມະນຸດ. ດ້ວຍການສ້າງແບບຈໍາລອງ 3 ມິຕິລະດັບ, ການແກ້ໄຂໃຊ້ຮູບພາບ RGB ແລະຊອກຫາຈຸດປະສານງານ X, Y, ແລະ Z ຂອງຂໍ້ຕໍ່. ດ້ວຍການສ້າງແບບຈໍາລອງ 2 ມິຕິ, ມັນເປັນການວິເຄາະດຽວກັນກັບຮູບພາບ RGB, ແຕ່ໃຊ້ຈຸດປະສານງານ X ແລະ Y.

ຮູບແບບທີ່ອີງໃສ່ Contour

ຮູບແບບນີ້ເຮັດໃຫ້ການນໍາໃຊ້ຂອງ contours ຂອງ torso ແລະປີກຂອງຮ່າງກາຍ, ເຊັ່ນດຽວກັນກັບຄວາມກວ້າງ rough ຂອງເຂົາເຈົ້າ. ທີ່ນີ້, ການແກ້ໄຂໃຊ້ເວລາ silhouette ຂອງກອບຮ່າງກາຍແລະ renders ພາກສ່ວນຂອງຮ່າງກາຍເປັນສີ່ຫລ່ຽມແລະຂອບເຂດໃນກອບດັ່ງກ່າວ.

ຮູບແບບທີ່ອີງໃສ່ປະລິມານ

ຮູບແບບນີ້ໂດຍທົ່ວໄປແລ້ວໃຊ້ຊຸດຂອງການສະແກນ 3 ມິຕິເພື່ອເກັບກໍາຮູບຮ່າງຂອງຮ່າງກາຍແລະປ່ຽນເປັນກອບຂອງຮູບຮ່າງແລະຕາຫນ່າງເລຂາຄະນິດ. ຮູບຮ່າງເຫຼົ່ານີ້ສ້າງຊຸດ 3D ຂອງການ poses ແລະການເປັນຕົວແທນຂອງຮ່າງກາຍ.

ວິທີການຄາດຄະເນ Pose ຂອງມະນຸດ 3D ເຮັດວຽກແນວໃດ

ຄໍາຮ້ອງສະຫມັກການອອກກໍາລັງກາຍມີແນວໂນ້ມທີ່ຈະອີງໃສ່ການຄາດຄະເນ 3 ມິຕິຂອງມະນຸດ. ສໍາລັບແອັບຯເຫຼົ່ານີ້, ຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບລັກສະນະຂອງມະນຸດ, ດີກວ່າ. ດ້ວຍເຕັກນິກນີ້, ຜູ້ໃຊ້ app ຈະບັນທຶກຕົນເອງເຂົ້າຮ່ວມໃນການອອກກໍາລັງກາຍຫຼືອອກກໍາລັງກາຍເປັນປົກກະຕິ. ຫຼັງຈາກນັ້ນ, app ຈະວິເຄາະການເຄື່ອນໄຫວຂອງຮ່າງກາຍຂອງຜູ້ໃຊ້, ສະເຫນີການແກ້ໄຂຄວາມຜິດພາດຫຼືບໍ່ຖືກຕ້ອງ.

ປະເພດຂອງຕາຕະລາງການເຮັດວຽກຂອງ app ນີ້ປົກກະຕິປະຕິບັດຕາມຮູບແບບນີ້:

• ທໍາອິດ, ເກັບກໍາຂໍ້ມູນກ່ຽວກັບການເຄື່ອນໄຫວຂອງຜູ້ໃຊ້ໃນຂະນະທີ່ພວກເຂົາປະຕິບັດການອອກກໍາລັງກາຍ.
• ຕໍ່ໄປ, ກໍານົດວິທີການເຄື່ອນໄຫວຂອງຜູ້ໃຊ້ທີ່ຖືກຕ້ອງຫຼືບໍ່ຖືກຕ້ອງ.
• ສຸດທ້າຍ, ສະແດງໃຫ້ເຫັນຜູ້ໃຊ້ໂດຍຜ່ານການໂຕ້ຕອບສິ່ງທີ່ພວກເຂົາອາດຈະເຮັດຜິດພາດ.

ໃນປັດຈຸບັນ, ມາດຕະຖານໃນເຕັກໂນໂລຊີ pose ຂອງມະນຸດແມ່ນ TOPology COCO. COCO topology ແມ່ນປະກອບດ້ວຍ 17 ຈຸດສໍາຄັນໃນທົ່ວຮ່າງກາຍ, ຕັ້ງແຕ່ໃບຫນ້າໄປຫາແຂນເຖິງຂາ. ໃຫ້ສັງເກດວ່າ COCO ບໍ່ແມ່ນໂຄງຮ່າງການສ້າງຮ່າງກາຍຂອງມະນຸດເທົ່ານັ້ນ, ພຽງແຕ່ເປັນຫນຶ່ງທີ່ໃຊ້ທົ່ວໄປທີ່ສຸດ.

ປະເພດຂອງຂະບວນການນີ້ໂດຍປົກກະຕິເຮັດໃຫ້ການນໍາໃຊ້ເຕັກໂນໂລຊີການຮຽນຮູ້ເຄື່ອງຈັກເລິກສໍາລັບການສະກັດຂໍ້ຕໍ່ໃນການປະເມີນລັກສະນະຂອງຜູ້ໃຊ້. ຫຼັງຈາກນັ້ນ, ມັນໃຊ້ສູດການຄິດໄລ່ທີ່ອີງໃສ່ເລຂາຄະນິດເພື່ອເຮັດໃຫ້ຄວາມຮູ້ສຶກຂອງສິ່ງທີ່ພົບເຫັນ (ວິເຄາະຕໍາແຫນ່ງທີ່ກ່ຽວຂ້ອງຂອງຂໍ້ຕໍ່ທີ່ກວດພົບ). ໃນຂະນະທີ່ໃຊ້ວິດີໂອແບບເຄື່ອນໄຫວເປັນຂໍ້ມູນແຫຼ່ງຂອງມັນ, ລະບົບສາມາດໃຊ້ກອບເປັນຊຸດ, ບໍ່ພຽງແຕ່ຮູບພາບດຽວ, ເພື່ອບັນທຶກຈຸດສໍາຄັນຂອງມັນ. ຜົນໄດ້ຮັບແມ່ນການສະແດງການເຄື່ອນໄຫວທີ່ແທ້ຈິງຂອງຜູ້ໃຊ້ທີ່ຖືກຕ້ອງຫຼາຍກວ່າເກົ່ານັບຕັ້ງແຕ່ລະບົບສາມາດນໍາໃຊ້ຂໍ້ມູນຈາກກອບທີ່ຢູ່ໃກ້ຄຽງເພື່ອແກ້ໄຂຄວາມບໍ່ແນ່ນອນໃດໆກ່ຽວກັບຕໍາແຫນ່ງຂອງຮ່າງກາຍຂອງມະນຸດຢູ່ໃນກອບປະຈຸບັນ.

ອອກຈາກເຕັກນິກໃນປະຈຸບັນສໍາລັບການນໍາໃຊ້ການຄາດຄະເນ 3D pose ໃນຄໍາຮ້ອງສະຫມັກການສອດຄ່ອງກັບ, ວິທີການທີ່ຖືກຕ້ອງທີ່ສຸດແມ່ນການທໍາອິດນໍາໃຊ້ຕົວແບບເພື່ອກວດຫາຈຸດສໍາຄັນ 2D ແລະຫຼັງຈາກນັ້ນປະມວນຜົນການກວດພົບ 2D ກັບຮູບແບບອື່ນເພື່ອປ່ຽນໃຫ້ເຂົາເຈົ້າເຂົ້າໄປໃນການຄາດຄະເນ 3D. 

ໃນ ການຄົ້ນຄວ້າ ພວກເຮົາປະກາດເມື່ອບໍ່ດົນມານີ້, ແຫຼ່ງວິດີໂອອັນດຽວໄດ້ຖືກນໍາໃຊ້, ກັບເຄືອຂ່າຍ neural convolutional ກັບ convolutions temporal dilated ນໍາໃຊ້ເພື່ອປະຕິບັດການແປງ 2D -> 3D keypoint.

ຫຼັງ​ຈາກ​ການ​ວິ​ເຄາະ​ຕົວ​ແບບ​ທີ່​ມີ​ຢູ່​ໃນ​ປັດ​ຈຸ​ບັນ​, ພວກ​ເຮົາ​ໄດ້​ກໍາ​ນົດ​ວ່າ VideoPose3D ເປັນ​ການ​ແກ້​ໄຂ​ທີ່​ເຫມາະ​ສົມ​ທີ່​ດີ​ທີ່​ສຸດ​ກັບ​ຄວາມ​ຕ້ອງ​ການ​ຂອງ​ຄໍາ​ຮ້ອງ​ສະ​ຫມັກ​ການ​ອອກ​ກໍາ​ລັງ​ກາຍ AI ຂັບ​ເຄື່ອນ​ຫຼາຍ​ທີ່​ສຸດ​. ການປ້ອນຂໍ້ມູນໂດຍໃຊ້ລະບົບນີ້ຄວນອະນຸຍາດໃຫ້ກວດພົບຈຸດສຳຄັນ 2D, ບ່ອນທີ່ຕົວແບບ, ການຝຶກອົບຮົມລ່ວງໜ້າກ່ຽວກັບຊຸດຂໍ້ມູນ COCO 2017, ຖືກນຳໃຊ້ເປັນ ເຄື່ອງກວດຈັບ 2 ມິຕິ. 

ສໍາລັບການຄາດຄະເນທີ່ຊັດເຈນທີ່ສຸດຂອງຕໍາແຫນ່ງຂອງຮ່ວມກັນຫຼືຈຸດສໍາຄັນໃນປະຈຸບັນ, VideoPose3D ສາມາດນໍາໃຊ້ກອບຫຼາຍເຟຣມໃນໄລຍະເວລາສັ້ນໆເພື່ອສ້າງຂໍ້ມູນ 2D. 

ເພື່ອເພີ່ມຄວາມຖືກຕ້ອງຂອງການຄາດຄະເນການສ້າງແບບ 3 ມິຕິຕື່ມອີກ, ຫຼາຍກວ່າຫນຶ່ງກ້ອງຖ່າຍຮູບສາມາດລວບລວມທັດສະນະທີ່ສະຫຼັບຂອງຜູ້ໃຊ້ທີ່ປະຕິບັດການອອກກໍາລັງກາຍດຽວກັນຫຼືປົກກະຕິ. ຢ່າງໃດກໍຕາມ, ໃຫ້ສັງເກດວ່າມັນຕ້ອງການພະລັງງານການປຸງແຕ່ງຫຼາຍກວ່າເກົ່າເຊັ່ນດຽວກັນກັບສະຖາປັດຕະຍະກໍາແບບພິເສດເພື່ອຈັດການກັບການປ້ອນຂໍ້ມູນການຖ່າຍທອດວິດີໂອຫຼາຍອັນ.

ບໍ່ດົນມານີ້, Google ເປີດເຜີຍ ລະບົບ BlazePose ຂອງພວກເຂົາ, ຮູບແບບທີ່ເນັ້ນໃສ່ອຸປະກອນມືຖືສໍາລັບການປະເມີນລັກສະນະຂອງມະນຸດໂດຍການເພີ່ມຈໍານວນຈຸດສໍາຄັນທີ່ຖືກວິເຄາະເປັນ 33, ຊຸບເປີເຊດຂອງຈຸດສໍາຄັນຂອງ COCO ແລະສອງ topologies ອື່ນໆ - BlazePalm ແລະ BlazeFace. ດັ່ງນັ້ນ, ຮູບແບບ BlazePose ສາມາດຜະລິດຜົນການຄາດເດົາທີ່ສອດຄ່ອງກັບແບບຈໍາລອງມືແລະຮູບແບບໃບຫນ້າໂດຍການສະແດງຄວາມຫມາຍຂອງຮ່າງກາຍ.

ແຕ່ລະອົງປະກອບພາຍໃນລະບົບການປະເມີນການຕັ້ງຕົວຂອງມະນຸດທີ່ອີງໃສ່ການຮຽນຮູ້ເຄື່ອງຈັກຕ້ອງໄວ, ໃຊ້ເວລາສູງສຸດສອງສາມມິລິວິນາທີຕໍ່ກອບສໍາລັບຕົວແບບການຊອກຄົ້ນຫາ ແລະການຕິດຕາມ. 

ເນື່ອງຈາກຄວາມຈິງທີ່ວ່າທໍ່ BlazePose (ເຊິ່ງປະກອບມີການປະເມີນແລະອົງປະກອບການຕິດຕາມ) ຕ້ອງດໍາເນີນການໃນອຸປະກອນມືຖືທີ່ຫຼາກຫຼາຍໃນເວລາທີ່ແທ້ຈິງ, ແຕ່ລະພາກສ່ວນຂອງທໍ່ໄດ້ຖືກອອກແບບໃຫ້ມີປະສິດທິພາບທາງດ້ານຄອມພິວເຕີ້ຫຼາຍແລະດໍາເນີນການຢູ່ທີ່ 200-1000 FPS. .

ການປະເມີນແລະການຕິດຕາມໃນວິດີໂອທີ່ມັນບໍ່ຮູ້ວ່າບຸກຄົນນັ້ນຢູ່ໃສແລະຢູ່ໃສໂດຍປົກກະຕິແມ່ນເຮັດໃນສອງຂັ້ນຕອນ. 

ໃນຂັ້ນຕອນທໍາອິດ, ຮູບແບບການຊອກຄົ້ນຫາວັດຖຸແມ່ນດໍາເນີນການເພື່ອຊອກຫາການປະກົດຕົວຂອງມະນຸດຫຼືເພື່ອກໍານົດການບໍ່ມີຂອງເຂົາເຈົ້າ. ຫຼັງຈາກບຸກຄົນໄດ້ຖືກກວດພົບ, ໂມດູນການປະເມີນລັກສະນະສາມາດປະມວນຜົນພື້ນທີ່ທ້ອງຖິ່ນທີ່ມີບຸກຄົນແລະຄາດຄະເນຕໍາແຫນ່ງຂອງຈຸດສໍາຄັນ.

ຂໍ້ເສຍຂອງການຕິດຕັ້ງນີ້ແມ່ນວ່າມັນຕ້ອງການທັງການກວດສອບວັດຖຸແລະໂມດູນການຄາດຄະເນເພື່ອດໍາເນີນການສໍາລັບທຸກໆກອບທີ່ບໍລິໂພກຊັບພະຍາກອນຄອມພິວເຕີ້ພິເສດ. ຜູ້ຂຽນຂອງ BlazePose, ແນວໃດກໍ່ຕາມ, ວາງແຜນວິທີການທີ່ສະຫລາດໃນການເຂົ້າຫາບັນຫານີ້ແລະນໍາໃຊ້ມັນຢ່າງມີປະສິດທິພາບໃນໂມດູນການກວດພົບຈຸດສໍາຄັນອື່ນໆເຊັ່ນ: FaceMesh ແລະ MediaPipe Hand.

ແນວຄວາມຄິດແມ່ນວ່າໂມດູນກວດຫາວັດຖຸ (ເຄື່ອງກວດຈັບໃບຫນ້າໃນກໍລະນີຂອງ BlazePose) ສາມາດໃຊ້ພຽງແຕ່ເພື່ອເລີ່ມຕົ້ນການຕິດຕາມ pose ໃນເຟຣມທໍາອິດໃນຂະນະທີ່ການຕິດຕາມບຸກຄົນຕໍ່ມາສາມາດເຮັດໄດ້ໂດຍໃຊ້ສະເພາະການຄາດຄະເນ pose ຫຼັງຈາກການຈັດຕໍາແຫນ່ງບາງ, ຕົວກໍານົດການທີ່ຄາດຄະເນໂດຍໃຊ້ຕົວແບບການຄາດເດົາ.

ໃບຫນ້າຜະລິດສັນຍານທີ່ເຂັ້ມແຂງທີ່ສຸດກ່ຽວກັບຕໍາແຫນ່ງຂອງ torso ສໍາລັບເຄືອຂ່າຍ neural, ເປັນຜົນມາຈາກການປ່ຽນແປງຂ້ອນຂ້າງເລັກນ້ອຍໃນລັກສະນະແລະຄວາມຄົມຊັດສູງໃນລັກສະນະຂອງຕົນ. ດັ່ງນັ້ນ, ມັນເປັນໄປໄດ້ທີ່ຈະສ້າງລະບົບທີ່ໄວ, ຕ່ໍາສຸດສໍາລັບການກວດສອບການຕັ້ງຕົວຕີໂດຍຜ່ານການສົມມຸດຕິຖານທີ່ສົມເຫດສົມຜົນທີ່ມີພື້ນຖານໃນຄວາມຄິດທີ່ວ່າຫົວຂອງມະນຸດຈະຕັ້ງຢູ່ໃນທຸກກໍລະນີການນໍາໃຊ້ສ່ວນບຸກຄົນ.

ເອົາຊະນະສິ່ງທ້າທາຍຂອງການຄາດຄະເນ Pose ຂອງມະນຸດ

ການໃຊ້ການປະເມີນທ່າທາງໃນແອັບຟິດເນສຕ້ອງປະເຊີນກັບຄວາມທ້າທາຍຂອງລະດັບການຕັ້ງຕົວຂອງມະນຸດທີ່ໜ້ອຍທີ່ສຸດ, ຕົວຢ່າງເຊັ່ນ, ຫຼາຍໆຮ້ອຍອາສນາໃນແບບໂຍຄະສ່ວນໃຫຍ່. 

ນອກຈາກນັ້ນ, ບາງຄັ້ງຮ່າງກາຍຈະຂັດຂວາງແຂນຂາບາງຢ່າງທີ່ຈັບໄດ້ໂດຍກ້ອງຖ່າຍຮູບໃດໆ, ຜູ້ໃຊ້ອາດຈະໃສ່ເຄື່ອງນຸ່ງທີ່ຫລາກຫລາຍທີ່ປິດບັງລັກສະນະຂອງຮ່າງກາຍແລະລັກສະນະສ່ວນຕົວ.

ໃນຂະນະທີ່ໃຊ້ຕົວແບບທີ່ໄດ້ຮັບການຝຶກອົບຮົມກ່ອນ, ຈົ່ງສັງເກດວ່າການເຄື່ອນໄຫວຂອງຮ່າງກາຍທີ່ຜິດປົກກະຕິຫຼືມຸມກ້ອງຖ່າຍຮູບທີ່ແປກປະຫຼາດສາມາດນໍາໄປສູ່ການ ຄວາມ​ຜິດ​ພາດ​ໃນ​ການ​ຄາດ​ຄະ​ເນ​ຂອງ​ມະ​ນຸດ​. ພວກເຮົາສາມາດຫຼຸດຜ່ອນບັນຫານີ້ໄດ້ໃນລະດັບໃດຫນຶ່ງໂດຍການນໍາໃຊ້ຂໍ້ມູນສັງເຄາະຈາກການສະແດງຕົວແບບ 3D ຂອງຮ່າງກາຍຂອງມະນຸດ, ຫຼືໂດຍການປັບລະອຽດກັບຂໍ້ມູນສະເພາະຂອງໂດເມນທີ່ມີບັນຫາ.

ຂ່າວດີແມ່ນວ່າພວກເຮົາສາມາດຫຼີກເວັ້ນຫຼືຫຼຸດຜ່ອນຄວາມອ່ອນແອສ່ວນໃຫຍ່. ກຸນແຈທີ່ຈະເຮັດແນວນັ້ນແມ່ນການເລືອກເອົາຂໍ້ມູນການຝຶກອົບຮົມທີ່ຖືກຕ້ອງແລະສະຖາປັດຕະຍະກໍາແບບຈໍາລອງ. ນອກຈາກນັ້ນ, ທ່າອ່ຽງຂອງການພັດທະນາໃນຂົງເຂດເຕັກໂນໂລຢີການຄາດຄະເນການຕັ້ງຕົວຂອງມະນຸດຊີ້ໃຫ້ເຫັນວ່າບາງບັນຫາທີ່ພວກເຮົາປະເຊີນໃນປັດຈຸບັນຈະມີຄວາມກ່ຽວຂ້ອງຫນ້ອຍລົງໃນຊຸມປີຂ້າງຫນ້າ.

ຄຳ ສຸດທ້າຍ

ການຄາດຄະເນການຕັ້ງຕົວຂອງມະນຸດຖືເອົາຄວາມຫລາກຫລາຍຂອງການໃຊ້ໃນອະນາຄົດທີ່ອາດເກີດຂຶ້ນຢູ່ນອກພື້ນທີ່ຂອງແອັບຟິດເນສ ແລະ ການຕິດຕາມການເຄື່ອນໄຫວຂອງມະນຸດ, ຈາກການຫຼິ້ນເກມໄປສູ່ອະນິເມຊັນ ຈົນເຖິງຄວາມເປັນຈິງທີ່ເພີ່ມຂຶ້ນໄປສູ່ຫຸ່ນຍົນ. ນັ້ນບໍ່ໄດ້ສະແດງເຖິງບັນຊີລາຍຊື່ເຕັມຂອງຄວາມເປັນໄປໄດ້ແຕ່ຊີ້ໃຫ້ເຫັນບາງພື້ນທີ່ທີ່ເປັນໄປໄດ້ທີ່ສຸດທີ່ການຄາດຄະເນຂອງມະນຸດຈະປະກອບສ່ວນເຂົ້າໃນພູມສັນຖານດິຈິຕອນຂອງພວກເຮົາ.