AI Pose Estimation in Fitness Application

Na Maksym Tatariants, Raraunga Pūtaiao Engineer i MobiDev.

Ko te whakatau tata a te tangata e pa ana ki te hangarau – he ahua hou, engari he tere te tipu haere – e whai waahi nui ana ki nga tono whakakori tinana me te kanikani, e taea ai e tatou te tuu i nga ihirangi matihiko ki te ao tuuturu.

I te poto, ko te ariā o te whakatau tata te tangata he hangarau hangai-a-rorohiko ka taea te kite me te whakahaere i te tuunga o te tangata. Ko te mea nui me te mea nui o tenei hangarau ko te whakatauira tinana tangata. E toru nga tauira tinana e tino kitea ana i roto i nga punaha whakatau tata o te tangata i naianei - kohi-a-iwi, ko te ahua-a-ringa, me te-rahi.

Tauira Kohiwi

Ko tenei tauira he huinga hononga (nga tohu matua), penei i nga turi, nga pona, nga ringaringa, nga tuke, nga pakihiwi, me te takotoranga o nga peka o te tinana. He mea rongonui tenei tauira mo tona ngawari, na reira e pai ana mo te whakatau tata-a-ahu-3 me te ahua-2. Ma te whakatauira ahu-3, ka whakamahia e te otinga he ahua RGB ka kitea nga hononga 'X, Y, me te Z. Ma te whakatauira ahu-2, he rite tonu te tātaritanga o te ahua RGB, engari ma te whakamahi i nga taunga X me Y.

Tauira-a-ahua

Ka whakamahia e tenei tauira te ahua o te rama me nga peka o te tinana, me te whanui taratara. I konei, ka tangohia e te otinga te ahua o te anga tinana, ka huri i nga wahanga tinana hei tapawha me nga rohe i roto i taua anga.

Tauira i runga i te rōrahi

I te nuinga o te waa ka whakamahia e tenei tauira he raupapa matawai ahu-3 hei hopu i te ahua o te tinana ka huri hei anga ahua me nga mata ahuahanga. Ka hangaia e enei ahua he raupapa 3D o nga tuunga me nga whakaaturanga tinana.

Te Mahi Ahu-3-Tangata Whakatau Whakatau

Ko nga tono whakapakari tinana ka whirinaki ki te whakatau tata o te ahua tangata. Mo enei taupānga, ka nui ake nga korero mo te ahua o te tangata, ka pai ake. Ma tenei tikanga, ka tuhi te kaiwhakamahi o te taupānga i a ratou ano e uru ana ki tetahi mahi korikori, mahi whakangungu ranei. Ka tātarihia e te taupānga nga nekehanga tinana o te kaiwhakamahi, ka tuku whakatikatika mo nga he, he he ranei.

Ko tenei momo tūtohi rerenga o te taupānga ka whai i tenei tauira:

• Tuatahi, kohia nga raraunga mo nga nekehanga a te kaiwhakamahi i a raatau e mahi ana.
• Whai muri, whakatauhia te tika, te he ranei o nga nekehanga a te kaiwhakamahi.
• Hei whakamutunga, whakaatu ki te kaiwhakamahi ma te atanga he aha nga hapa i mahia e ratou.

I tenei wa, ko te paerewa i roto i te hangarau pose tangata COCO topology. Ko te topology COCO e 17 nga tohu whenua puta noa i te tinana, mai i te kanohi ki nga ringaringa ki nga waewae. Kia maumahara ehara ko COCO anake te anga hanga tinana tangata, engari ko te mea e whakamahia nuitia ana.

Ko tenei momo mahi ka whakamahi i te hangarau ako miihini hohonu mo te tangohanga o nga hononga hei whakatau tata i te ahua o te kaiwhakamahi. Ka whakamahia e ia nga tohu-a-hangahanga-a-hatepee hei whakamaarama i nga mea e kitea ana (te tātari i nga waahi o nga hononga kua kitea). I a ia e whakamahi ana i te ataata hihiri hei puna raraunga, ka taea e te punaha te whakamahi i te raupapa o nga papa, ehara i te ahua kotahi, hei hopu i ona tohu matua. Ko te hua ko te tino tika o nga nekehanga a te kaiwhakamahi na te mea ka taea e te punaha te whakamahi i nga korero mai i nga papa tata ki te whakatau i nga koretake mo te tuunga o te tinana tangata i roto i te anga o naianei.

Mai i nga tikanga o naianei mo te whakamahi i te whakatau tata 3D i roto i nga tono whakapakari tinana, ko te huarahi tino tika ko te tono tuatahi i tetahi tauira ki te kite i nga tohu matua 2D ka mutu te mahi i te kitenga 2D me tetahi atu tauira hei huri hei matapae tohu matua 3D. 

i roto i te rangahau i panuitia e matou ina tata nei, he puna ataata kotahi i whakamahia, me nga whatunga neural convolutional me nga whakahiatotanga o te waahi kua horahia hei mahi i te hurihanga 2D -> 3D keypoint.

Whai muri i te wetewete i nga tauira kei reira nei, ka whakatauhia e matou ko VideoPose3D te otinga e pai ana ki nga hiahia o te nuinga o nga tono whakapakari tinana a AI. Ko te whakaurunga e whakamahi ana i tenei punaha me tuku he huinga 2D o nga tohu matua kia kitea, i reira he tauira, i whakangungua i mua i te COCO 2017 huingararaunga, ka whakamahia hei a Pūtirotiro 2D. 

Mo te matapae tino tika mo te tuunga o te hononga o naianei, te tohu matua ranei, ka taea e VideoPose3D te whakamahi i nga papa maha mo te wa poto ki te whakaputa korero pose 2D. 

Hei whakanui ake i te tika o te whakatau tata 3D, neke atu i te kotahi te kaamera ka taea te kohikohi i nga tirohanga rereke o te kaiwhakamahi e mahi ana i taua mahi, i nga mahinga ranei. Kia mahara, me nui ake te mana tukatuka tae atu ki te hoahoanga tauira motuhake hei whakahaere i nga whakaurunga rerenga ataata maha.

Inanahi, Google ka wewete Ko ta ratou punaha BlazePose, he tauira e aro ana ki nga taputapu pūkoro mo te whakatau tata i te ahua o te tangata ma te whakanui ake i te maha o nga tohu matua kua tātarihia ki te 33, he huinga matua o te huinga tohu matua COCO me etahi atu waahanga e rua - BlazePalm me BlazeFace. Ko te mutunga, ka taea e te tauira BlazePose te whakaputa i nga hua matapae pose e rite ana ki nga tauira ringa me nga tauira kanohi ma te whakahua i nga tohu o te tinana.

Ko ia waahanga kei roto i te punaha whakatau whakaaro a te tangata e ahu mai ana i te ako-miihini me tere, me te roa o te rua mirimimihekona mo ia anga mo te kimi pose me te whai tauira. 

Na te mea ko te paipa BlazePose (kei roto ko te whakatau tata me nga waahanga aroturuki) me mahi i runga i nga momo taputapu pūkoro i roto i te waa-a-waa, ko ia waahanga takitahi o te paipa i hangaia kia tino pai te rorohiko me te rere i te 200-1000 FPS .

Te whakatau tata me te aroturuki i roto i te ataata kaore i te mohio mena kei te noho te tangata kei te nuinga o nga waa e rua nga waahanga. 

I te wahanga tuatahi, ka whakahaerehia he tauira rapu ahanoa hei kimi i te aroaro o te tangata, hei tohu ranei i te ngaronga. I muri i te kitenga o te tangata, ka taea e te kōwae whakatau whakaaro te whakahaere i te waahi o te rohe kei roto te tangata me te matapae i te waahi o nga tohu matua.

Ko te kino o tenei tatūnga ko te rapunga ahanoa me nga waahanga whakatau tata kia haere mo ia papa e pau ana i nga rauemi taapiri. Ko nga kaituhi o te BlazePose, heoi, i hanga he huarahi mohio ki te whakatika i tenei take me te whakamahi pai i roto i etahi atu waahanga tohu matua penei i te FaceMesh a Ringa MediaPipe.

Ko te whakaaro ka taea te whakamahi i tetahi waahanga rapu ahanoa (te kaitirotiro kanohi i te keehi o BlazePose) ki te timata i te whainga arai i te anga tuatahi ka taea te mahi i te whai i te tangata ma te whakamahi anake i nga matapae pose i muri i etahi tiohanga tuunga, tawhā e matapaetia ana ma te tauira whakatau tata.

Ko te kanohi ka whakaputa i te tohu tino kaha mo te tuunga o te rama mo te whatunga neural, na te iti o te rereketanga o te ahua me te tino rereke o ona ahuatanga. No reira, ka taea te hanga i tetahi punaha tere, iti-i runga ake mo te rapu ahua ma roto i te raupapa o nga whakapae e tika ana i runga i te whakaaro ka kitea te mahunga o te tangata ki ia keehi whakamahi whaiaro.

Te Whakatairanga i nga Wero o te Whakatau Whakatau Tangata

Ko te whakamahi i te whakatau tata i roto i nga kaupapa whakapakari tinana ka pa ki te wero o te nui o te awhe o nga mahi a te tangata, hei tauira, nga rau asana i te nuinga o nga tikanga yoga. 

I tua atu, ka aukati te tinana i etahi wa ka mauhia e tetahi kaamera, ka mau pea nga kaiwhakamahi i nga momo kakahu e whakapouri ana i nga ahuatanga o te tinana me te ahua whaiaro.

I a koe e whakamahi ana i nga tauira kua oti te whakangungu, me mahara ko nga nekehanga tinana rereke, ko nga koki kamera rereke ranei ka arahi he hapa i roto i te whakatau tata o te tangata. Ka taea e tatou te whakaiti i tenei raru ki tetahi waahanga ma te whakamahi i nga raraunga waihanga mai i te tauira tinana tangata 3D, ma te whakatika pai ranei me nga raraunga e pa ana ki te rohe e pa ana.

Ko te rongo pai ka taea e tatou te karo, te whakaiti ranei i te nuinga o nga ngoikoretanga. Ko te mea nui ki te mahi pera ko te kowhiri i nga raraunga whakangungu tika me te hoahoanga tauira. I tua atu, ko te ahua o te whanaketanga i roto i te hangarau whakatau whakaaro tangata e tohu ana ko etahi o nga take e pa ana ki a tatou inaianei ka iti ake te whai tikanga i nga tau kei te heke mai.

Ko te kupu whakamutunga

Ko te whakatau tata o te tangata e pupuri ana i nga momo whakamahinga a meake nei i waho o te waahi o nga mahi whakapakari tinana me te whai i nga nekehanga o te tangata, mai i te petipeti ki te hākoritanga ki te Reality Whakanuia ki te karetao. Karekau tena e tohu i te rarangi katoa o nga mea ka taea engari e whakaatu ana i etahi o nga waahi pea ka whai waahi te whakatau tata a te tangata ki to tatou whenua matihiko.