Ka Whakawhanakehia e nga Kairangahau te Tauira Rorohiko JL2P ki te Whakamaori i nga Tuhituhi Kiriata ki roto i nga Whakakorikori

Ko nga Kairangahau i Te Whare Wānanga o Carnegie Mellon kua whakawhanakehia he tauira rorohiko e kaha ana ki te whakamaori i nga tuhinga e whakaatu ana i nga nekehanga tinana ki roto i nga pakiwaituhi ngawari kua hangaia e te rorohiko. Ka taea e enei whanaketanga hou te hanga i nga kiriata me etahi atu pakiwaituhi mai i te tauira rorohiko e panui ana i nga tuhinga. 

Kei te ahu whakamua nga kaiputaiao ki te whakamohio i nga rorohiko ki te reo maori me te whakaputa ahua tinana mai i te tuhinga. Ka taea e tenei tauira rorohiko hou te hono i waenga i a raatau. 

Louis-Philippe Morency, he ahorangi tuarua i roto i te Te Whare Hangarau Reo (LTI), me Chaitanya Ahuja, he LTI Ph.D. te tauira, kua whakamahi i te hoahoanga neural e kiia nei Reo-tahi-ki-Pose (JL2P). Ka taea e te tauira JL2P te whakauru ngatahi i nga rerenga korero me nga nekehanga tinana. Ma tenei ka taea e ia te ako me pehea te hono o te reo ki nga mahi, nga tohu, me nga nekehanga. 

"Ki taku whakaaro kei te timatanga tonu tatou o tenei rangahau, engari mai i te whakatauira, te mohiotanga horihori me te tirohanga ariā, he wa tino whakahihiri," ta Morency. “I tenei wa, e korero ana matou mo te whakakorikori i nga kiripuaki mariko. Ka mutu, ka taea te whakamahi i tenei hononga i waenga i te reo me nga tohu ki nga karetao; ka taea e matou te korero noa ki tetahi karetao kaiawhina whaiaro he aha ta matou e hiahia ana kia mahia.

"Ka taea ano e matou te haere ki tetahi atu huarahi - ma te whakamahi i tenei hononga i waenga i te reo me te hākoritanga kia taea ai e te rorohiko te whakaatu i nga mea kei roto i te ataata," ka tapiritia e ia.

The Joint Language-to-Pose model will be presented by Ahuja on September 19 at the Huihuinga Ao mo te Tirohanga 3D. E tupu taua amuiraa ra i Quebec City, Canada. 

I hangaia te tauira JL2P e te huarahi ako marautanga. Ko te mahi nui tuatahi kia ako te tauira i nga raupapa poto, ngawari. Ka rite tera ki te "He tangata haere whakamua." Katahi ka neke atu ki nga raupapa roa me te uaua penei "Ka hikoi te tangata ki mua, ka huri, ka anga whakamua ano," "Ka peke te tangata i runga i te arai i a ia e oma ana." 

I te wa e whakamahi ana te tauira i nga raupapa, ka titiro ki nga kupumahi me nga kupu whakarite. Ko enei e whakaatu ana i te mahi me te tere/tere o te mahi. Na, ka titiro ki nga kupu ingoa me nga kupu ahua e whakaatu ana i nga waahi me nga ahunga. E ai ki a Ahuja, ko te whainga mutunga mo te tauira ko te whakakorikori i nga raupapatanga uaua me nga mahi maha e puta ana i te wa kotahi, i te raupapa ranei. 

I tenei wa, he iti noa nga pakiwaituhi ki nga ahua piri, engari kei te haere tonu nga kaiputaiao ki te whakawhanake i te tauira. Ko tetahi o nga raruraru ka ara ake ko te korero a Morency, he maha nga mea e puta ana i te wa kotahi. Ko etahi o enei ka puta i roto i nga raupapa ngawari. 

"Ko te tukutahi i waenga i nga wahanga tinana he mea tino nui," ko ta Morency. "I nga wa katoa ka nekehia e koe o waewae, ka nekehia ano e koe o ringaringa, to rama me to upoko pea. Me ruruku e nga whakakorikori tinana enei waahanga rereke, i te wa ano ka tutuki nga mahi uaua. He wero, he whakahihiri hoki te kawe i nga korero reo ki roto i tenei taiao hākoritanga uaua. He huarahi tenei kia pai ake te mohio ki te korero me nga tohu."

Mena ka taea e te tauira Hononga-Reo-to-Pose te whakawhanake ki te waahi ka taea e ia te hanga pakiwaituhi matatini me nga mahi i runga i te reo, he nui nga mea ka taea. Ehara i te mea ka taea anake te whakamahi i nga waahi penei i te kiriata me te pakiwaituhi, engari ka awhina ano hoki ki te arahi ki nga whanaketanga o te mohio ki te korero me nga tohu. 

Ka huri ki te mohio hangai, ka taea te whakamahi i tenei tauira JL2P ki nga karetao. Hei tauira, ka taea e nga karetao te whakahaere me te korero me aha, ka mohio ratou ki te reo me te whakautu tika. 

Ko enei whanaketanga hou ka pa ki nga momo waahanga maha, ka kaha ake te mohio o te tauira ki te reo uaua.