Measadh suidheachadh AI ann an tagradh fallaineachd

Le Maksym Tatariants, Einnseanair Saidheans Dàta aig MobiDev.

Tha tuairmse suidheachadh daonna a’ toirt iomradh air teicneòlas – an ìre mhath ùr, ach a’ fàs gu luath – a tha a’ cluich pàirt chudromach ann an cleachdadh fallaineachd agus dannsa, a’ leigeil leinn susbaint didseatach a chur air feadh an t-saoghail fhìor.

Ann an ùine ghoirid, tha bun-bheachd tuairmse suidheachadh daonna na theicneòlas coimpiutair stèidhichte air lèirsinn a tha comasach air suidheachadh daonna a lorg agus a phròiseasadh. Is e am pàirt as cudromaiche agus as cudromaiche den teicneòlas seo modaladh bodhaig an duine. Tha trì modalan bodhaig nas fhollaisiche taobh a-staigh siostaman tuairmse suidheachadh daonna gnàthach - stèidhichte air cnàimhneach, stèidhichte air contour, agus stèidhichte air tomhas-lìonaidh.

Modail stèidhichte air cnàimhneach

Tha am modail seo air a dhèanamh suas de sheata de joints (prìomh phuingean), leithid glùinean, adhbrannan, dùirn, uilleanan, guailnean, agus stiùireadh buill-bodhaig na buidhne. Tha am modail seo sònraichte airson a shùbailteachd, agus mar sin tha e freagarrach airson tuairmse suidheachadh daonna 3-mheudach agus 2-mheudach. Le modaladh 3-mheudach, bidh am fuasgladh a’ cleachdadh ìomhaigh RGB agus a’ lorg co-chomharran X, Y, agus Z nan joints. Le modaladh 2-mheudach, is e an aon sgrùdadh a th’ ann air ìomhaigh RGB, ach a’ cleachdadh co-chomharran X agus Y.

Modail stèidhichte air contour

Bidh am modail seo a’ cleachdadh cumaidhean an torso agus buill-bodhaig a’ chuirp, a bharrachd air an leud garbh aca. An seo, bidh am fuasgladh a 'toirt sgàil-dhealbh frèam a' chuirp agus a 'toirt seachad pàirtean corp mar cheart-cheàrnach agus crìochan taobh a-staigh an fhrèam sin.

Modail stèidhichte air tomhas-lìonaidh

Mar as trice bidh am modail seo a’ cleachdadh sreath de sganaidhean 3-mheudach gus cumadh a’ chuirp a ghlacadh agus ga thionndadh gu frèam de chumaidhean agus mogaill geoimeatrach. Bidh na cumaidhean sin a’ cruthachadh sreath 3D de bheusan agus riochdachaidhean bodhaig.

Mar a tha Measadh Seasamh Daonna 3D ag obair

Tha tagraidhean fallaineachd buailteach a bhith an urra ri tuairmse suidheachadh daonna 3-mheudach. Airson na h-aplacaidean sin, mar as motha de fhiosrachadh mu dheidhinn suidheachadh an duine, ’s ann as fheàrr. Leis an dòigh seo, clàraichidh neach-cleachdaidh an aplacaid iad fhèin a’ gabhail pàirt ann an eacarsaich no eacarsaich. An uairsin nì an aplacaid mion-sgrùdadh air gluasadan bodhaig an neach-cleachdaidh, a’ tabhann ceartachaidhean airson mearachdan no mearachd.

Mar as trice bidh an seòrsa seo de chlàr-sruth app a’ leantainn a’ phàtrain seo:

• An toiseach, cruinnich dàta mu ghluasadan an neach-cleachdaidh fhad ‘s a bhios iad a’ coileanadh an eacarsaich.
• An ath rud, dèan cinnteach dè cho ceart no ceàrr a bha gluasadan an neach-cleachdaidh.
• Mu dheireadh, seall don neach-cleachdaidh tron ​​​​eadar-aghaidh dè na mearachdan a dh’ fhaodadh iad a bhith air a dhèanamh.

An-dràsta, tha an ìre ann an teicneòlas suidheachadh daonna Topology COCO. Tha topology COCO air a dhèanamh suas de 17 comharran-tìre air feadh a’ chuirp, bho aghaidh gu gàirdeanan gu casan. Thoir an aire nach e COCO an aon fhrèam seasamh bodhaig daonna, dìreach am fear as cumanta a chleachdar.

Mar as trice bidh an seòrsa pròiseas seo a’ cleachdadh teicneòlas ionnsachaidh inneal domhainn airson a bhith a’ toirt a-mach joints ann a bhith a’ toirt tuairmse air suidheachadh an neach-cleachdaidh. Bidh e an uairsin a’ cleachdadh algoirmean stèidhichte air geoimeatraidh gus ciall a dhèanamh de na lorgar e (mion-sgrùdadh air suidheachadh dàimheach nan joints a chaidh a lorg). Fhad ‘s a tha e a’ cleachdadh bhidio fiùghantach mar an dàta tùsail aige, faodaidh an siostam sreath de fhrèamaichean a chleachdadh, chan e dìreach aon ìomhaigh, gus na prìomh phuingean aige a ghlacadh. Is e an toradh seo cunntas fada nas cruinne air fìor ghluasadan an neach-cleachdaidh leis gum faod an siostam fiosrachadh a chleachdadh bho na frèaman faisg air làimh gus fuasgladh fhaighinn air mì-chinnt sam bith a thaobh suidheachadh bodhaig an duine san fhrèam gnàthach.

A-mach às na dòighean gnàthach airson tuairmse seasamh 3D a chleachdadh ann an tagraidhean fallaineachd, is e an dòigh as cinntiche modal a chuir an sàs an-toiseach gus prìomh phuingean 2D a lorg agus an uairsin an lorg 2D a phròiseasadh le modail eile gus an tionndadh gu ro-innse prìomh phuingean 3D. 

Anns a rannsachadh chuir sinn a-steach o chionn ghoirid, chaidh aon stòr bhidio a chleachdadh, le lìonraidhean neural connspaideach le convolutions ùineail dilated air an cur an sàs gus an tionndadh prìomh phuing 2D -> 3D a dhèanamh.

Às deidh dhuinn mion-sgrùdadh a dhèanamh air na modalan a tha a-muigh an-dràsta, cho-dhùin sinn gur e VideoPose3D am fuasgladh as fheàrr a rèir feumalachdan a’ mhòr-chuid de thagraidhean fallaineachd air an stiùireadh le AI. Bu chòir don chur-a-steach a tha a’ cleachdadh an t-siostam seo leigeil le seata 2D de phrìomh phuingean a lorg, far a bheil modail, ro-thrèanadh air dàta COCO 2017, air a chur an sàs mar a Lorgaire 2d a. 

Airson an ro-innse as mionaidiche air suidheachadh co-phàirteach no prìomh phuing gnàthach, faodaidh VideoPose3D iomadh frèam a chleachdadh thar ùine ghoirid gus fiosrachadh seasamh 2D a ghineadh. 

Gus tuilleadh àrdachadh a dhèanamh air neo-mhearachdachd tuairmse suidheachadh 3D, faodaidh barrachd air aon chamara seallaidhean eile a chruinneachadh den neach-cleachdaidh a’ coileanadh an aon eacarsaich no cleachdadh. Thoir an aire, ge-tà, gu bheil feum air barrachd cumhachd giollachd a bharrachd air ailtireachd modail sònraichte gus dèiligeadh ri ioma cuir a-steach sruthan bhidio.

O chionn ghoirid, Google fhosgladh an siostam BlazePose aca, modail stèidhichte air inneal gluasadach airson tuairmse a dhèanamh air suidheachadh daonna le bhith ag àrdachadh an àireamh de phrìomh phuingean a chaidh a sgrùdadh gu 33, saobh-chràbhadh de sheata prìomh phuingean COCO agus dà topologies eile - BlazePalm agus BlazeFace. Mar thoradh air an sin, faodaidh modal BlazePose toraidhean ro-innse seasamh a thoirt gu buil a tha co-chosmhail ri modalan làimhe agus modalan aghaidh le bhith a’ cur an cèill semantics bodhaig.

Feumaidh gach pàirt taobh a-staigh siostam tuairmseach suidheachadh daonna stèidhichte air inneal a bhith luath, a’ toirt suas ri dà mhillean-dealainn gach frèam airson modalan lorg agus lorg suidheachadh. 

Leis gu feum loidhne-phìoban BlazePose (a tha a’ toirt a-steach tuairmse suidheachadh agus co-phàirtean tracadh) a bhith ag obair air grunn innealan gluasadach ann an àm fìor, tha gach pàirt fa leth den loidhne-phìoban air a dhealbhadh gus a bhith gu math èifeachdach a thaobh àireamhachadh agus a ruith aig 200-1000 FPS. .

Suidhich tuairmse agus lorg anns a’ bhidio far nach eil fios a bheil agus càite a bheil an neach an làthair mar as trice air a dhèanamh ann an dà ìre. 

Aig a’ chiad ìre, thathas a’ ruith modal lorg nithean gus làthaireachd duine a lorg no gus nach eil iad ann. Às deidh don neach a bhith air a lorg, faodaidh am modal tuairmse suidheachadh an raon ionadail anns a bheil an neach a phròiseasadh agus suidheachadh nam prìomh phuingean a ro-innse.

Is e aon eas-bhuannachd den t-suidheachadh seo gu bheil e a’ feumachdainn an dà chuid lorg nithean agus modalan tuairmseachaidh seasamh airson a h-uile frèam a bhios ag ithe goireasan coimpiutaireachd a bharrachd. Ach, dhealbhaich ùghdaran an BlazePose dòigh mhath air faighinn timcheall air a’ chùis seo agus a chleachdadh gu h-èifeachdach ann am modalan lorg prìomh phuingean eile leithid Aodann Mesh agus MediaPipe Làmh.

Is e a’ bheachd nach urrainnear modal lorg nithean (lorgaire aghaidh ann an cùis BlazePose) a chleachdadh ach airson lorg an t-suidheachaidh a thòiseachadh sa chiad fhrèam fhad ‘s as urrainnear an neach a leantainn às deidh sin le bhith a’ cleachdadh dìreach na ro-innsean seasamh às deidh beagan co-thaobhadh seasamh, paramadairean air an ro-innse a’ cleachdadh a’ mhodail tuairmse suidheachadh.

Bidh an aghaidh a’ toirt a-mach an comharra as làidire a thaobh suidheachadh an torso airson an lìonra neural, mar thoradh air an eadar-dhealachadh coimeasach beag ann an coltas agus iomsgaradh àrd anns na feartan aige. Mar thoradh air an sin, tha e comasach siostam luath, ìosal os cionn a chruthachadh airson suidheachadh a lorg tro shreath de bharailean reusanta stèidhichte air a’ bheachd gum bi an ceann daonna so-ruigsinneach anns a h-uile cùis cleachdaidh pearsanta.

A’ faighinn thairis air dùbhlain a thaobh tuairmse suidheachadh daonna

Tha a bhith a’ dèanamh feum de mheasadh seasamh ann an aplacaidean fallaineachd mu choinneimh an dùbhlain a th’ ann a thaobh na tha de raon de dhaoine, mar eisimpleir, na ceudan de asanas anns a’ mhòr-chuid de riaghailtean yoga. 

A bharrachd air an sin, uaireannan cuiridh am bodhaig casg air buill-bodhaig sònraichte mar a thèid an glacadh le camara sònraichte, faodaidh luchd-cleachdaidh aodach eadar-dhealaichte a chaitheamh a’ falach feartan bodhaig agus coltas pearsanta.

Fhad ‘s a tha thu a’ cleachdadh mhodalan ro-thrèanadh sam bith, thoir an aire gum faod gluasadan bodhaig neo-àbhaisteach no ceàrnan camara neònach leantainn gu mearachdan ann an tuairmse suidheachadh daonna. Is urrainn dhuinn an duilgheadas seo a lasachadh gu ìre le bhith a’ cleachdadh dàta synthetigeach bho chuibhreann bodhaig daonna 3D, no le bhith a’ gleusadh dàta a tha sònraichte don raon sin.

Is e an deagh naidheachd gun urrainn dhuinn a’ mhòr-chuid de laigsean a sheachnadh no a lasachadh. Is e an rud as cudromaiche airson seo a dhèanamh a bhith a’ taghadh an dàta trèanaidh ceart agus ailtireachd modail. A bharrachd air an sin, tha claonadh leasachaidh ann an raon teicneòlas tuairmse suidheachadh daonna a’ nochdadh nach bi cuid de na cùisean a tha romhainn a-nis cho buntainneach anns na bliadhnaichean ri teachd.

Am facal mu dheireadh

Tha measadh suidheachadh daonna a’ cumail grunn chleachdaidhean a dh’ fhaodadh a bhith ann san àm ri teachd taobh a-muigh raon aplacaidean fallaineachd agus cumail sùil air gluasadan daonna, bho gheamannan gu beòthalachd gu Augmented Reality gu robotics. Chan eil sin a’ riochdachadh liosta iomlan de na cothroman ach tha e a’ soilleireachadh cuid de na raointean as coltaiche far an cuir tuairmse air suidheachadh daonna ri ar cruth-tìre didseatach.