Di Serîlêdana Fitnessê de Texmîna Pozê AI

Ji hêla Maksym Tatariants, Endezyarê Zanistiya Daneyên li MobiDev.

Texmîna pozê mirovî behsa teknolojiyekê dike - pir nû, di heman demê de zû pêş dikeve - ku di sepanên fitness û dansê de rolek girîng dileyze, ku destûrê dide me ku em naveroka dîjîtal li cîhana rastîn bi cih bikin.

Bi kurtasî, têgeha texmînkirina pozê mirov teknolojiyek-bingeha dîtina komputerê ye ku dikare pozîsyona mirovî kifş bike û pêvajoyê bike. Beşa herî girîng û navendî ya vê teknolojiyê modelkirina laşê mirovan e. Sê modelên laş di nav pergalên texmînkirina pozîsyona mirovî ya heyî de herî berbiçav in - li ser bingeha îskeletê, li ser bingeha konturê, û li ser bingehê volume.

Modela-based skeleton

Ev model ji komek movikan (xalên sereke) pêk tê, wek çokan, paldank, dest, mil, mil û arastekirina lingên laş. Ev model ji ber nermbûna xwe balkêş e, û ji ber vê yekê hem ji bo texmînkirina pozîsyona mirovî ya 3-alî û hem jî 2-alî ye. Bi modela 3-dimensî re, çareserî wêneyek RGB bikar tîne û hevrêzên X, Y, û Z-ê dibîne. Bi modela 2-alî, ew heman analîzkirina wêneyek RGB ye, lê hevrêzên X û Y bikar tîne.

Modela-based Contour

Ev model ji xêzên torso û lingên laş, û hem jî berfirehiya wan a hişk bikar tîne. Li vir, çareserî silhoueta çarçoweya laş digire û parçeyên laş wekî çargoşe û sînoran di wê çarçoveyê de vedibêje.

Modela-based Volume

Ev model bi gelemperî rêzek skanên 3-alî bikar tîne da ku şeklê laş bigire û wê vediguherîne çarçoveyek şekil û tevnên geometrîkî. Van şikilan rêzek 3D ya poz û nûnerên laş diafirînin.

Texmîna Pozê Mirovan a 3D Çawa Kar dike

Serlêdanên fitnessê meyldar in ku xwe bispêrin texmîna pozîsyona mirovî ya 3-alî. Ji bo van sepanan, bêtir agahdarî li ser poza mirovan, çêtir e. Bi vê teknîkê, bikarhênerê sepanê dê xwe tomar bike ku beşdarî werzîşek an rûtînek xebatê dibe. Dûv re sepan dê tevgerên laşê bikarhêner analîz bike, ji bo xeletî an xeletiyan sererastkirin pêşkêşî dike.

Ev celeb nexşeya sepanê bi gelemperî vê şêwazê dişopîne:

• Pêşîn, dema ku ew werzîşê dikin daneyan li ser tevgerên bikarhêner berhev bikin.
• Dûv re, diyar bikin ka tevgerên bikarhêner çiqas rast an nerast bûn.
• Di dawiyê de, bikarhêner bi navbeynkariyê nîşan bide ka ew çi xeletî kirine.

Rast e, standarda di teknolojiya poza mirovan de ye Topolojiya COCO. Topolojiya COCO ji 17 nîşanan li seranserê laş pêk tê, ji rû bigire heya destan bigire heya lingan. Bala xwe bidinê ku COCO ne tenê çarçoweya pozê laşê mirovî ye, tenê ya ku herî zêde tê bikar anîn.

Ev celeb pêvajo bi gelemperî teknolojiya fêrbûna makîneya kûr ji bo derxistina hevokan di texmînkirina pozîsyona bikarhêner de bikar tîne. Dûv re ew algorîtmayên geometrî-based bi kar tîne da ku tiştê ku ew dîtiye fêm bike (helwestên têkildar ên girêkên hatine tespîtkirin analîz bike). Dema ku vîdyoyek dînamîkî wekî daneya çavkaniya xwe bikar tîne, pergal dikare rêze çarçoweyan bikar bîne, ne tenê wêneyek yek, da ku xalên xwe bigire. Encam ji tevgerên rastîn ên bikarhêner re vegotinek pir rasttir e ji ber ku pergal dikare agahdariya ji çarçoveyên cîran bikar bîne da ku nezelaliyên di derbarê pozîsyona laşê mirov di çarçoveya heyî de çareser bike.

Ji nav teknîkên heyî yên ji bo karanîna texmîna pozê 3D di sepanên fitnessê de, nêzîkatiya herî rast ev e ku meriv pêşî modelek bişopîne da ku xalên sereke yên 2D tespît bike û dûv re jî tespîtkirina 2D bi modelek din re pêvajoyê bike da ku wan veguherîne pêşbîniyên xala sereke ya 3D. 

Di lêkolîn me van demên dawîn şand, çavkaniyek vîdyoyek yekane hate bikar anîn, digel torên neuralî yên pevgirêdayî yên ku bi veguheztinên demkî yên dirêjkirî ve têne sepandin da ku veguheztina xala sereke ya 2D -> 3D pêk bînin.

Piştî analîzkirina modelên ku niha li wir derketine, me destnîşan kir ku VideoPose3D çareseriya herî çêtirîn e ku li gorî hewcedariyên piraniya serîlêdanên fitnessê yên AI-ê-rêvekirî ye. Ketina ku vê pergalê bikar tîne divê rê bide ku komek xalên sereke yên 2D were tespît kirin, li ku derê modelek, ku li ser databasa COCO 2017-a pêş-perwerdekirî ye, wekî a Detektorê 2D. 

Ji bo pêşbîniya herî rastîn a pozîsyona hevbeş an xala sereke ya heyî, VideoPose3D dikare di nav rêzek demek kurt de gelek çarçove bikar bîne da ku agahdariya pozê 2D biafirîne. 

Ji bo zêdekirina rastbûna texmîna pozê 3D, zêdetirî yek kamera dikare nêrînên alternatîf ên bikarhênerê ku heman temrîn an rûtîn pêk tîne berhev bike. Lêbelê, bala xwe bidin ku ew hêzek pêvajoyek mezintir û her weha mîmariya modela pispor hewce dike ku bi gelek têketinên weşana vîdyoyê re mijûl bibe.

Vê paşîn, Google veguherin pergala wana BlazePose, modelek cîhaza mobîl-ahengdar e ku ji bo texmînkirina poza mirovan bi zêdekirina hejmara xalên sereke yên analîzkirî heya 33-an, supersetek xala sereke ya COCO û du topolojiyên din - BlazePalm û BlazeFace. Wekî encamek, modela BlazePose dikare bi vegotina semantîkên laş re encamên pêşbîniya pozê ku bi modelên destan û modelên rû re hevaheng çêbike.

Pêdivî ye ku her pêkhateyek di nav pergalek texmînkirina poza mirovan a li ser bingeha fêrbûna makîneyê de bilez be, ji bo vedîtina pozê û modelên şopandinê herî zêde du milî çirkeyan di çarçovê de digire. 

Ji ber vê yekê ku xeta boriya BlazePose (ku tê de pêkhateyên texmînkirina pozê û şopandinê dihewîne) neçar e ku di demek rast de li ser cûrbecûr cîhazên mobîl bixebite, her perçeyek ferdî ya boriyê ji hêla hesabkirinê ve pir bikêrhatî ye û di 200-1000 FPS de dixebite. .

Di vîdyoya ku nayê zanîn ka gelo û li ku derê kes heye bi gelemperî di du qonaxan de nirxandin û şopandin. 

Di qonaxa yekem de, modelek tespîtkirina tiştan tê meşandin da ku hebûna mirovek bibîne an nebûna wan nas bike. Piştî ku mirov hat tesbît kirin, modula texmînkirina pozê dikare qada herêmî ya ku mirov tê de ye bişopîne û pozîsyona xalên sereke pêşbîn bike.

Kêmasiyek vê sazkirinê ev e ku ew hem ji modulên tespîtkirina objektê û hem jî modulên texmîna pozê hewce dike ku ji bo her çarçoveyek ku çavkaniyên hesabker ên zêde dixwe dixe bixebite. Nivîskarên BlazePose, lêbelê, rêgezek jîr ji bo li dora vê pirsgirêkê xêz kirin û wê di modulên din ên tespîtkirina xalên sereke yên wekî FaceMesh û Destê MediaPipe.

Fikir ev e ku modulek tespîtkirina tiştan (di bûyera BlazePose de detektora rû) tenê dikare were bikar anîn da ku şopandina pozê di çarçoveyek yekem de bide destpêkirin dema ku şopandina paşîn a mirov dikare bi taybetî bi karanîna pêşbîniyên pozê piştî hin hevrêzkirina pozê were kirin. Parametreyên ku bi karanîna modela texmîna pozê têne pêşbînî kirin.

Rû sînyala herî xurt di warê pozîsyona torsoyê de ji bo tora neuralî çêdike, wekî encamek cûdahiya piçûktir di xuyangê de û berevajiya bilind di taybetmendiyên wê de. Ji ber vê yekê, gengaz e ku meriv ji bo tespîtkirina pozê pergalek bilez, nizm-serî biafirîne bi navgîniya rêzek texmînên maqûl ên ku di vê ramanê de ne ku serê mirov dê di her doza karanîna kesane de cih bigire.

Serkêşkirina Pirsgirêkên Texmîna Pozê Mirovan

Bikaranîna texmîna pozê di sepanên fitnessê de bi dijwariya qebareya mezin a pozên mirovan re rû bi rû dimîne, mînakî, bi sedan asana di pir rejîmên yogayê de. 

Wekî din, laş carinan dê hin lingan asteng bike ku ji hêla her kamerayek hatî girtin ve hatî girtin, bikarhêner dikarin cil û bergên cihêreng li xwe bikin ku taybetmendiyên laş û awirên kesane vedişêrin.

Dema ku hûn modelên pêş-perwerdekirî bikar tînin, bala xwe bidin ku tevgerên laşê neasayî an qonaxên kamerayê yên xerîb dikarin bibin sedema xeletiyên di nirxandina pozê mirovan de. Em dikarin vê pirsgirêkê heya radeyekê bi karanîna daneyên sentetîk ên ji modela laşê mirovî ya 3D-yê render, an bi hûrgulîkirina daneyên taybetî yên qada navborî kêm bikin.

Mizgîn ev e ku em dikarin piraniya qelsiyan dûr bixin an sivik bikin. Mifteya kirina vê yekê bijartina daneyên perwerdehiya rast û mîmariya modelê ye. Wekî din, meyla pêşkeftinê di warê teknolojiya texmînkirina pozê mirovan de destnîşan dike ku hin pirsgirêkên ku em niha pê re rû bi rû dimînin dê di salên pêş de kêmtir têkildar bin.

Gotina dawî

Texmîna pozê mirovî cûrbecûr karanîna pêşerojên potansiyel ên li derveyî qada sepanên fitness û şopandina tevgerên mirovan digire, ji lîstikê heya anîmasyonê heya Rastiya Zêdekirî heya robotîkê. Ew navnîşek bêkêmasî ya îmkanan temsîl nake lê hin deverên herî muhtemel ên ku texmîna pozê mirovî dê beşdarî perestgeha meya dîjîtal bibe ronî dike.