Bi Fêrbûna Makîneyê Bi Rêbazên Rêvekirinê Tespîtkirina Zayendî

Lekolînwanên ji Romanya pergalek fêrbûna makîneyê pêş xistine ku dikare zayenda mirov ji awayê ku ew dimeşe nas bike, bêyî ku hewcedariya analîzkirina pêkhateyên rû (ku dibe ku veşartî an nepenî bin), û bêyî ku xwe bispêre analîzên silhouete an laşê laş. îşaretên li ser zayendê (ku dikare ji hêla endamên zayendek din ve were 'xapandin').

Di şûna wê de, pergala nû pergalên nîşankirinê yên heyî li ser bingeha van sînyalên domdar (û guhêrbar) bikar tîne da ku taybetmendiyên bingehîn ên ku rêça mêr û jinan ji hev cuda dike nas bike, di encamê de pergalek ku bi bandor zayendî tenê ji tevgerên 'îskeletî' yên kesek nas dike. dimeşin.

Bi bandor, ev nêzîkatiya nû rêyên cihêreng ên ku jin û mêr bêyî ku îşaretên din bişopînin dimeşin hejmartin; lê ji ber ku ew taybetmendiyên din (wek agahdariya rû) bikar tîne da ku di destpêkê de şêwazên rêveçûnê binav bike, lêkolîn vê pirsê vekirî dihêle ka kîjan taybetmendiyên taybetî cinsan dema ku ew dimeşin ji hev vediqetîne.

Rêbaza nû nasnameya zayendî ji modelên analîza rûyê ku di bin sînoran de kar dikin (wek goşeya bikêrhatî ya tixûbdar, û hewcedariya rastkirina databasê) digire. Dûv re pergal taybetmendiyên tevgera hestî wekî nêr an mê destnîşan dike, û ji bo her yekê îmzeyên rêveçûnê yên taybet distîne, rû, cil û çavkaniyên din ên nepêbawer paşguh dike. Çavkanî: https://arxiv.org/pdf/2111.00538.pdf

The nû kaxez bi sernavê From Rû ber bi Gaitê: Fêrbûna Qels-Sonpervised a Agahdariya Zayendî ji Nimûneyên Rêvekirinê, û ji lêkolînerên li Zanîngeha Politehnica li Bucharest tê.

Pergal bi modelên analîza rû re li ser hev pêk tîne, û bi gelemperî ji wan standardan derbas dibe Encama F1 ji sedî 91%, û astek bilind a giştîkirinê pêşkêşî senaryoyên nû dike, di nav de cûrbecûr nêrîn û şert û mercên ku dê bi gelemperî bandoriya pergalên naskirina zayendî ya rû-bingeh an jî mîna wan asteng bikin. Di nav wan de nerînên rû-veşartî, goşengên ne-pêşî û senaryoya pir tîpîk a dîmenên bi rezîliya kêm, an çavdêriya mirovên ku di hundurê wêneyê de dûr in, hene, ku tenê şêwaza tevgerê wekî nîşanek pêbawer a potansiyel a zayendê dimîne.

Valahiya zayendî

Wekî ku lêkolîner destnîşan dikin, pergalek wusa ji bo çarçoweyên komkirina demografîk potansiyelek mezin heye ku naha ne tenê ji hêla pejirandina maskê ya di binê COVID-ê de, lê di heman demê de ji hêla xerîbên moda û bûyerên ku cil û berg û cil û bergên çêdike jî têne asteng kirin. analîzên silhouete rêbazek nebawer a naskirina zayenda ji dîmenên çavdêriyê.

Di warê çavdêriyê de, meriv bikaribe hemî hedefên potansiyel ên ku li gorî zayenda mijarek armancê naguncin, dikare pêş-pêvajo û hewcedariya bala mirov û makîneyê bi qasî nîvê kêm bike - ji ber ku pergalên nasnameyên heyî bi gelemperî ji bo destnîşankirina rast têkoşîn dikin. zayenda ferdî ya bin çavan.

Ji kaxeza nû: Mînakên cihêreng ên ku pergalên naskirina zayendî têk diçin. Di rêza li jor de, em dibînin ku pergala nû ya gait-analîzê ya lêkolîneran bi etîketa rastîn a wêneyê (M an F) rast li hev dike, di heman demê de analîza rû di heman nimûneyê de têk çû. Di rêza jêrîn de em mînakan dibînin ku amûrên nîşankirinê yên ku ji hêla lêkolîneran ve hatine bikar anîn etîketên zayendî yên 'bi dengdar' (ango nerast) çêkirine. Ji bo li dijî vê yekê, lêkolîner bikar anîn NIVÎSTOKA QÛRŞÛNÎ ('Serastkirina dengî ya îhtîmalî ya dawî-bi-dawî ji bo fêrbûna bi etîketên dengî'), di nav awayên din de.

Bi xwezayî, îhtîmala naskirina zayenda pêbawer bi riya analîza rêveçûnê dibe ku zêde bibe eleqeya heyî di nêzîkatiyên gait-xapandinê de.

Tespîtkirina Zayenda Civakî bi Wekaletê

Ji hêla teorîkî ve gengaz e ku meriv bi vekolînek hişk a daneyên tevgera skeletîkî ya ku bi destan ve hatî rêve kirin bigihîje heman fonksiyona ku ji hêla projeya nû ve hatî bidestxistin. Ger ev yek bihata kirin, îhtîmal e ku projeya nû xwediyê têgihiştinên kûrtir be ka kîjan taybetmendiyên tevgerê herî baş zayendê diyar dike. Lêbelê, nêzîkatiyek wusa pêbaweriyek mezin a çavkaniyan destnîşan dike, û lêkolîner li şûna pergalên heyî (kêm berxwedêr) bikar anîne da ku nîşaneyên pêwîst biafirînin.

Van 'pseudo-etîketan' di derheqê taybetmendiyên rêveçûnê yên li ser bingeha zayendî de têgihiştinek eşkere peyda nakin, lê dihêle ku meriv qalibên meşê li gorî zayendê bi rengek gelemperî gelemperî ku dikare di nav sînorên çavkaniyê de were bidestxistin were fîltrekirin.

Di destpêkê de lêkolîneran 2019 bikar anîn Pêşî View Gait Danûstendina (FVG), ku dijwariya naskirina rêveçûnê ji qonaxek pêşiyê vedigire, ku ji dîmenên paşîn kêmtir nîşanan pêşkêşî dike. Danûstendina nimûneyên rêveçûnê yên bi gelek astengan vedihewîne, wek mînak leza rêveçûna cihêreng, paşxaneya tevlihev, guheztina cihêreng û cûdahiyên di kincan de.

Ji kaxeza FVG ya 2019-an, GaitNet bixweber taybetmendiyên rêveçûnê yên bingehîn ji 'vîdyoya rêveçûnê' fêr dibe, li ser bingeha dîmenên nihêrîna pêşîn, senaryoyek temaşekirina pir caran di kamerayên rûbirûyê gelemperî de. Çavkanî: https://arxiv.org/pdf/1904.04925.pdf

Ji ber ku FVG ne ber bi nasnameya zayendî ve ye, nivîskaran bi destan 226 mijarên di danezanê de bi agahdariya zayendî şîrove kirin da ku rastiya bingehîn ji bo çarçovê pêşve bibin.

Tespîtkirina rû bi navgîniya MTCNN ve hate hêsan kirin, û taybetmendiyên demografîk ji hêla IMDB-WIKI ve hatî destnîşankirin databas. Ji ber ku vekolîna rêveçûnê di dûr û dirêj de ji encamên rûbirû pir bi bandortir e, etîketên dawîn bi navgînek giran a pêbaweriya zayendî ya ku ji qada qutiya sînorkirina rû li gorî pîvanên çarçovê ve hatî peyda kirin. Bi îskelet hatin derxistin AlphaPose, ku her 'bexşînên' potansiyel radike, wek mînak bilindahiya objektîf a mijarê (ya ku di senaryoyên kameraya giştî ya ad hoc de bi taybetî nayê nirxandin).

testkirina

Sîstema li dijî vê hat ceribandin CASIA-B databasa gaitê, nimûneyên mêrên zêde yên di nav databasê de ji bo misogerkirina wekheviya ceribandinê, bi dabeşkirina daneyan ji bo %80 perwerdehiyê û %20 verastkirinê.

Lêkolîneran xebatên xwe yên berê, a tora WildGait (li wêneya jêrîn binêre), da ku wekheviya di navbera rêzikên meşê de hesab bike. Nasnameyên zayendî yên ku berê hatine avakirin, niha bi bandor derbasî vê qonaxa pêvajoya çarçoweyê dibin.

WildGait torgilokek hevedudanî ya Graf-Demî ye ku li ser hejmûna bilind, rêzikên îskeletê yên bixweber şîrovekirî hatine perwerdekirin, ku ji cîhana rastîn, çemên çavdêriyê têne derxistin. Çavkanî: https://arxiv.org/pdf/2105.05528.pdf

Di encamnameyê de, nivîskar diyar dikin ku pergal di warê rastbûna di diyarkirina zayendê de pergalên rû-bingeha herî nûjen li hev dike. Ji ber ku di vîdyoya rêveçûna çavkaniyê de ew qas goşeyên gengaz hene, encam li nav rêzek ji wan nêrînên gengaz têne belav kirin: