Estimasi Pose AI dina Aplikasi Kabugaran

Ku Maksym Tatariants, Insinyur Élmu Data di MobiDev.

Estimasi pose manusa nujul kana hiji téhnologi - cukup anyar, acan ngembang gancang - nu maénkeun bagian signifikan dina kabugaran sarta aplikasi tari, sahingga urang nempatkeun eusi digital leuwih dunya nyata.

Pondokna, konsép estimasi pose manusa nyaéta téknologi berbasis visi komputer anu tiasa ngadeteksi sareng ngolah postur manusa. Bagian anu paling penting sareng sentral tina téknologi ieu nyaéta modél awak manusa. Tilu model awak anu paling menonjol dina sistem estimasi pose manusa ayeuna - dumasar kana rorongkong, dumasar kontur, sareng dumasar volume.

Model basis rorongkong

Modél ieu diwangun ku susunan sendi (keypoints), kayaning tuur, ankles, pigeulang, elbows, taktak, jeung orientasi anggota awak. Modél ieu kasohor pikeun kalenturanna, sareng sapertos kitu cocog pikeun estimasi pose manusa 3 diménsi sareng 2 diménsi. Kalayan modél 3 diménsi, solusina nganggo gambar RGB sareng mendakan koordinat X, Y, sareng Z gabungan. Kalawan modeling 2-dimensi, éta analisis sarua hiji gambar RGB, tapi ngagunakeun koordinat X jeung Y.

Modél basis kontur

Modél ieu ngagunakeun kontur awak sareng anggota awak, ogé lebar kasarna. Di dieu, solusi nyokot silhouette pigura awak sarta ngajadikeun bagian awak salaku rectangles jeung wates dina kerangka éta.

Modél dumasar-volume

Modél ieu umumna ngagunakeun runtuyan scan 3 diménsi pikeun nangkep bentuk awak jeung ngarobahna kana kerangka wangun jeung meshes geometric. Wangun ieu nyiptakeun séri 3D pose sareng perwakilan awak.

Kumaha Estimasi Pos Manusa 3D Gawé

Aplikasi kabugaran condong ngandelkeun estimasi pose manusa 3 diménsi. Pikeun aplikasi ieu, langkung seueur inpormasi ngeunaan pose manusa, langkung saé. Kalayan téknik ieu, pangguna aplikasi bakal ngarékam dirina milu dina latihan atanapi latihan rutin. Aplikasi bakal teras nganalisis gerakan awak pangguna, nawiskeun koréksi pikeun kasalahan atanapi henteu akurat.

Jenis bagan alur aplikasi ieu biasana nuturkeun pola ieu:

• Mimiti, kumpulkeun data ngeunaan gerakan pangguna nalika ngalaksanakeun latihan.
• Salajengna, nangtukeun sabaraha bener atawa salah gerakan pamaké éta.
• Tungtungna, tunjukkeun ka pangguna ngalangkungan antarmuka naon kasalahan anu aranjeunna dilakukeun.

Ayeuna, standar dina téknologi pose manusa nyaéta Topologi COCO. Topologi COCO diwangun ku 17 landmark sakuliah awak, mimitian ti beungeut nepi ka leungeun jeung suku. Catet yén COCO sanés ngan ukur kerangka pose awak manusa, ngan ukur anu paling sering dianggo.

Prosés jinis ieu biasana ngagunakeun téknologi pembelajaran mesin jero pikeun ékstraksi sendi dina estimasi pose pangguna. Éta teras nganggo algoritma dumasar géométri pikeun ngartos naon anu dipendakan (nganalisis posisi relatif tina sendi anu dideteksi). Nalika nganggo pidéo dinamis salaku data sumberna, sistem tiasa nganggo séri pigura, sanés ngan ukur gambar tunggal, pikeun nyandak titik konci na. Hasilna mangrupikeun rendering anu langkung akurat tina gerakan nyata pangguna sabab sistem tiasa nganggo inpormasi tina pigura anu padeukeut pikeun ngabéréskeun kateupastian ngeunaan posisi awak manusa dina pigura ayeuna.

Tina téknik ayeuna pikeun ngagunakeun estimasi pose 3D dina aplikasi kabugaran, pendekatan anu paling akurat nyaéta mimiti nerapkeun modél pikeun ngadeteksi titik konci 2D teras ngolah deteksi 2D sareng modél sanés pikeun ngarobih kana prediksi titik konci 3D. 

dina panalungtikan kami dipasang anyar, sumber video tunggal dipaké, kalawan jaringan neural convolutional kalawan convolutions temporal dilated dilarapkeun pikeun ngalakukeun konversi keypoint 2D -> 3D.

Saatos nganalisa model anu ayeuna aya, kami nangtukeun yén VideoPose3D mangrupikeun solusi anu paling cocog pikeun kabutuhan kalolobaan aplikasi kabugaran anu didorong ku AI. Input anu ngagunakeun sistem ieu kedah ngamungkinkeun sakumpulan titik konci 2D dideteksi, dimana modél, tos dilatih dina COCO 2017 dataset, diterapkeun salaku a detektor 2D. 

Pikeun prediksi anu paling tepat ngeunaan posisi gabungan ayeuna atanapi titik konci, VideoPose3D tiasa nganggo sababaraha pigura dina sekuen waktos anu pondok pikeun ngahasilkeun inpormasi pose 2D. 

Pikeun ningkatkeun katepatan tina estimasi pose 3D, leuwih ti hiji kaméra bisa ngumpulkeun sudut pandang alternatip pamaké ngajalankeun latihan atawa rutin sarua. Catet, kumaha oge, butuh kakuatan pamrosésan anu langkung ageung ogé arsitéktur modél khusus pikeun ngatasi sababaraha input aliran video.

Nembe, Google diumumkeun sistem BlazePose maranéhna, modél alat-berorientasi mobile pikeun estimasi pose manusa ku cara ningkatkeun jumlah keypoints dianalisis ka 33, superset set konci COCO jeung dua topologies séjén - BlazePalm na BlazeFace. Hasilna, modél BlazePose tiasa ngahasilkeun hasil prediksi pose anu konsisten sareng modél leungeun sareng modél wajah ku cara ngucapkeun semantik awak.

Tiap komponén dina sistem estimasi pose manusa dumasar-learning kedah gancang, nyandak maksimum sababaraha milidetik per pigura pikeun deteksi pose jeung model tracking. 

Kusabab kanyataan yén pipa BlazePose (anu kalebet estimasi pose sareng komponén nyukcruk) kedah beroperasi dina rupa-rupa alat sélulér sacara real-time, unggal bagian individu tina pipa dirancang pikeun éfisién pisan sacara komputasi sareng dijalankeun dina 200-1000 FPS. .

Estimasi pose sareng nyukcruk dina pidéo anu henteu dipikanyaho naha sareng dimana jalma éta hadir biasana dilakukeun dina dua tahap. 

Dina tahap kahiji, model deteksi objék dijalankeun pikeun maluruh ayana manusa atawa pikeun ngaidentipikasi henteuna maranéhanana. Saatos jalma éta dideteksi, modul estimasi pose tiasa ngolah daérah anu dilokalkeun anu ngandung jalma éta sareng ngaduga posisi titik konci.

A downside tina setelan ieu nya éta merlukeun duanana deteksi obyék sarta pose modul estimasi ngajalankeun pikeun unggal pigura nu meakeun sumberdaya komputasi tambahan. Panulis BlazePose, kumaha ogé, nyiptakeun cara anu pinter pikeun ngabéréskeun masalah ieu sareng sacara éfisién ngagunakeunana dina modul deteksi titik konci anu sanés sapertos. FaceMesh jeung MediaPipe Leungeun.

Idena nyaéta yén modul deteksi obyék (detektor pameunteu dina kasus BlazePose) ngan ukur tiasa dianggo pikeun ngamimitian ngalacak pose dina pigura anu munggaran, sedengkeun pelacakan saterasna jalma tiasa dilakukeun sacara éksklusif nganggo prediksi pose saatos sababaraha alignment pose, parameter nu diprediksi ngagunakeun model estimasi pose.

Beungeut ngahasilkeun sinyal anu paling kuat ngeunaan posisi awak pikeun jaringan saraf, salaku hasil tina variasi anu kawilang leutik dina penampilan sareng kontras anu luhur dina fiturna. Akibatna, kasebut nyaéta dimungkinkeun pikeun nyieun gancang, sistem low-overhead pikeun deteksi pose ngaliwatan runtuyan asumsi justifiable grounded dina gagasan yén sirah manusa bakal locatable di unggal hal pamakéan pribadi.

Ngungkulan Tantangan Estimasi Pose Manusa

Ngamangpaatkeun estimasi pose dina aplikasi kabugaran nyanghareupan tangtangan tina sajumlah ageung pose manusa, contona, ratusan asana dina kalolobaan regimen yoga. 

Salajengna, awak kadang bakal meungpeuk anggota awak nu tangtu sakumaha direbut ku sagala kaméra dibikeun, pamaké bisa maké outfits variatif obscuring fitur awak jeung penampilan pribadi.

Nalika ngagunakeun modél anu tos dilatih, perhatikeun yén gerakan awak anu teu biasa atanapi sudut kaméra anu anéh tiasa nyababkeun kasalahan dina estimasi pose manusa. Urang tiasa ngirangan masalah ieu dugi ka tingkat anu tangtu ku ngagunakeun data sintétik tina modél awak manusa 3D, atanapi ku cara nyaluyukeun data khusus pikeun domain anu dimaksud.

Warta anu saé nyaéta urang tiasa ngahindarkeun atanapi ngirangan seuseueurna kalemahan. Konci pikeun ngalakukeunana nyaéta milih data pelatihan anu leres sareng arsitéktur modél. Salajengna, kacenderungan ngembangkeun dina widang téhnologi estimasi pose manusa nunjukkeun yén sababaraha isu urang nyanghareupan ayeuna bakal kirang relevan dina taun datang.

Kecap pamungkas

Estimasi pose manusa nyepeng rupa-rupa kagunaan nu bakal datang di luar wewengkon aplikasi kabugaran jeung nyukcruk gerakan manusa, ti kaulinan ka animasi ka Augmented Reality ka robotics. Éta henteu ngagambarkeun daptar lengkep ngeunaan kemungkinan tapi nyorot sababaraha daérah anu paling dipikaresep dimana perkiraan pose manusa bakal nyumbang kana bentang digital urang.