Sağlık
İnsan Poz Estimasyonu ve Fitness Uygulamaları
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Maksym Tatariants, MobiDev’de Veri Bilimcisi Mühendisi.
İnsan poz estimasyonu, fitness ve dans uygulamalarında önemli bir rol oynayan, hızlı bir şekilde gelişen bir teknolojidir. Bu teknoloji, dijital içeriği gerçek dünya üzerinde yerleştirerek bize olanak sağlar.
Kısaca, insan poz estimasyonu kavramı, insan duruşunu tespit ve işleyebilen bir bilgisayar vizyonu tabanlı teknolojidir. Bu teknolojinin en önemli ve merkezi kısmı, insan vücudu modellemesidir. Mevcut insan poz estimasyonu sistemlerinde üç vücut modeli öne çıkıyor: iskelet tabanlı, kontur tabanlı ve hacim tabanlı.
İskelet Tabanlı Model
Bu model, dizler, bilekler, dirsekler, omuzlar ve vücudun uzuvlarının yönü gibi eklemlerden (anahtar noktalar) oluşur. Bu model, esnekliği nedeniyle hem 3 boyutlu hem de 2 boyutlu insan poz estimasyonu için uygundur. 3 boyutlu modelleme ile çözüm, bir RGB görüntüsünü kullanır ve eklemlerin X, Y ve Z koordinatlarını bulur. 2 boyutlu modelleme ile aynı analiz, ancak yalnızca X ve Y koordinatlarını kullanarak yapılır.
Kontur Tabanlı Model
Bu model, gövde ve uzuvların konturlarını ve yaklaşık genişliklerini kullanır. Burada, çözüm, vücut çerçevesinin silüetini alır ve vücut parçalarını bu çerçevede dikdörtgenler ve sınırlar olarak işler.
Hacim Tabanlı Model
Bu model, genellikle vücut şeklini yakalamak için 3 boyutlu taramaların bir dizi kullanır ve bunları şekiller ve geometrik ağlardan oluşan bir çerçeveye dönüştürür. Bu şekiller, 3 boyutlu bir dizi poz ve vücut temsili oluşturur.
3D İnsan Poz Estimasyonu Nasıl Çalışır
Fitness uygulamaları genellikle 3 boyutlu insan poz estimasyonuna dayanır. Bu uygulamalar için, insan pozuna ilişkin ne kadar çok bilgi varsa, o kadar iyidir. Bu teknikle, uygulama kullanıcısı, bir egzersiz veya antrenman rutini yaparken kendini kaydeder. Uygulama daha sonra kullanıcının vücut hareketlerini analiz eder ve hatalar veya yanlışlıklar için düzeltmeler önerir.
Bu tür bir uygulamanın akış şeması genellikle aşağıdaki patterni takip eder:
- İlk olarak, kullanıcı egzersiz yaparken hareketlerini veri olarak toplar.
- Sonra, kullanıcının hareketlerinin ne kadar doğru veya yanlış olduğunu belirler.
- Son olarak, kullanıcıya arayüz aracılığıyla yaptığı hataları gösterir.
Şu anda, insan poz teknolojisindeki standart COCO topolojisi. COCO topolojisi, yüzden kollara ve bacaklara kadar vücudun 17 ayrıntısını içerir. COCO, tek insan vücut poz frameworkü değil, ancak en çok kullanılanıdır.
Bu tür bir işlem genellikle, eklemlerin çıkarılması için derin makine öğrenimi teknolojisini ve geometri tabanlı algoritmaları kullanır. Bir dizi kareyi kaynak veri olarak alan sistem, tek bir görüntü yerine, eklemlerin konumunu belirlemek için bu kareleri kullanabilir.
3D poz estimasyonunu fitness uygulamalarında kullanmak için mevcut tekniklerden en doğru yaklaşım, önce 2D anahtar noktaları tespit etmek için bir model uygulamak ve daha sonra bu 2D tespitleri 3D anahtar noktası tahminlerine dönüştürmek için başka bir model kullanmaktır.
Son araştırmamızda, tek bir video kaynağı kullanıldı ve 2D’den 3D anahtar noktası dönüşümü için dilate edilmiş zamanlı konvolüsyonlu sinir ağları uygulandı.
Mevcut modelleri analiz ettikten sonra, VideoPose3D’nin çoğu AI destekli fitness uygulamasının ihtiyaçlarına en uygun çözüm olduğunu belirledik. Bu sistem, 2D anahtar noktalarının tespiti için bir modeli kullanır ve daha sonra bu 2D tespitleri 3D anahtar noktası tahminlerine dönüştürür.
VideoPose3D, bir dizi kareyi kullanarak 2D poz bilgisini oluşturabilir ve daha sonra 3D poz estimasyonunun doğruluğunu artırabilir.
Birden fazla kamera, aynı egzersizi veya rutini yapan kullanıcının farklı açılardan görüntüsünü alarak 3D poz estimasyonunun doğruluğunu artırabilir. Ancak, bu, daha fazla işlem gücü ve özel model mimarisi gerektirir.
Google最近 BlazePose sistemini tanıttı, bu bir mobil cihaz odaklı modeldir ve 33 anahtar noktasını analiz ederek insan pozunu tahmin eder. Bu, COCO anahtar noktası setinin ve iki diğer topolojinin bir üst kümesidir.
Her bir bileşen, bir makine öğrenimi tabanlı insan poz estimasyonu sisteminde hızlı olmalıdır, her kare için en fazla birkaç milisaniye sürebilir. BlazePose pipeline’ı (ki bu, poz estimasyonu ve takip bileşenlerini içerir) çeşitli mobil cihazlarda gerçek zamanlı olarak çalıştırılmalıdır ve her bir parçası da çok hesaplı olmalıdır.
Poz estimasyonu ve video takip, kişinin varlığı veya yokluğu bilinmeyen durumlarda genellikle iki aşamada yapılır.
İlk aşamada, bir nesne tespiti modeli çalıştırılır, insan varlığını veya yokluğunu belirlemek için. Kişi tespit edildikten sonra, poz estimasyonu modülü, kişinin bulunduğu alanı işler ve anahtar noktaların konumunu tahmin edebilir.
Bu kurulumun bir dezavantajı, her kare için hem nesne tespiti hem de poz estimasyonu modüllerinin çalıştırılması gerektiğidir, bu da ek hesaplama kaynakları tüketir. Ancak BlazePose yazarları, bu sorunu aşmak için bir yol buldular ve bunu diğer anahtar nokta tespiti modüllerinde de kullanabilirler.
İnsan poz estimasyonu, fitness uygulamaları ve insan hareketlerinin takibinin ötesinde, oyunlardan animasyona, Artırılmış Gerçeklik’ten robotiğe kadar birçok alanda gelecekteki potansiyel kullanımlara sahiptir. Bu, olanakların tam bir listesini temsil etmez, ancak insan poz estimasyonunun katkıda bulunacağı dijital peyzajın bazı alanlarını vurgular.
İnsan Poz Estimasyonunun Zorluklarını Aşmak
Fitness uygulamalarında poz estimasyonu kullanmak, insan pozlarının muazzam çeşitliliği nedeniyle zorluklarla karşılaşır, örneğin, çoğu yoga rejiminin yüzlerce asanası.
Ayrıca, vücut bazen belirli uzuvları herhangi bir verilen kameraya göre engeller, kullanıcılar çeşitli giysiler giyebilir ve kişisel özellikler gizlenebilir.
Önceden eğitilmiş modelleri kullanırken, alışılmadık vücut hareketleri veya garip kamera açıları insan poz estimasyonunda hatalara neden olabilir. Bu sorunu bir ölçüde, 3D insan vücudu modeli renderinden sentetik veriler kullanarak veya ilgili alan için özel verilerle fine-tuning yaparak azaltabiliriz.
İyi haber, çoğu zayıflığın aşılabilir veya hafifletilebileceği yönündedir. Bunu başarmak için doğru eğitim verilerini ve model mimarisini seçmek anahtardır. Ayrıca, insan poz estimasyonu teknolojisindeki gelişme eğilimi, bazı mevcut sorunların gelecekte daha az önemli olacağını gösterir.
Son Söz
İnsan poz estimasyonu, fitness uygulamaları ve insan hareketlerinin takibinin ötesinde, oyunlardan animasyona, Artırılmış Gerçeklik’ten robotiğe kadar birçok alanda gelecekteki potansiyel kullanımlara sahiptir. Bu, olanakların tam bir listesini temsil etmez, ancak insan poz estimasyonunun katkıda bulunacağı dijital peyzajın bazı alanlarını vurgular.
