Kesehatan
Estimasi Pose Manusia AI dalam Aplikasi Kebugaran
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Oleh Maksym Tatariants, Insinyur Ilmu Data di MobiDev.
Estimasi pose manusia merujuk pada teknologi – cukup baru, namun berkembang dengan cepat – yang memainkan peran penting dalam aplikasi kebugaran dan tarian, memungkinkan kita untuk meletakkan konten digital di atas dunia nyata.
Secara singkat, konsep estimasi pose manusia adalah teknologi berbasis penglihatan komputer yang dapat mendeteksi dan memproses postur tubuh manusia. Bagian paling penting dan sentral dari teknologi ini adalah pemodelan tubuh manusia. Tiga model tubuh yang paling menonjol dalam sistem estimasi pose manusia saat ini adalah model berbasis kerangka, kontur, dan volume.
Model Berbasis Kerangka
Model ini terdiri dari serangkaian sendi (titik kunci), seperti lutut, pergelangan kaki, pergelangan tangan, siku, bahu, dan orientasi anggota tubuh. Model ini terkenal karena fleksibilitasnya, dan oleh karena itu cocok untuk estimasi pose manusia 3-dimensi dan 2-dimensi. Dengan pemodelan 3-dimensi, solusi menggunakan gambar RGB dan menemukan koordinat X, Y, dan Z dari sendi. Dengan pemodelan 2-dimensi, analisisnya sama dengan gambar RGB, tetapi menggunakan koordinat X dan Y.
Model Berbasis Kontur
Model ini menggunakan kontur tubuh dan anggota tubuh, serta lebar kasarnya. Di sini, solusi mengambil siluet kerangka tubuh dan menggambar bagian tubuh sebagai persegi panjang dan batasan dalam kerangka tersebut.
Model Berbasis Volume
Model ini umumnya menggunakan serangkaian pemindaian 3-dimensi untuk menangkap bentuk tubuh dan mengubahnya menjadi kerangka bentuk dan jaring geometris. Bentuk-bentuk ini menciptakan serangkaian pose dan representasi tubuh 3-dimensi.
Bagaimana Estimasi Pose Manusia 3D Bekerja
Aplikasi kebugaran cenderung mengandalkan estimasi pose manusia 3-dimensi. Untuk aplikasi ini, semakin banyak informasi tentang pose manusia, semakin baik. Dengan teknik ini, pengguna aplikasi akan merekam diri mereka sendiri melakukan latihan atau rutinitas olahraga. Aplikasi kemudian menganalisis gerakan tubuh pengguna, menawarkan koreksi untuk kesalahan atau ketidakakuratan.
Diagram alur aplikasi ini biasanya mengikuti pola berikut:
- Pertama, kumpulkan data tentang gerakan pengguna saat mereka melakukan latihan.
- Kedua, tentukan seberapa benar atau salah gerakan pengguna.
- Terakhir, tunjukkan pengguna melalui antarmuka apa kesalahan yang mungkin mereka buat.
Saat ini, standar dalam teknologi pose manusia adalah topologi COCO. Topologi COCO terdiri dari 17 titik kunci di seluruh tubuh, mulai dari wajah hingga lengan hingga kaki. Perlu diingat bahwa COCO bukanlah satu-satunya kerangka pose tubuh manusia, melainkan yang paling umum digunakan.
Proses ini biasanya menggunakan teknologi pembelajaran mesin dalam untuk mengekstrak sendi dalam memperkirakan pose pengguna. Kemudian, ia menggunakan algoritma berbasis geometri untuk memahami apa yang ditemukannya (menganalisis posisi relatif dari sendi yang terdeteksi). Saat menggunakan video dinamis sebagai data sumber, sistem dapat menggunakan serangkaian bingkai, bukan hanya satu gambar, untuk menangkap titik kuncinya. Hasilnya adalah representasi yang jauh lebih akurat dari gerakan nyata pengguna karena sistem dapat menggunakan informasi dari bingkai yang berdekatan untuk menyelesaikan ketidakpastian tentang posisi tubuh manusia dalam bingkai saat ini.
Dari teknik saat ini untuk menggunakan estimasi pose 3D dalam aplikasi kebugaran, pendekatan yang paling akurat adalah menerapkan model untuk mendeteksi titik kunci 2D dan kemudian memproses deteksi 2D dengan model lain untuk mengubahnya menjadi prediksi titik kunci 3D.
Dalam penelitian yang kami posting baru-baru ini, sumber video tunggal digunakan, dengan jaringan saraf konvolusional dengan konvolusi temporal yang diperluas diterapkan untuk melakukan konversi titik kunci 2D-3D.
Setelah menganalisis model yang ada saat ini, kami menentukan bahwa VideoPose3D adalah solusi yang paling sesuai dengan kebutuhan aplikasi kebugaran yang didorong AI. Input menggunakan sistem ini harus memungkinkan deteksi titik kunci 2D, di mana model yang sudah dilatih sebelumnya pada dataset COCO 2017 diterapkan sebagai detektor 2D.
Untuk prediksi yang paling akurat tentang posisi sendi atau titik kunci saat ini, VideoPose3D dapat menggunakan beberapa bingkai selama urutan waktu singkat untuk menghasilkan informasi pose 2D.
Untuk lebih meningkatkan akurasi estimasi pose 3D, lebih dari satu kamera dapat mengumpulkan pandangan alternatif dari pengguna yang melakukan latihan atau rutinitas yang sama. Perlu diingat, bagaimanapun, bahwa ini memerlukan daya pengolahan yang lebih besar serta arsitektur model khusus untuk menangani input aliran video multiple.
Baru-baru ini, Google (GOOGL ) memperkenalkan sistem BlazePose, model berbasis perangkat mobile untuk memperkirakan pose manusia dengan meningkatkan jumlah titik kunci yang dianalisis menjadi 33, himpunan superset dari titik kunci COCO dan dua topologi lainnya – BlazePalm dan BlazeFace. Sebagai hasilnya, model BlazePose dapat menghasilkan hasil prediksi pose yang konsisten dengan model tangan dan wajah dengan mengartikulasikan semantik tubuh.
Setiap komponen dalam sistem estimasi pose manusia berbasis pembelajaran mesin perlu cepat, membutuhkan waktu maksimal beberapa milidetik per bingkai untuk model deteksi dan pelacakan pose.
Karena pipa BlazePose (yang mencakup komponen estimasi dan pelacakan pose) harus beroperasi pada berbagai perangkat mobile secara real-time, setiap bagian dari pipa tersebut dirancang untuk sangat efisien secara komputasi dan berjalan pada 200-1000 FPS.
Estimasi pose dan pelacakan dalam video di mana tidak diketahui apakah dan di mana orang tersebut hadir biasanya dilakukan dalam dua tahap.
Pada tahap pertama, model deteksi objek dijalankan untuk menemukan kehadiran manusia atau mengidentifikasi ketidakhadirannya. Setelah orang tersebut terdeteksi, modul estimasi pose dapat memproses area yang ditemukan yang berisi orang tersebut dan memprediksi posisi titik kuncinya.
Kelemahan dari setup ini adalah bahwa itu memerlukan model deteksi objek dan estimasi pose untuk berjalan untuk setiap bingkai, yang mengonsumsi sumber daya komputasi ekstra. Namun, penulis BlazePose merancang cara cerdas untuk mengatasi masalah ini dan memanfaatkan utilitas dalam modul deteksi titik kunci lain seperti FaceMesh dan MediaPipe Hand.
Gagasan tersebut adalah bahwa modul deteksi objek (detektor wajah dalam kasus BlazePose) dapat digunakan hanya untuk memulai pelacakan pose pada bingkai pertama, sedangkan pelacakan berikutnya dari orang tersebut dapat dilakukan menggunakan prediksi pose secara eksklusif setelah beberapa penyelarasan pose, parameter yang diprediksi menggunakan model estimasi pose.
Wajah menghasilkan sinyal terkuat tentang posisi tubuh untuk jaringan saraf, sebagai hasil dari varians yang relatif kecil dalam penampilan dan kontras yang tinggi dalam fiturnya. Oleh karena itu, memungkinkan untuk menciptakan sistem deteksi pose yang cepat dan rendah overhead melalui serangkaian asumsi yang dapat dibenarkan yang didasarkan pada gagasan bahwa kepala manusia dapat ditemukan di setiap kasus penggunaan pribadi.
Mengatasi Tantangan Estimasi Pose Manusia
Menggunakan estimasi pose dalam aplikasi kebugaran menghadapi tantangan volume besar dari berbagai pose manusia, misalnya, ratusan asana dalam sebagian besar rutinitas yoga.
Lebih lanjut, tubuh akan terkadang memblokir anggota tubuh tertentu yang ditangkap oleh kamera, pengguna mungkin mengenakan pakaian yang beragam yang mengaburkan fitur tubuh dan penampilan pribadi.
Saat menggunakan model pra-dilatih, perlu diingat bahwa gerakan tubuh yang tidak biasa atau sudut kamera yang aneh dapat menyebabkan kesalahan dalam estimasi pose manusia. Kami dapat memitigasi masalah ini hingga batas tertentu dengan menggunakan data sintetis dari model tubuh manusia 3D, atau dengan melakukan fine-tuning dengan data spesifik untuk domain yang dimaksud.
Kabar baiknya adalah bahwa kita dapat menghindari atau memitigasi sebagian besar kelemahan. Kunci untuk melakukan hal ini adalah memilih data pelatihan dan arsitektur model yang tepat. Selain itu, kecenderungan pengembangan dalam bidang teknologi estimasi pose manusia menunjukkan bahwa beberapa masalah yang kita hadapi sekarang akan kurang relevan dalam beberapa tahun mendatang.
Kata Terakhir
Estimasi pose manusia memiliki berbagai potensi penggunaan di masa depan di luar area aplikasi kebugaran dan pelacakan gerakan manusia, dari permainan hingga animasi hingga Realitas Tambah hingga robotika. Ini tidak mewakili daftar kemungkinan yang lengkap, tetapi menyoroti beberapa area yang paling mungkin di mana estimasi pose manusia akan memberikan kontribusi pada lanskap digital kita.
