การประมาณค่าโพสท่าทางมนุษย์ด้วย AI ในแอปพลิเคชันฟิตเนส

โดย Maksym Tatariants, วิศวกรวิทยาศาสตร์ข้อมูลที่ MobiDev

การประมาณค่าโพสท่าทางมนุษย์เป็นเทคโนโลยีที่ค่อนข้างใหม่ แต่ก็กำลังพัฒนาอย่างรวดเร็ว ซึ่งกำลังเล่นบทบาทสำคัญในแอปพลิเคชันฟิตเนสและแดนซ์ โดยช่วยให้เราสามารถวางเนื้อหาดิจิทัลไว้เหนือโลกแห่งความเป็นจริงได้

โดยสรุปแนวคิดของการประมาณค่าโพสท่าทางมนุษย์เป็นเทคโนโลยีที่ใช้การมองเห็นของคอมพิวเตอร์ในการตรวจจับและประมวลผลท่าทางของมนุษย์ ส่วนสำคัญที่สุดของเทคโนโลยีนี้คือการสร้างแบบจำลองร่างกายมนุษย์ มีแบบจำลองร่างกายสามแบบที่โดดเด่นที่สุดในระบบการประมาณค่าโพสท่าทางมนุษย์ในปัจจุบัน ได้แก่ แบบจำลองโครงกระดูก แบบจำลองรูปขอบ และแบบจำลองปริมาตร

แบบจำลองโครงกระดูก

แบบจำลองนี้ประกอบด้วยชุดของข้อต่อ (จุดสำคัญ) เช่น เข่า ข้อเท้า ข้อมือ ข้อศอก ข้อไหล่ และทิศทางของส่วนปลายของร่างกาย แบบจำลองนี้มีความยืดหยุ่นสูงและเหมาะสมสำหรับการประมาณค่าโพสท่าทางมนุษย์แบบ 3 มิติและ 2 มิติ

แบบจำลองรูปขอบ

แบบจำลองนี้ใช้รูปขอบของลำตัวและส่วนปลายของร่างกาย以及ความกว้างที่ไม่แน่นอนของส่วนเหล่านั้น โดยที่ระบบจะใช้รูปขอบของร่างกายและแสดงส่วนต่างๆ ของร่างกายในรูปของสี่เหลี่ยมและขอบเขตภายในรูปขอบนั้น

แบบจำลองปริมาตร

แบบจำลองนี้โดยทั่วไปจะใช้การสแกน 3 มิติหลายครั้งเพื่อจับภาพรูปร่างของร่างกายและแปลงเป็นโครงสร้างของรูปทรงและเมชทางเรขาคณิต รูปทรงเหล่านี้สร้างชุดของท่าทางและรูปร่างของร่างกายแบบ 3 มิติ

การทำงานของการประมาณค่าโพสท่าทางมนุษย์ 3 มิติ

แอปพลิเคชันฟิตเนสโดยทั่วไปจะพึ่งพาการประมาณค่าโพสท่าทางมนุษย์ 3 มิติ สำหรับแอปพลิเคชันเหล่านี้ ข้อมูลที่มากขึ้นเกี่ยวกับท่าทางของมนุษย์จะทำให้ดีขึ้น โดยที่ผู้ใช้ของแอปพลิเคชันจะบันทึกตัวเองขณะทำการออกกำลังกายหรือการฝึกซ้อม แอปพลิเคชันจะวิเคราะห์การเคลื่อนไหวของร่างกายของผู้ใช้และให้คำแนะนำแก้ไขข้อผิดพลาดหรือความไม่แม่นยำ

แผนการทำงานของแอปพลิเคชันเหล่านี้โดยทั่วไปจะประกอบด้วยขั้นตอนต่อไปนี้:

• ขั้นแรก คือ การรวบรวมข้อมูลเกี่ยวกับการเคลื่อนไหวของผู้ใช้ขณะทำการออกกำลังกาย
• ขั้นต่อไป คือ การกำหนดความถูกต้องหรือความไม่ถูกต้องของการเคลื่อนไหวของผู้ใช้
• สุดท้าย คือ การแสดงให้ผู้ใช้เห็นทางอินเทอร์เฟซว่าข้อผิดพลาดใดๆ ที่อาจเกิดขึ้น

ในขณะนี้ มาตรฐานในการประมาณค่าโพสท่าทางมนุษย์คือ ท็อปโพลوجี COCO ท็อปโพลوجี COCO ประกอบด้วย 17 จุดสำคัญทั่วร่างกาย ตั้งแต่ใบหน้าไปจนถึงแขนและขา

Source: https://mobidev.biz/blog/human-pose-estimation-ai-personal-fitness-coach

กระบวนการนี้โดยทั่วไปจะใช้เทคโนโลยีการเรียนรู้ของเครื่องแบบลึกในการถอดรหัสข้อต่อในรูปแบบการประมาณค่าโพสท่าทางของผู้ใช้ จากนั้นจึงใช้อัลกอริทึมที่อาศัยเรขาคณิตในการวิเคราะห์ข้อมูลที่พบ (วิเคราะห์ที่ตั้ง tương đốiของข้อต่อที่ตรวจจับได้) เมื่อใช้วิดีโอดินามิกเป็นข้อมูลแหล่งเดียว ระบบสามารถใช้เฟรมหลายเฟรม ไม่ใช่แค่เฟรมเดียว เพื่อจับข้อมูลโพสท่าทาง

วิธีการที่แม่นยำที่สุดในการใช้การประมาณค่าโพสท่าทาง 3 มิติในแอปพลิเคชันฟิตเนสคือ การใช้แบบจำลองในการตรวจจับจุดสำคัญ 2 มิติก่อน แล้วจึงประมวลผลการตรวจจับ 2 มิติด้วยแบบจำลองอื่นเพื่อแปลงเป็นการคาดการณ์จุดสำคัญ 3 มิติ

ใน การวิจัย ที่เราเผยแพร่เมื่อเร็วๆ นี้ ใช้แหล่งวิดีโอต่อเนื่องเดียว โดยใช้เครือข่ายประสาทเทียมแบบโคนโวลูชันแนลที่มีการขยายเวลาแบบดิลेटเพื่อทำการแปลงจุดสำคัญ 2 มิติไปเป็น 3 มิติ

Source: https://mobidev.biz/blog/human-pose-estimation-ai-personal-fitness-coach

หลังจากวิเคราะห์แบบจำลองที่มีอยู่แล้ว เราพบว่า VideoPose3D เป็นวิธีแก้ปัญหาที่ดีที่สุดสำหรับการประมาณค่าโพสท่าทาง 3 มิติในแอปพลิเคชันฟิตเนสส่วนใหญ่

เพื่อเพิ่มความแม่นยำในการคาดการณ์ที่ตั้งของข้อต่อหรือจุดสำคัญในปัจจุบัน VideoPose3D สามารถใช้เฟรมหลายเฟรมในช่วงเวลาสั้นๆ เพื่อสร้างข้อมูลโพสท่าทาง 2 มิติ

เพื่อเพิ่มความแม่นยำในการประมาณค่าโพสท่าทาง 3 มิติอีก สามารถใช้กล้องหลายตัวเพื่อรวบรวมมุมมองที่แตกต่างกันของผู้ใช้ขณะทำการออกกำลังกายหรือการฝึกซ้อม

เมื่อเร็วๆ นี้ Google (GOOGL ) เปิดตัว ระบบ BlazePose ซึ่งเป็นแบบจำลองที่ออกแบบมาเพื่อประมาณค่าโพสท่าทางมนุษย์บนอุปกรณ์มือถือ โดยการเพิ่มจำนวนจุดสำคัญที่วิเคราะห์เป็น 33 จุด ซึ่งเป็นซุปเปอร์เซตของชุดจุดสำคัญ COCO และท็อปโพลوجีอื่นๆ

Source: https://ai.googleblog.com/2020/08/on-device-real-time-body-pose-tracking.html

แต่ละส่วนประกอบในระบบการประมาณค่าโพสท่าทางมนุษย์ที่ใช้การเรียนรู้ของเครื่องจำเป็นต้องทำงานได้เร็ว โดยใช้เวลาไม่เกินสองมิลลิวินาทีต่อเฟรมสำหรับการตรวจจับและติดตามท่าทาง

เนื่องจาก BlazePose ต้องทำงานบนอุปกรณ์มือถือต่างๆ ในแบบเรียลไทม์ แต่ละส่วนของระบบจึงถูกออกแบบมาให้มีประสิทธิภาพในการคำนวณสูงและสามารถทำงานได้ที่ 200-1000 เฟรมต่อวินาที

การประมาณค่าโพสท่าทางและติดตามในวิดีโอที่ไม่ทราบว่ามีคนอยู่หรือไม่ โดยทั่วไปจะทำในสองขั้นตอน

ในขั้นตอนแรก จะใช้แบบจำลองการตรวจจับวัตถุเพื่อค้นหาการมีอยู่ของมนุษย์หรือเพื่อระบุการไม่มีอยู่ของมนุษย์ หลังจากที่พบคนแล้ว ระบบสามารถประมวลผลพื้นที่ที่มีคนและคาดการณ์ที่ตั้งของจุดสำคัญ

ข้อเสียของการกำหนดค่านี้คือต้องใช้ทั้งแบบจำลองการตรวจจับวัตถุและแบบจำลองการประมาณค่าโพสท่าทางในการประมวลผลเฟรมทุกเฟรม ซึ่งใช้ทรัพยากรการคำนวณเพิ่มเติม

ผู้เขียนของ BlazePose ได้พัฒนาแนวทางที่ชาญฉลาดในการหลีกเลี่ยงปัญหานี้และใช้ประโยชน์จากมันในโมดูลการตรวจจับจุดสำคัญอื่นๆ เช่น FaceMesh และ MediaPipe Hand

แนวคิดคือสามารถใช้แบบจำลองการตรวจจับวัตถุ (ตัวตรวจจับใบหน้าในกรณีของ BlazePose) เพียงครั้งเดียวเพื่อเริ่มต้นการตรวจจับท่าทางในเฟรมแรก และการตรวจจับท่าทางในเฟรมถัดไปสามารถทำได้โดยใช้การคาดการณ์ท่าทางโดยไม่ต้องใช้แบบจำลองการตรวจจับวัตถุอีกต่อไป

https://ai.googleblog.com/2020/08/on-device-real-time-body-pose-tracking.html

ใบหน้าสร้างสัญญาณที่เข้มแข็งที่สุดเกี่ยวกับที่ตั้งของลำตัวสำหรับเครือข่ายประสาทเทียม เนื่องจากมีการเปลี่ยนแปลงที่น้อยและความแตกต่างที่สูงในลักษณะเฉพาะของใบหน้า ดังนั้นจึงเป็นไปได้ที่จะสร้างระบบตรวจจับท่าทางที่รวดเร็วและมีค่าใช้จ่ายต่ำผ่านการทำสมมติฐานที่สมเหตุสมผลซึ่งยึดหลักความคิดที่ว่าหัวของมนุษย์จะสามารถระบุได้ในทุกกรณีการใช้งานส่วนบุคคล

การเอาชนะความท้าทายของการประมาณค่าโพสท่าทางมนุษย์

การใช้การประมาณค่าโพสท่าทางในแอปพลิเคชันฟิตเนสเผชิญกับความท้าทายของจำนวนการเคลื่อนไหวที่หลากหลายของมนุษย์ เช่น อาสนะหลายร้อยท่าในยอการะบำ

นอกจากนี้ ร่างกายอาจบดบังแขนหรือขาที่ถูกจับภาพโดยกล้องในบางมุม และผู้ใช้อาจสวมชุดแตกต่างกันซึ่งบดบังลักษณะของร่างกาย

เมื่อใช้แบบจำลองที่ได้รับการฝึกอบรมล่วงหน้าแล้ว โปรดทราบว่าการเคลื่อนไหวที่ไม่ปกติหรือมุมกล้องที่แปลกๆ สามารถนำไปสู่ ข้อผิดพลาดในการประมาณค่าโพสท่าทางมนุษย์ เราสามารถบรรเทาปัญหานี้ได้โดยใช้ข้อมูลสังเคราะห์จากแบบจำลองร่างกายมนุษย์ 3 มิติหรือการปรับให้เหมาะสมด้วยข้อมูลที่เฉพาะเจาะจงสำหรับโดเมนที่เกี่ยวข้อง

ข่าวดีคือเราสามารถหลีกเลี่ยงหรือบรรเทาความอ่อนแอของส่วนใหญ่ได้ โดยที่กุญแจสำคัญคือการเลือกข้อมูลฝึกอบรมและโครงสร้างแบบจำลองที่เหมาะสม

คำสุดท้าย

การประมาณค่าโพสท่าทางมนุษย์มีศักยภาพการใช้งานในอนาคตที่หลากหลายนอกเหนือจากแอปพลิเคชันฟิตเนสและการติดตามการเคลื่อนไหวของมนุษย์ ตั้งแต่เกมส์ ไปจนถึงแอนิเมชั่น เรียลลิตี้เสมือน และหุ่นยนต์ ซึ่งไม่ใช่รายการสุดท้ายของความเป็นไปได้ แต่เน้นย้ำถึงพื้นที่ที่น่าจะเป็นไปได้มากที่สุดซึ่งการประมาณค่าโพสท่าทางมนุษย์จะช่วยให้เราเข้าใจภูมิทัศน์ดิจิทัลของเราได้ดีขึ้น