นักวิจัยพัฒนา Algorithm การรู้จำท่าทางมือใหม่

ทีมนักวิจัยนำโดย Zhiyi Yu จาก Sun Yat-sen University ได้พัฒนา Algorithm การรู้จำท่าทางมือใหม่ที่ซับซ้อน แม่นยำ และใช้งานได้จริง

ท่าทางมือเป็นวิธีการที่ใช้กันมากขึ้นในการสื่อสารระหว่างมนุษย์และคอมพิวเตอร์ และความก้าวหน้าล่าสุดในระบบกล้อง การวิเคราะห์ภาพ และการเรียนรู้ของเครื่องทำให้การรู้จำท่าทางด้วย光学ดีขึ้นอย่างมาก อย่างไรก็ตาม วิธีการปัจจุบันต้องเผชิญกับความท้าทายมากมายเนื่องจากข้อจำกัดในความซับซ้อนในการคำนวณสูง ความเร็วต่ำ ความแม่นยำต่ำ และจำนวนการรู้จำท่าทางที่ต่ำ

Algorithm ใหม่ที่ทีมพัฒนานี้พยายามเอาชนะข้อจำกัดเหล่านี้ และได้รับการอธิบายไว้ในเอกสารที่ตีพิมพ์ใน Journal of Electronic Imaging หนึ่งในเป้าหมายหลักของทีมคือการสร้าง Algorithm ที่ไม่เพียงแต่เอาชนะความท้าทายเหล่านี้ แต่ยังสามารถใช้งานได้ง่ายในอุปกรณ์ระดับผู้บริโภค

การปรับตัวเข้ากับประเภทมือที่แตกต่างกัน

หนึ่งในด้านที่น่าประทับใจที่สุดของ Algorithm คือความสามารถในการปรับตัวเข้ากับประเภทมือที่แตกต่างกัน มันพยายามจำแนกประเภทมือของผู้ใช้เป็น slim, ปกติ หรือ broad ตามสามการวัดที่คำนึงถึงความสัมพันธ์ระหว่างความกว้างของฝ่ามือ ความยาวของฝ่ามือ และความยาวของนิ้ว

หลังจากการจำแนกประเภทมือสำเร็จแล้ว การรู้จำท่าทางมือจะเทียบเคียงท่าทางที่รับเข้ากับตัวอย่างที่เก็บไว้ของประเภทมือเดียวกัน

“Algorithm ที่เรียบง่ายแบบดั้งเดิมมักจะ遭遇ปัญหาในการรู้จำที่ต่ำเพราะไม่สามารถจัดการกับประเภทมือที่แตกต่างกันได้ โดยการจำแนกท่าทางที่รับเข้าตามประเภทมือแล้วใช้ไลบรารีตัวอย่างที่ตรงกับประเภทนั้น เราสามารถปรับปรุงอัตราการรู้จำโดยรวมได้ด้วยการบริโภคทรัพยากรที่แทบจะไม่มีเลย” Yu กล่าว

ขั้นตอนการรู้จำก่อน

วิธีการของทีมยังขึ้นอยู่กับการใช้ “คุณลักษณะการรู้จำก่อน” เพื่อทำขั้นตอนการรู้จำก่อน Algorithm การรู้จำสามารถระบุได้ 9 ท่าทางที่เป็นไปได้ แต่การเปรียบเทียบคุณลักษณะทั้งหมดของท่าทางที่รับเข้ากับตัวอย่างที่เก็บไว้สำหรับท่าทางที่เป็นไปได้ทั้งหมดเป็นกระบวนการที่ใช้เวลานาน

เพื่อเอาชนะสิ่งนี้ ขั้นตอนการรู้จำก่อนของ Algorithm จะคำนวณอัตราส่วนของพื้นที่มือเพื่อเลือกท่าทาง 3 ท่าทางที่เป็นไปได้มากที่สุดจากท่าทาง 9 ท่าทางที่เป็นไปได้ ซึ่งจะลดจำนวนผู้สมัครท่าทางลงเหลือ 3 ท่าทาง และท่าทางสุดท้ายจะถูกตัดสินโดยการทำการรู้จำคุณลักษณะที่ซับซ้อนและแม่นยำยิ่งขึ้นโดยใช้ “Hu invariant moments”

“ขั้นตอนการรู้จำก่อนไม่เพียงแต่ลดจำนวนการคำนวณและทรัพยากรฮาร์ดแวร์ที่ต้องการ แต่ยังปรับปรุงความเร็วในการรู้จำโดยไม่กระทบต่อความแม่นยำ” Yu กล่าว

Algorithm ถูกทดสอบบนโปรเซสเซอร์ PC และแพลตฟอร์ม FPGA โดยใช้กล้อง USB ทีมได้เชิญผู้อาสาสมัคร 40 คนให้ทำท่าทางมือ 9 ท่าทางหลายครั้ง และอีก 40 คนถูกใช้เพื่อกำหนดความแม่นยำของระบบ

ระบบแสดงให้เห็นว่าสามารถรู้จำท่าทางมือได้แบบเรียลไทม์โดยมีอัตราการรู้จำที่มากกว่า 93% ซึ่งเป็นกรณีแม้เมื่อท่าทางที่รับเข้าถูกหมุน การแปล หรือปรับขนาด

นักวิจัยกล่าวว่าพวกเขาจะมุ่งเน้นในการปรับปรุงประสิทธิภาพของ Algorithm ภายใต้สภาพแวดล้อมที่แตกต่างกัน รวมถึงการเพิ่มจำนวนการรู้จำท่าทางที่เป็นไปได้