מערכת AI יכולה לזהות תנועות ידיים בצורה מדויקת

מערכת בינה מלאכותית חדשה (AI) המסוגלת לזהות תנועות ידיים פותחה על ידי מדענים מהאוניברסיטה הטכנולוגית Nanyang, סינגפור (NTU Singapore). הטכנולוגיה פועלת על ידי שילוב של אלקטרוניקה דמוית עור עם ראייה ממוחשבת.

הפיתוח של מערכות בינה מלאכותית לזיהוי מחוות ידיים אנושיות מתרחש מזה כ-10 שנים, והיא משמשת כיום ברובוטים כירורגיים, ציוד ניטור בריאות ובמערכות משחקים. 

מערכות זיהוי מחוות הבינה המלאכותית הראשוניות היו חזותיות בלבד, וכניסות מחיישנים לבישים שולבו כדי לשפר אותן. זה נקרא "היתוך נתונים". אחת מיכולות החישה נקראת 'סומטו-סנסורי', והחיישנים הלבישים יכולים ליצור אותה מחדש. 

דיוק זיהוי מחוות עדיין קשה להשגה בגלל האיכות הנמוכה של הנתונים המגיעים מחיישנים לבישים. זה קורה בגלל הנפח והמגע הלקוי עם המשתמש, כמו גם ההשפעות של חפצים חסומים חזותית ותאורה לקויה. 

אתגרים נוספים נובעים מהשילוב של נתונים ויזואליים ותחושתיים, שכן יש לעבד בנפרד מערכי נתונים שאינם תואמים ובסופו של דבר למזג אותם. תהליך זה אינו יעיל ומוביל לזמני תגובה איטיים יותר. 

צוות ה-NTU המציא כמה דרכים להתגבר על האתגרים הללו, כולל יצירת מערכת היתוך נתונים 'בהשראה ביולוגית' המסתמכת על חיישני מתיחה דמויי עור העשויים מננו-צינוריות פחמן עם דופן אחת. הצוות גם הסתמך על AI כדרך לייצג כיצד חושי העור והראייה מעובדים יחד במוח.

שלוש גישות רשתות עצביות שולבו למערכת אחת על מנת לפתח את מערכת הבינה המלאכותית. שלושת הסוגים של רשתות עצביות היו: רשת עצבית קונבולוציונית, רשת עצבית דלילה ורשת עצבית רב-שכבתית.

על ידי שילוב שלושת אלו, הצוות יוכל לפתח מערכת המסוגלת לזהות בצורה מדויקת יותר מחוות אנושיות בהשוואה לשיטות אחרות.

פרופסור צ'ן שיאודון הוא המחבר הראשי של המחקר. הוא מבית הספר למדעים והנדסת חומרים ב-NTU. 

"לארכיטקטורת היתוך הנתונים שלנו יש תכונות ייחודיות משלה בהשראת ביו, הכוללות מערכת מעשה ידי אדם הדומה להיררכיית ההיתוך הסומטו-סנסורי-ויזואלי במוח. אנו מאמינים שתכונות כאלה הופכות את הארכיטקטורה שלנו לייחודית לגישות קיימות."

חן הוא גם מנהל המרכז החדשני להתקנים גמישים (iFLEX) ב-NTU. 

"בהשוואה לחיישנים לבישים קשיחים שאינם יוצרים מגע אינטימי מספיק עם המשתמש לאיסוף נתונים מדויק, החידוש שלנו משתמש בחיישני מתח נמתחים המתחברים בנוחות על העור האנושי. זה מאפשר רכישת אותות באיכות גבוהה, שהיא חיונית למשימות זיהוי דיוק גבוה", אמר צ'ן.

הממצאים מהצוות המורכב ממדענים מ-NTU סינגפור ומהאוניברסיטה לטכנולוגיה סידני (UTS) פורסמו ביוני בכתב העת המדעי טבע אלקטרוניקה.

בדיקת המערכת

הצוות בדק את מערכת הבינה המלאכותית בהשראת ביו עם רובוט שנשלט באמצעות תנועות ידיים. הרובוט הונחה במבוך, והתוצאות הוכיחו שמערכת זיהוי מחוות היד בינה מלאכותית הצליחה להוביל את הרובוט במבוך ללא שגיאות. זאת בהשוואה למערכת זיהוי מבוססת ויזואלית, שעשתה שש שגיאות באותו מבוך.

בדיקות בתנאים גרועים, כמו רעש ותנאי תאורה גרועים, מערכת ה-AI עדיין שמרה על דיוק גבוה. שיעור דיוק ההכרה הגיע ליותר מ-96.7%.

ד"ר וואנג מינג מבית הספר למדעים והנדסת חומרים ב-NTU סינגפור היה המחבר הראשון של המחקר. 

"הסוד מאחורי הדיוק הגבוה בארכיטקטורה שלנו טמון בעובדה שהמידע החזותי והסומטו-סנסורי יכולים לתקשר ולהשלים זה את זה בשלב מוקדם לפני ביצוע פרשנות מורכבת", אמר מינג. "כתוצאה מכך, המערכת יכולה באופן רציונלי לאסוף מידע קוהרנטי עם פחות נתונים מיותרים ופחות אי בהירות תפיסתית, וכתוצאה מכך דיוק טוב יותר."

על פי השקפה עצמאית של פרופסור מרקוס אנטונייטי, מנהל מכון מקס פלנק לקולואידים וממשקים בגרמניה, "הממצאים ממאמר זה מביאים אותנו צעד נוסף קדימה לעולם חכם ונתמך יותר במכונה. בדומה להמצאת הסמארטפון שחולל מהפכה בחברה, העבודה הזו נותנת לנו תקווה שיום אחד נוכל לשלוט פיזית בכל העולם הסובב שלנו באמינות ובדיוק רב באמצעות מחווה".

"יש פשוט אין סוף יישומים לטכנולוגיה כזו בשוק כדי לתמוך בעתיד הזה. למשל, משליטה מרחוק של רובוט על מקומות עבודה חכמים ועד שלדים חיצוניים לקשישים”.

צוות המחקר יעבוד כעת על מערכת VR ו-AR המבוססת על מערכת AI בהשראת ביו.