Система штучного інтелекту може точно розпізнавати жести рук

Нова система штучного інтелекту (AI), здатна розпізнавати жести рук, була розроблена вченими з Наньянського технологічного університету, Сінгапур (NTU Singapore). Ця технологія працює шляхом поєднання електроніки, подібної до шкіри, з комп’ютерним зором.

Розробка систем AI для розпізнавання жестів людини триває вже близько 10 років, і зараз вона використовується в хірургічних роботах, обладнанні для моніторингу здоров’я та в ігрових системах.

Перші системи розпізнавання жестів AI були засновані лише на візуальній інформації, а вхідні дані з носимих датчиків були інтегровані для покращення їхньої роботи. Це називається “об’єднанням даних”. Одна з чутливих можливостей називається “соматосенсорною”, і носимі датчики можуть її відтворити.

Точність розпізнавання жестів все ще важко досягти через низьку якість даних, що надходять з носимих датчиків. Це відбувається через їхню громіздкість і поганий контакт з користувачем, а також через візуально заблоковані об’єкти та погане освітлення.

Більше挑ов виникає з інтеграції візуальних та сенсорних даних, оскільки несумісні набори даних потрібно обробляти окремо, а потім об’єднувати в кінці. Цей процес неефективний і призводить до повільнішої реакції.

Команда NTU знайшла кілька способів подолати ці виклики, включаючи створення “біоінспірованої” системи об’єднання даних, яка використовує розтяжні датчики деформації, виготовлені з одностінних вуглецевих нанотрубок. Команда також використала AI для моделювання того, як шкіра та зір сприймаються разом в мозку.

Три підходи нейронних мереж були об’єднані в одну систему для розробки системи AI. Три типи нейронних мереж були:卷невальна нейронна мережа, розріджена нейронна мережа та багаторівнева нейронна мережа.

Об’єднавши ці три підходи, команда змогла розробити систему, здатну більш точно розпізнавати жести людини порівняно з іншими методами.

Професор Чен Сяодон є головним автором дослідження. Він з Школи матеріалознавства та інженерії NTU.

“Наша архітектура об’єднання даних має свої унікальні біоінспіровані особливості, які включають систему, створену людиною, подібну до ієрархії соматосенсорно-візуального об’єднання в мозку. Ми вважаємо, що такі особливості роблять нашу архітектуру унікальною порівняно з існуючими підходами”.

Чен також є директором Інновативного центру гнучких пристроїв (iFLEX) в NTU.

“На відміну від жорстких носимих датчиків, які не утворюють достатньо близького контакту з користувачем для точного збору даних, наша інновація використовує розтяжні датчики деформації, які зручно прикріплюються до людської шкіри. Це дозволяє отримувати високоякісні сигнали, що є важливим для завдань високоточного розпізнавання”, – сказав Чен.

Результати команди вчених з NTU Singapore та Університету технологій Сіднея (UTS) були опубліковані в червні в науковому журналі Nature Electronics.

Тестування системи

Команда протестувала біоінспіровану систему AI з роботом, керованим за допомогою жестів рук. Робота було проведено через лабіринт, і результати показали, що система розпізнавання жестів рук AI змогла провести робота через лабіринт без помилок. Це порівняно з візуальною системою розпізнавання, яка зробила шість помилок у тому ж лабіринті.

Тестування в умовах шуму та поганого освітлення системи AI все ще підтримувала високу точність. Точність розпізнавання досягла понад 96,7%.

Доктор Ван Мін з Школи матеріалознавства та інженерії NTU Singapore був першим автором дослідження.

“Секрет високої точності нашої архітектури полягає в тому, що візуальна та соматосенсорна інформація можуть взаємодіяти та доповнювати одна одну на ранній стадії, перш ніж проводити складну інтерпретацію”, – сказав Мін. “Як результат, система може раціонально зібрати узгоджену інформацію з меншою кількістю зайвої інформації та меншою перцептивною двозначністю, що призводить до вищої точності”.

Згідно з незалежною оцінкою професора Маркуса Антонієтті, директора Інституту колоїдів та інтерфейсів імені Макса Планка в Німеччині, “Результати цього дослідження приводять нас ще на крок вперед до розумнішого та більш підтримуваного машин світу. Як і винахід смартфона, який революціонізував суспільство, ця робота дає нам надію, що ми колись зможемо фізично контролювати весь свій навколишній світ з великою надійністю та точністю за допомогою жесту”.

“Є просто безкінечні застосування цієї технології на ринку для підтримки цього майбутнього. Наприклад, від дистанційного контролю над роботами до екзоскелетів для літніх людей”.

Команда дослідників тепер працює над системою віртуальної та доповненої реальності на основі біоінспірованої системи AI.