Система штучного інтелекту може розпізнавати жести рук точно

Нова система штучного інтелекту (AI), здатна розпізнавати жести рук, була розроблена вченими з Наньянського технологічного університету (NTU) в Сінгапурі. Ця технологія працює шляхом поєднання електроніки, подібної до шкіри, з комп’ютерним зором.

Розробка систем AI для розпізнавання жестів рук людини триває вже близько 10 років, і зараз вона використовується в хірургічних роботах, обладнанні для моніторингу здоров’я та в ігрових системах.

Перші системи розпізнавання жестів AI були візуальними лише, і в них були інтегровані дані з носимих сенсорів для покращення їхньої роботи. Це називається “об’єднання даних”. Одна з можливостей сенсорів називається “соматосенсорною”, і носимі сенсори можуть її відтворювати.

Точність розпізнавання жестів все ще залишається складною задачею через низьку якість даних, що надходять від носимих сенсорів. Це відбувається через їхню громіздкість і поганий контакт з користувачем, а також через візуально заблоковані об’єкти і погані умови освітлення.

З’являються ще більші складності при інтеграції візуальних і сенсорних даних, оскільки несумісні набори даних потрібно обробляти окремо і потім об’єднувати в кінці. Цей процес неефективний і призводить до повільнішої реакції.

Команда NTU знайшла кілька способів подолати ці складності, включаючи створення “біоінспірованої” системи об’єднання даних, яка використовує розтяжні сенсори, виготовлені з одностінних вуглецевих нанотрубок. Команда також використала AI для моделювання того, як шкіра і зір сприймаються разом в мозку.

Для розробки системи AI було об’єднано три підходи нейронних мереж:卷очна нейронна мережа, розріджена нейронна мережа і багаторівнева нейронна мережа.

Об’єднавши ці три підходи, команда змогла розробити систему, яка може більш точно розпізнавати людські жести порівняно з іншими методами.

Професор Чен Сяодон є головним автором дослідження. Він працює в Школі матеріалознавства та інженерії NTU.

“Наша архітектура об’єднання даних має унікальні біоінспіровані особливості, які включають систему, створену людиною, подібну до ієрархії соматосенсорно-візуального об’єднання в мозку. Ми вважаємо, що такі особливості роблять нашу архітектуру унікальною порівняно з існуючими підходами”.

Чен також є директором Інноваційного центру гнучких пристроїв (iFLEX) в NTU.

“На відміну від жорстких носимих сенсорів, які не забезпечують достатньо близького контакту з користувачем для точного збору даних, наша інновація використовує розтяжні сенсори, які зручно прикріпляються до людської шкіри. Це дозволяє отримувати високоякісні сигнали, які є важливими для завдань високої точності”, – сказав Чен.

Результати дослідження команди вчених з NTU Сінгапуру та Університету технологій Сіднея (UTS) були опубліковані в червні в науковому журналі Nature Electronics.

Тестування системи

Команда протестувала біоінспіровану систему AI з роботом, керованим жестами рук. Робота було проведено через лабіринт, і результати показали, що система розпізнавання жестів рук AI змогла провести робота через лабіринт без жодних помилок. Це порівняно з візуальною системою розпізнавання, яка зробила шість помилок у тому ж лабіринті.

Під час тестування в поганих умовах, таких як шум і погані умови освітлення, система AI все одно підтримувала високу точність. Точність розпізнавання досягла понад 96,7%.

Доктор Ван Мін з Школи матеріалознавства та інженерії NTU Сінгапуру був першим автором дослідження.

“Секрет високої точності нашої архітектури полягає в тому, що візуальна і соматосенсорна інформація можуть взаємодіяти і доповнювати одна одну на ранній стадії, перш ніж проводити складну інтерпретацію”, – сказав Мін. “В результаті система може раціонально зібрати узгоджену інформацію з меншою кількістю зайвої інформації і меншою перцептивною двозначністю, що призводить до кращої точності”.

Згідно з незалежною оцінкою професора Маркуса Антонієтті, директора Інституту колоїдів і інтерфейсів імені Макса Планка в Німеччині, “результати цієї статті ведуть нас ще на крок вперед до розумнішого і більш підтримуваного машин світу. Як і винахід смартфона, який революціонізував суспільство, ця робота дає нам надію, що ми колись зможемо фізично контролювати весь наш навколишній світ з великою надійністю і точністю за допомогою жесту”.

“Є просто нескінченні застосування цієї технології на ринку для підтримки цього майбутнього. Наприклад, від дистанційного контролю роботів над розумними робочими місцями до екзоскелетів для людей похилого віку”.

Команда дослідників тепер працюватиме над системою віртуальної та доповненої реальності на основі біоінспірованої системи AI.