AI-systeem kan handgebaren nauwkeurig herkennen

Een nieuw kunstmatig intelligentie (AI)-systeem dat in staat is om handgebaren te herkennen, is ontwikkeld door wetenschappers van de Nanyang Technological University in Singapore (NTU Singapore). De technologie werkt door de combinatie van huid-achtige elektronica met computerzicht.

De ontwikkeling van AI-systemen om menselijke handgebaren te herkennen, vindt al ongeveer 10 jaar plaats en wordt momenteel gebruikt in chirurgische robots, gezondheidsmonitorende apparatuur en in gamingsystemen.

De eerste AI-gebarenherkenningssystemen waren alleen visueel en zijn verbeterd door de integratie van invoer van draagbare sensoren. Dit wordt “datafusie” genoemd. Een van de zintuiglijke mogelijkheden heet “somatosensory” en de draagbare sensoren kunnen dit nabootsen.

De nauwkeurigheid van gebarenherkenning is nog steeds moeilijk te bereiken vanwege de lage kwaliteit van de gegevens die afkomstig zijn van draagbare sensoren. Dit komt door de omvang en slechte contact met de gebruiker, evenals door visueel geblokkeerde objecten en slechte verlichting.

Er zijn meer uitdagingen bij de integratie van visuele en zintuiglijke gegevens, omdat niet-overeenkomende datasets afzonderlijk moeten worden verwerkt en uiteindelijk samengevoegd aan het einde. Dit proces is inefficiënt en leidt tot langzamere responstijden.

Het NTU-team vond enkele manieren om deze uitdagingen te overwinnen, waaronder de creatie van een “bio-geïnspireerd” datafusiesysteem dat vertrouwt op huid-achtige rekbaarheidsensoren gemaakt van enkelwandige koolstofnanobuizen. Het team vertrouwde ook op AI als een manier om weer te geven hoe de huid en het zicht samen in de hersenen worden verwerkt.

Drie benaderingen van neurale netwerken werden samengevoegd tot één systeem om het AI-systeem te ontwikkelen. De drie soorten neurale netwerken waren: een convolutioneel neuronaal netwerk, een schaars neuronaal netwerk en een multilaags neuronaal netwerk.

Door deze drie te combineren, kon het team een systeem ontwikkelen dat in staat is om menselijke gebaren nauwkeuriger te herkennen dan andere methoden.

Professor Chen Xiaodon is de hoofdauteur van de studie. Hij is afkomstig van de School of Materials Science and Engineering van NTU.

“Onze datafusie-architectuur heeft unieke bio-geïnspireerde kenmerken, waaronder een door de mens gemaakte systeem dat lijkt op de somatosensory-visuele fusiehiërarchie in de hersenen. We geloven dat deze kenmerken onze architectuur uniek maken ten opzichte van bestaande benaderingen.”

Chen is ook directeur van het Innovatieve Centrum voor Flexibele Apparaten (iFLEX) van NTU.

“In vergelijking met starre draagbare sensoren die niet intiem genoeg contact maken met de gebruiker voor nauwkeurige gegevensverzameling, gebruikt onze innovatie rekbaarheidsensoren die comfortabel op de menselijke huid worden bevestigd. Dit maakt hoogwaardige signaalverwerving mogelijk, wat essentieel is voor hoge-nauwkeurigheids taken,” zei Chen.

De resultaten van het team, bestaande uit wetenschappers van NTU Singapore en de University of Technology Sydney (UTS), werden in juni gepubliceerd in het wetenschappelijke tijdschrift Nature Electronics.

Testen van het systeem

Het team testte het bio-geïnspireerde AI-systeem met een robot die werd bestuurd door middel van handgebaren. De robot werd door een doolhof geleid en de resultaten toonden aan dat het AI-handgebarenherkenningssysteem de robot zonder fouten door het doolhof kon leiden. Dit in vergelijking met een visueel-gebaseerd herkenningssysteem, dat zes fouten maakte in hetzelfde doolhof.

Bij testen onder slechte omstandigheden, zoals lawaai en slechte verlichting, behield het AI-systeem nog steeds een hoge nauwkeurigheid. De herkenningnauwkeurigheid bereikte meer dan 96,7%.

Dr. Wang Ming van de School of Materials Science & Engineering van NTU Singapore was de eerste auteur van de studie.

“Het geheim achter de hoge nauwkeurigheid in onze architectuur ligt in het feit dat de visuele en somatosensory-informatie op een vroeg stadium met elkaar kunnen interacteren en elkaar aanvullen voordat ze complexe interpretatie uitvoeren. Als gevolg hiervan kan het systeem rationeel samenhangende informatie verzamelen met minder redundante gegevens en minder perceptuele ambiguïteit, wat resulteert in een betere nauwkeurigheid.”

Volgens een onafhankelijke mening van professor Markus Antonietti, directeur van het Max Planck Instituut voor Colloïden en Interfaces in Duitsland, “brengen de resultaten van dit artikel ons een stap dichter bij een slimmer en meer machine-ondersteund wereld. Net zoals de uitvinding van de smartphone die de samenleving heeft gerevolutioneerd, geeft dit werk ons hoop dat we op een dag onze hele omgeving fysiek kunnen controleren met grote betrouwbaarheid en nauwkeurigheid door middel van een gebaar.”

“Er zijn eenvoudigweg eindeloze toepassingen voor deze technologie op de markt om deze toekomst te ondersteunen. Bijvoorbeeld, vanaf een remote robotbesturing over slimme werkplekken tot exoskeletten voor ouderen.”

Het onderzoeksteam zal nu werken aan een VR- en AR-systeem op basis van het bio-geïnspireerde AI-systeem.