AI-systeem kan handgebaren nauwkeurig herkennen

Een nieuw kunstmatig intelligentie (AI)-systeem dat in staat is om handgebaren te herkennen, is ontwikkeld door wetenschappers van de Nanyang Technological University, Singapore (NTU Singapore). De technologie werkt door skin-like elektronica te combineren met computer visie.

De ontwikkeling van AI-systemen om menselijke handgebaren te herkennen, vindt al ongeveer 10 jaar plaats en wordt momenteel gebruikt in chirurgische robots, gezondheidsmonitorende apparatuur en in gamingsystemen.

De eerste AI-gebarenherkenningsystemen waren alleen visueel en inputs van draagbare sensoren zijn geïntegreerd om ze te verbeteren. Dit wordt “datafusie” genoemd. Een van de zintuiglijke vermogens heet “somatosensorisch” en de draagbare sensoren kunnen dit nabootsen.

De precisie van gebarenherkenning is nog steeds moeilijk te bereiken vanwege de lage kwaliteit van de gegevens die afkomstig zijn van draagbare sensoren. Dit gebeurt vanwege de omvang en slechte contact met de gebruiker, evenals de effecten van visueel geblokkeerde objecten en slechte verlichting.

Er zijn meer uitdagingen bij de integratie van visuele en sensorische gegevens, aangezien niet-overeenkomende datasets afzonderlijk moeten worden verwerkt en uiteindelijk aan het einde moeten worden samengevoegd. Dit proces is inefficiënt en leidt tot langzamere responstijden.

Het NTU-team heeft een aantal manieren bedacht om deze uitdagingen te overwinnen, waaronder de creatie van een “bio-geïnspireerd” datafusiesysteem dat vertrouwt op skin-like stretchable strain-sensoren gemaakt van enkelwandige koolstofnanobuizen. Het team vertrouwt ook op AI als een manier om weer te geven hoe de huid zintuigen en visie in de hersenen worden verwerkt.

Drie neurale netwerkbenaderingen zijn samengevoegd in één systeem om het AI-systeem te ontwikkelen. De drie soorten neurale netwerken waren: een convolutioneel neuronaal netwerk, een schaars neuronaal netwerk en een multilaags neuronaal netwerk.

Door deze drie te combineren, kon het team een systeem ontwikkelen dat in staat is om menselijke gebaren nauwkeuriger te herkennen in vergelijking met andere methoden.

Professor Chen Xiaodon is de hoofdauteur van de studie. Hij is afkomstig van de School of Materials Science and Engineering at NTU.

“Onze datafusie-architectuur heeft zijn eigen unieke bio-geïnspireerde functies, waaronder een door de mens gemaakte systeem dat lijkt op de somatosensorische-visuele fusiehiërarchie in de hersenen. We geloven dat deze functies onze architectuur uniek maken ten opzichte van bestaande benaderingen.”

Chen is ook directeur van het Innovative Centre for Flexible Devices (iFLEX) at NTU.

“In vergelijking met starre draagbare sensoren die geen intieme genoeg contact maken met de gebruiker voor nauwkeurige gegevensverzameling, gebruikt onze innovatie stretchable strain-sensoren die comfortabel op de menselijke huid worden bevestigd. Dit maakt hoge kwaliteit signaalverwerving mogelijk, wat essentieel is voor hoge precisieherkenningsTaken,” zei Chen.

De resultaten van het team, bestaande uit wetenschappers van NTU Singapore en de University of Technology Sydney (UTS), werden in juni gepubliceerd in het wetenschappelijke tijdschrift Nature Electronics.

Testen van het systeem

Het team testte het bio-geïnspireerde AI-systeem met een robot die wordt bestuurd door handgebaren. De robot werd door een doolhof geleid en de resultaten toonden aan dat het AI-handgebarenherkenningsysteem de robot door het doolhof kon leiden zonder fouten. Dit in vergelijking met een visueel-gebaseerd herkenningsysteem, dat zes fouten maakte in hetzelfde doolhof.

Bij testen onder slechte omstandigheden, zoals lawaai en slechte lichtomstandigheden, behield het AI-systeem nog steeds een hoge nauwkeurigheid. De herkenningsnauwkeurigheid bereikte meer dan 96,7%.

Dr Wang Ming van de School of Materials Science & Engineering at NTU Singapore was de eerste auteur van de studie.

“Het geheim achter de hoge nauwkeurigheid in onze architectuur ligt in het feit dat de visuele en somatosensorische informatie kunnen interactie hebben en elkaar aanvullen op een vroeg stadium voordat complexe interpretatie plaatsvindt”, zei Ming. “Als gevolg hiervan kan het systeem coherentie informatie verzamelen met minder redundante gegevens en minder perceptuele ambiguïteit, wat resulteert in betere nauwkeurigheid.”

Volgens een onafhankelijk standpunt van Professor Markus Antonietti, directeur van het Max Planck Institute of Colloids and Interfaces in Duitsland, “De resultaten van dit artikel brengen ons een stap verder naar een slimmer en meer machine-ondersteund wereld. Net zoals de uitvinding van de smartphone die de samenleving heeft gerevolutioneerd, geeft dit werk ons hoop dat we op een dag alle omringende wereld fysiek kunnen controleren met grote betrouwbaarheid en precisie door middel van een gebaar.”

“Er zijn eindeloze toepassingen voor deze technologie op de markt om deze toekomst te ondersteunen. Bijvoorbeeld, vanaf een afstandsbediening van een robot tot exoskeletten voor ouderen.”

Het onderzoeksteam zal nu werken aan een VR- en AR-systeem op basis van het bio-geïnspireerde AI-systeem.