AI-systeem kan handgebaren nauwkeurig herkennen

Een nieuw systeem voor kunstmatige intelligentie (AI) dat handgebaren kan herkennen, is ontwikkeld door wetenschappers van de Nanyang Technological University, Singapore (NTU Singapore). De technologie werkt door huidachtige elektronica te combineren met computervisie.

De ontwikkeling van AI-systemen om menselijke handgebaren te herkennen vindt al zo'n 10 jaar plaats en wordt momenteel gebruikt in chirurgische robots, apparatuur voor gezondheidsmonitoring en in spelsystemen. 

De aanvankelijke AI-gebarenherkenningssystemen waren alleen visueel en input van draagbare sensoren is geïntegreerd om ze te verbeteren. Dit wordt 'datafusie' genoemd. Een van de detectiemogelijkheden wordt 'somatosensorisch' genoemd en de draagbare sensoren kunnen dit nabootsen. 

Nauwkeurigheid van gebarenherkenning is nog steeds moeilijk te bereiken vanwege de lage kwaliteit van de gegevens die afkomstig zijn van draagbare sensoren. Dit gebeurt vanwege de omvang en het slechte contact met de gebruiker, evenals de effecten van visueel geblokkeerde objecten en slechte verlichting. 

Meer uitdagingen komen voort uit de integratie van visuele en sensorische gegevens, aangezien niet-overeenkomende datasets afzonderlijk moeten worden verwerkt en uiteindelijk aan het einde moeten worden samengevoegd. Dit proces is inefficiënt en leidt tot tragere reactietijden. 

Het NTU-team bedacht een paar manieren om deze uitdagingen het hoofd te bieden, waaronder de creatie van een 'bio-geïnspireerd' datafusiesysteem dat vertrouwt op huidachtige rekbare spanningssensoren gemaakt van enkelwandige koolstofnanobuisjes. Het team vertrouwde ook op AI als een manier om weer te geven hoe huidzintuigen en visie samen in de hersenen worden verwerkt.

Drie neurale netwerkbenaderingen werden gecombineerd in één systeem om het AI-systeem te ontwikkelen. De drie soorten neurale netwerken waren: een convolutioneel neuraal netwerk, een schaars neuraal netwerk en een meerlaags neuraal netwerk.

Door deze drie te combineren, zou het team een ​​systeem kunnen ontwikkelen dat menselijke gebaren nauwkeuriger kan herkennen in vergelijking met andere methoden.

Professor Chen Xiaodon is hoofdauteur van de studie. Hij is van de School of Materials Science and Engineering aan de NTU. 

“Onze datafusie-architectuur heeft zijn eigen unieke bio-geïnspireerde kenmerken, waaronder een door mensen gemaakt systeem dat lijkt op de somatosensorisch-visuele fusiehiërarchie in de hersenen. Wij geloven dat dergelijke kenmerken onze architectuur uniek maken voor bestaande benaderingen.”

Chen is ook directeur van het Innovative Center for Flexible Devices (iFLEX) bij NTU. 

“Vergeleken met stijve draagbare sensoren die geen intiem genoeg contact met de gebruiker vormen voor nauwkeurige gegevensverzameling, maakt onze innovatie gebruik van rekbare spanningssensoren die comfortabel op de menselijke huid worden bevestigd. Dit maakt signaalacquisitie van hoge kwaliteit mogelijk, wat essentieel is voor zeer nauwkeurige herkenningstaken, "zei Chen.

De bevindingen van het team bestaande uit wetenschappers van NTU Singapore en de University of Technology Sydney (UTS) werden in juni gepubliceerd in het wetenschappelijke tijdschrift Natuurelektronica.

Het systeem testen

Het team testte het bio-geïnspireerde AI-systeem met een robot die wordt bestuurd door middel van handgebaren. De robot werd door een doolhof geleid en de resultaten toonden aan dat het AI-systeem voor handgebarenherkenning de robot foutloos door het doolhof kon leiden. Dit in vergelijking met een visueel gebaseerd herkenningssysteem, dat zes fouten maakte in hetzelfde doolhof.

Testen onder slechte omstandigheden, zoals lawaai en slechte lichtomstandigheden, behield het AI-systeem nog steeds een hoge nauwkeurigheid. Het herkenningsnauwkeurigheidspercentage bereikte meer dan 96.7%.

Dr. Wang Ming van de School of Materials Science & Engineering aan NTU Singapore was de eerste auteur van het onderzoek. 

"Het geheim achter de hoge nauwkeurigheid in onze architectuur ligt in het feit dat de visuele en somatosensorische informatie in een vroeg stadium kunnen interageren en elkaar kunnen aanvullen voordat complexe interpretaties worden uitgevoerd", zei Ming. "Als gevolg hiervan kan het systeem op een rationele manier coherente informatie verzamelen met minder redundante gegevens en minder perceptuele ambiguïteit, wat resulteert in een betere nauwkeurigheid."

Volgens een onafhankelijke mening van professor Markus Antonietti, directeur van het Max Planck Instituut voor Colloïden en Interfaces in Duitsland: “De bevindingen van dit artikel brengen ons weer een stap voorwaarts naar een slimmere en meer door machines ondersteunde wereld. Net als de uitvinding van de smartphone die een revolutie teweeg heeft gebracht in de samenleving, geeft dit werk ons ​​de hoop dat we op een dag de hele wereld om ons heen fysiek kunnen controleren met grote betrouwbaarheid en precisie door middel van een gebaar.”

“Er zijn simpelweg eindeloze toepassingen voor dergelijke technologie op de markt om deze toekomst te ondersteunen. Bijvoorbeeld van een robotbesturing op afstand over slimme werkplekken tot exoskeletten voor ouderen.”

Het onderzoeksteam gaat nu werken aan een VR- en AR-systeem op basis van het bio-geïnspireerde AI-systeem.