Onderzoekers ontwikkelen nieuwe algoritme voor herkenning van handgebaren

Een team van onderzoekers onder leiding van Zhiyi Yu van de Sun Yat-sen University heeft een nieuw algoritme voor herkenning van handgebaren ontwikkeld dat complex, nauwkeurig en toepasbaar is.

Handgebaren worden steeds vaker gebruikt voor interacties tussen mensen en computers, en recente vooruitgang in camerasystemen, beeldanalyse en machine learning heeft de optische gebaarherkenning sterk verbeterd. Desondanks hebben huidige methoden veel uitdagingen te overwinnen vanwege beperkingen in hoge computationele complexiteit, lage snelheid, lage nauwkeurigheid en een laag aantal herkenbare gebaren.

Het nieuwe algoritme dat door het team is ontwikkeld, probeert deze beperkingen te overwinnen en werd gedetailleerd in een paper gepubliceerd in de Journal of Electronic Imaging. Een van de belangrijkste doelen van het team was om een algoritme te creëren dat niet alleen deze uitdagingen overwint, maar ook gemakkelijk kan worden toegepast in consumentenapparaten.

Aanpasbaarheid aan verschillende handtypen

Een van de meest indrukwekkende aspecten van het algoritme is zijn aanpasbaarheid aan verschillende handtypen. Het probeert eerst het handtype van de gebruiker te classificeren als dun, normaal of breed. Dit doet het op basis van drie metingen die rekening houden met de verhoudingen tussen palm breedte, palm lengte en vingerlengte.

Na een succesvolle classificatie, wordt het handgebaarherkenningproces vergeleken met opgeslagen voorbeelden van hetzelfde handtype.

“Traditionele eenvoudige algoritmes hebben vaak last van lage herkenningssnelheden omdat ze niet kunnen omgaan met verschillende handtypen. Door eerst het invoergebaar te classificeren op handtype en vervolgens gebruik te maken van voorbeeldbibliotheken die overeenkomen met dit type, kunnen we de algehele herkenningssnelheid verbeteren met bijna nihil resourceverbruik,” zegt Yu.

De prerecognitiefase

De methode van het team is ook afhankelijk van het gebruik van een “shortcut-functie” om een prerecognitiefase uit te voeren. Het herkenningalgoritme kan een invoergebaar van negen mogelijke gebaren identificeren, maar het is extreem tijdrovend om alle kenmerken van het invoergebaar te vergelijken met die van de opgeslagen voorbeelden voor alle mogelijke gebaren.

Om dit te overwinnen, berekent de prerecognitiefase van het algoritme een verhouding van het oppervlak van de hand om de drie meest waarschijnlijke gebaren van de negen mogelijke te selecteren. Dit brengt het aantal kandidaatgebaren terug tot drie, en het definitieve gebaar wordt beslist door een meer complexe en nauwkeurige kenmerkextractie op basis van “Hu-invariante momenten.”

“De prerecognitiefase voor gebaren vermindert niet alleen het aantal berekeningen en hardwarebronnen die nodig zijn, maar verbetert ook de herkenningssnelheid zonder de nauwkeurigheid te compromitteren,” zegt Yu.

Het algoritme werd getest op een commerciële PC-processor en een FPGA-platform met een USB-camera. Het team vroeg 40 vrijwilligers om de negen handgebaren meerdere keren te maken, en 40 anderen werden gebruikt om de nauwkeurigheid van het systeem te bepalen.

Het systeem toonde aan dat het handgebaren in real-time kon herkennen met een nauwkeurigheidsgraad van meer dan 93%. Dit was het geval, zelfs wanneer de invoergebaarafbeeldingen werden geroteerd, getransformeerd of geschaald.

De onderzoekers zeggen dat ze nu zullen proberen de prestaties van het algoritme te verbeteren onder verschillende lichtomstandigheden, evenals het aantal mogelijke gebaren te vergroten.