AI-model voorspelt hoe we typen op aanraakschermen

Een nieuwe kunstmatige intelligentie (AI)-model ontwikkeld door onderzoekers van de Aalto Universiteit en het Fins Centrum voor Kunstmatige Intelligentie (FCAI) is het eerste van zijn soort dat voorspelt hoe we onze ogen en vingers bewegen wanneer we typen op schermen. De nieuwe ontwikkeling biedt een frisse kijk op deze moeilijke vaardigheid, die ons dwingt om te vertrouwen op ons gezichtsvermogen om te typen en fouten tegelijkertijd te detecteren.

De AI is in staat om te simuleren hoe een individu een zin zou typen op elk toetsenbordontwerp en het maakt en detecteert fouten. Hoewel de fouten niet altijd meteen worden opgemerkt, kan de AI ze corrigeren, net als wij. Een ander aspect van de AI is dat het kan voorspellen hoe de schrijfstijl van mensen verandert afhankelijk van de omstandigheden, zoals een autocorrectie of een ander toetsenbordontwerp.

Dr. Jussi Jokinen leidde het werk aan het nieuwe AI-model, dat deze maand op 12 mei werd gepresenteerd op ACM CHI.

“Vroeger werd touchscreen-typen voornamelijk begrepen vanuit het perspectief van hoe onze vingers bewegen,” zegt Jokinen. “AI-gebaseerde methoden hebben ons geholpen om nieuw licht te werpen op deze bewegingen: wat we hebben ontdekt is het belang van beslissen wanneer en waar we kijken. Nu kunnen we veel betere voorspellingen doen over hoe mensen typen op hun telefoons of tablets.”

“Nu we een realistische simulatie hebben van hoe mensen typen op aanraakschermen, zou het veel gemakkelijker moeten zijn om toetsenbordontwerpen te optimaliseren voor beter typen – minder fouten, sneller typen en, het allerbelangrijkste voor mij, minder frustratie,” vervolgt Jokinen.

https://www.youtube.com/watch?v=6cl2OoTNB6g&t=1s

Rekening houden met verschillende soorten gebruikers

Het AI-model werkt niet alleen met één type generieke gebruiker, maar het kan zich aanpassen aan verschillende soorten gebruikers. Dit kan individuen met motorische beperkingen omvatten, waarbij de AI kan helpen door het ontwikkelen van typ-hulpmiddelen of specifieke interfaces.

Buiten medische problemen om kan de AI ook rekening houden met individuen met verschillende schrijfstijlen door dingen te doen zoals het identificeren van patronen wanneer een individu herhaalde fouten maakt in teksten. Met deze gegevens kan het beste type toetsenbord of autocorrectiesysteem voor een individu worden bepaald.

Het vorige werk van het team

De onderzoekers hebben eerder gewerkt aan een cognitief model van de manier waarop mensen typen, wat leidde tot de creatie van een generatief model dat zelf kon typen. Dit maakt allemaal deel uit van het project Interactive AI bij het Fins Centrum voor Kunstmatige Intelligentie.

Het onderzoek is sterk afhankelijk van versterkend leren, dat werkt door een beloning- en/of strafsysteem te creëren, vaak gebruikt om robots te leren hoe ze problemen kunnen oplossen door trial and error. Versterkend leren werd door het team gebruikt om mensen te simuleren en het stelde hen in staat om gedrag te genereren dat vergelijkbaar is met dat van mensen.

“We hebben het model dezelfde capaciteiten en beperkingen gegeven als wij, als mensen, hebben. Toen we het vroegen om efficiënt te typen, ontdekte het hoe het zijn capaciteiten het beste kon gebruiken. Het eindresultaat is heel erg vergelijkbaar met hoe mensen typen, zonder dat we het model hoefden te leren met menselijke gegevens,” zegt Jokinen.

Wanneer vergeleken met menselijke typgegevens, waren de voorspellingen van het nieuwe model nauwkeurig. Het team streeft ernaar om langzame en snelle typotechnieken te simuleren, wat kan helpen bij het ontwerp van leermodules voor individuen die hun typvaardigheden willen verbeteren.