AI-modell förutsäger hur vi skriver på pekskärmar

En ny artificiell intelligens (AI) modell som utvecklats av forskare vid Aalto-universitetet och Finska centret för artificiell intelligens (FCAI) är den första i sitt slag som kan förutsäga hur vi rör oss med ögonen och fingrarna när vi skriver på skärmar. Den nya utvecklingen ger en ny insikt i denna svåra färdighet, som tvingar oss att lita till vår syn för att skriva och upptäcka fel samtidigt.

AI-modellen kan simulera hur en individ skriver en mening på vilken tangentbordsdesign som helst, och den både gör och upptäcker fel. Medan felen inte alltid upptäcks omedelbart, kan AI-modellen korrigera dem precis som vi. En annan aspekt av AI-modellen är att den kan förutsäga hur människors skrivstilar förändras beroende på omständigheterna, såsom autocorrect eller olika tangentbordsdesign.

Dr. Jussi Jokinen ledde arbetet med den nya AI-modellen, som presenterades den här månaden på ACM CHI den 12 maj.

“Tidigare har pekskärmskrivning förståtts främst från perspektivet hur våra fingrar rör sig”, säger Jokinen. “AI-baserade metoder har hjälpt till att kasta nytt ljus över dessa rörelser: vad vi har upptäckt är vikten av att bestämma när och var man ska titta. Nu kan vi göra mycket bättre förutsägelser om hur människor skriver på sina telefoner eller surfplattor.”

“Nu när vi har en realistisk simulering av hur människor skriver på pekskärmar, bör det vara mycket lättare att optimera tangentbordsdesign för bättre skrivning – vilket innebär färre fel, snabbare skrivning och, vad som är viktigast för mig, mindre frustration”, fortsätter Jokinen.

https://www.youtube.com/watch?v=6cl2OoTNB6g&t=1s

Hantering av olika typer av användare

AI-modellen fungerar inte bara med en typ av generisk användare, utan den kan anpassas efter olika typer av användare. Detta kan inkludera personer med motoriska funktionshinder, som AI-modellen kan hjälpa genom att utveckla skrivhjälpmedel eller specifika gränssnitt.

Utöver medicinska problem kan AI-modellen också hantera personer med olika skrivstilar genom att identifiera mönster när en person upprepar fel i texter. Med denna data kan den bästa typen av tangentbord eller autocorrect-system för en person bestämmas.

Teamets tidigare arbete

Forskarna byggde tidigare sitt arbete kring en kognitiv modell av hur människor skriver, vilket ledde till skapandet av en generativ modell som kunde skriva på egen hand. Allt detta är en del av projektet Interactive AI vid Finska centret för artificiell intelligens.

Forskningen bygger tungt på förstärkt inlärning, som fungerar genom att skapa ett belöning- och/eller straffsystem, ofta används för att lära robotar att lösa problem genom trial and error. Förstärkt inlärning användes av teamet för att simulera människor den här gången, och det möjliggjorde för dem att generera beteende som liknar människors.

“Vi gav modellen samma förmågor och begränsningar som vi, som människor, har. När vi bad den att skriva effektivt, kom den på hur den bäst kunde använda dessa förmågor. Slutresultatet är mycket likt hur människor skriver, utan att vi behövde lära modellen med mänskliga data”, säger Jokinen.

När den jämförs med mänskliga skrivdata, var den nya modellens förutsägelser korrekta. Teamet syftar nu till att simulera långsamma och snabba skrivtekniker, vilket kan hjälpa till i designen av läromoduler för personer som vill förbättra sina skrivfärdigheter.