AI-modell forutsier hvordan vi skriver på berørings-skjermer

Et nytt kunstig intelligens-modell (AI) utviklet av forskere ved Aalto Universitet og det Finske Senter for Kunstig Intelligens (FCAI) er den første av sin type til å forutsie hvordan vi flytter øynene og fingrene når vi skriver på skjermer. Den nye utviklingen gir ferske innsikt i denne vanskelige ferdigheten, som tvinger oss til å stole på sansen vår for å skrive og oppdage feil samtidig. 

AI-en er i stand til å simulere hvordan en person ville skrive en setning på enhver tastaturdesign, og den både gjør og oppdager feil. Mens feilene ikke alltid blir fanget med en gang, er AI-en i stand til å korrigere dem som oss. En annen del av AI-en er at den kan forutsie hvordan menneskers skrivestiler endrer seg avhengig av omstendighetene, som for eksempel en auto-korrektur eller forskjellig tastaturdesign. 

Dr. Jussi Jokinen ledet arbeidet med den nye AI-modellen, som ble presentert denne måneden på ACM CHI den 12. mai.

“Tidligere har berørings-skjeming blitt forstått hovedsakelig fra perspektivet på hvordan fingrene våre beveger seg,” sier Jokinen. “AI-baserte metoder har hjulpet å kaste nytt lys over disse bevegelsene: det vi har oppdaget er viktigheten av å bestemme når og hvor man skal se. Nå kan vi gjøre mye bedre forutsigelser på hvordan mennesker skriver på telefoner eller nettbrett.”

“Nå at vi har en realistisk simulering av hvordan mennesker skriver på berørings-skjermer, bør det være mye lettere å optimalisere tastaturdesign for bedre skriving — det vil si færre feil, raskere skriving og, viktigst for meg, mindre frustrasjon,” fortsetter Jokinen.

https://www.youtube.com/watch?v=6cl2OoTNB6g&t=1s

Regnskap for ulike typer brukere

AI-modellen fungerer ikke bare med en type generisk bruker, men den kan også tilpasse seg ulike typer brukere. Dette kan inkludere personer med motoriske funksjonshemninger, som AI-en kunne assistere ved å utvikle skrivingshjelpemidler eller spesifikke grensesnitt.

Utenfor medisinske problemer kan AI-en også regne med personer med ulike skrivestiler ved å gjøre ting som å identifisere mønster når en person gjør gjentakende feil i tekst. Med denne dataen kan den beste typen tastatur eller auto-korrektur-system for en person bestemmes. 

Teamets tidligere arbeid

Forskerne bygget tidligere sitt arbeid rundt en kognitiv modell av måten mennesker skriver, som ledet til skapelsen av en generativ modell som kunne skrive på egen hånd. Alt dette er en del av prosjektet Interaktiv AI ved det Finske Senter for Kunstig Intelligens. 

Forskningen bygger tungt på forsterkingslæring, som fungerer ved å skape et belønning- og/eller straffsystem, ofte brukt til å lære roboter å løse problemer gjennom prøving og feil. Forsterkingslæring ble brukt av teamet til å simulere mennesker denne gangen, og det enablet dem å generere atferd som er lignende menneskers’. 

“Vi ga modellen de samme evnene og grensene som vi, som mennesker, har. Når vi ba den om å skrive effektivt, fant den ut hvordan den beste måten å bruke disse evnene på. Resultatet er veldig likt hvordan mennesker skriver, uten å måtte lære modellen med menneskelig data,” sier Jokinen.

Når sammenlignet med menneskelig skrivingsdata, var den nye modellens forutsigelser nøyaktige. Teamet har nå som mål å simulere langsomme og raske skriveteknikker, som kunne hjelpe i designet av læringsmoduler for personer som ønsker å forbedre skriveferdighetene sine.