AI-model forudser, hvordan vi skriver på touchskærme

Et nyt kunstig intelligens-model (AI) udviklet af forskere fra Aalto University og det Finske Center for Kunstig Intelligens (FCAI) er den første af sin art til at forudse, hvordan vi flytter vores øjne og fingre, når vi skriver på skærme. Den nye udvikling giver nye indsighter i denne vanskelige færdighed, som tvinger os til at stole på vores syn for at skrive og opdage fejl samtidig.

AI’en er i stand til at simulere, hvordan en person ville skrive en sætning på enhver tastaturdesign, og den både laver og opdager fejl. Selvom fejlene ikke altid opdages med det samme, er AI’en i stand til at korrigere dem ligesom os. En anden aspekt af AI’en er, at den kan forudse, hvordan menneskers skrivestile ændrer sig afhængigt af de givne omstændigheder, såsom en auto-korrektur eller forskelligt tastaturdesign.

Dr. Jussi Jokinen ledte arbejdet med den nye AI-model, som blev præsenteret denne måned på ACM CHI den 12. maj.

“Tidligere er touchscreen-skrivning primært blevet forstået fra perspektivet af, hvordan vores fingre flytter sig,” siger Jokinen. “AI-baserede metoder har hjulpet os til at kaste ny lys over disse bevægelser: det, vi har opdaget, er vigtigheden af at beslutte, hvornår og hvor man skal kigge. Nu kan vi gøre langt bedre forudsigelser om, hvordan mennesker skriver på deres telefoner eller tabletter.”

“Nu, hvor vi har en realistisk simulation af, hvordan mennesker skriver på touchskærme, burde det være meget lettere at optimere tastaturdesign til bedre skrivning – det vil sige færre fejl, hurtigere skrivning og, det vigtigste for mig, mindre frustration,” fortsætter Jokinen.

https://www.youtube.com/watch?v=6cl2OoTNB6g&t=1s

Regnskab for forskellige typer af brugere

AI-modellen fungerer ikke kun med en type generisk bruger, men den kan tilpasse sig efter forskellige typer af brugere. Dette kan inkludere personer med motoriske handicap, som AI’en kunne hjælpe med ved at udvikle skrivningshjælpemidler eller specifikke grænseflader.

Uden for medicinske problemer kan AI’en også tage hensyn til personer med forskellige skrivestile ved at gøre ting som at identificere mønstre, når en person gentagne gange laver fejl i tekster. Med denne data kan den bedste type tastatur eller auto-korrektursystem for en person bestemmes.

Teamets tidligere arbejde

Forskerne byggede tidligere deres arbejde omkring en kognitiv model af, hvordan mennesker skriver, hvilket ledte til skabelsen af en generativ model, der kunne skrive selv. Alt dette er en del af projektet Interactive AI på det Finske Center for Kunstig Intelligens.

Forskningen afhænger stærkt af forstærkningslæring, som fungerer ved at oprette et belønnings- og/eller straffsystem, ofte brugt til at lære robotter at løse problemer gennem prøvning og fejl. Forstærkningslæring blev brugt af teamet til at simulere mennesker denne gang, og det gjorde det muligt for dem at generere adfærd, der ligner menneskers.

“Vi gav modellen de samme evner og begrænsninger, som vi, som mennesker, har. Når vi bad den om at skrive effektivt, fandt den ud af, hvordan den bedst kunne bruge disse evner. Resultatet er meget lig til, hvordan mennesker skriver, uden at skulle lære modellen med menneskelig data,” siger Jokinen.

Når det sammenlignes med menneskelig skrivningsdata, var den nye modells forudsigelser nøjagtige. Teamet sigter nu mod at simulere langsomme og hurtige skrivningsteknikker, hvilket kunne hjælpe med designet af læringsmoduler for personer, der søger at forbedre deres skrivningsfærdigheder.