En AI-dreven usynlig mobil tastatur, der giver 157% hurtigere skrivning

Forskere fra Sydkorea har brugt maskinelærings-teknikker til at udvikle en ‘usynlig’ tastatur til mobile enheder med begrænsede plads, der giver brugerne mulighed for at skrive 157,5% hurtigere, selv om der ikke er nogen tastatur synligt på skærmen.

Brugernes respons på den nye metode – kaldet Invisible Mobile Keyboard (IMK) – er rapporteret at være meget positiv, med testbrugere, der oplever lav fysisk, mental og tidsmæssig krav, når de bruger tastaturet. I forhold til effektivitet overgår IMK let den seneste alternative indtastningsmetode, med en vanguard-score på 51,6 ord per minut.

Den fantom-tastatur

For at starte med at generere input kan brugerne simpelthen begynde at skrive på skærmen, som om der var et tastatur synligt (selv om der ikke er). Ingen pop-up-visning kommer op for at forstyrre visningen af indholdet, og de skrevne ord vil dukke op i enhver modtagelig tekstboks, hvor skrivningen starter, og som en tynd strøm af tekst, som brugeren kan kontrollere for nøjagtighed.

Systemet selvkalibrerer fra det øjeblik, det genkender input. Derfor kan brugeren have den mobile enhed i landskabs- eller portræt-tilstand og bruge hele den tilgængelige skærmplads til at skrive ud.

I en ledsagende video (se slutningen af artiklen og billedet lige under) viser forfatterne af artiklen, hvordan handlingen fungerer, selv om de understreger, at der ikke er noget tastatur, der vises under indtastning (det er kun der for illustrationens skyld i videoen):

Dette er et eksempel på IMK i dataindsamlingens fase, selv om det fungerer identisk i slutbrug. Tastaturet, der vises, er kun til illustrationens skyld og vises ikke for brugeren under dataindsamling eller i slutbrug af grænsefladen. Kilde: https://www.youtube.com/watch?v=PuhiVGOfIR0

Skrivning som et koordinatsystem

Forskningen stammer fra Korea Advanced Institute of Science and Technology (KAIST) og udnytter vores naturlige evne til at ‘plotte’, hvor den næste tast er på et tastatur. Selv om det kan synes counter-intuitivt at skjule tastaturet og forvente, at brugeren finder den næste ønskede tast, er det faktisk sådan, at selv en gennemsnitlig skriver instinktivt søger efter den korrekte karakter.

Effektivt behandler IMK tastaturet som en plot-matrix, og forfatterne har samlet en omfattende database af brugerinput for at supplere data til systemets Self-Attention Neural Character Decoder (SA-NCD) til træning.

SA-NCD vil notere positionen af en ‘tast-fald’ og beregne sandsynligheden for, hvilken tast der var ønsket. Da ord bygges op gennem tastetryk, kan SA-NCD samle og opdele karaktererne i deres bestående ønskede ord, rense indtastningen på en live-basis.

Netværksarkitekturen af SA-NCD, hvor Q/K/V står for forespørgsel, tast og værdi af selv-opmærksomhed. Kilde: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD venter ikke på afslutning af en mulig sætning, da den ikke har nogen idé om, hvornår sætningen vil slutte, og da et ord eller ord tilføjes til sætningen, kan den genbesøge og gen-skrive tidligere fortolkninger af sætningen i lyset af den seneste input.

Database

For at drive træningsprocessen samlede forskerne omkring to millioner par af berøringspunkter og tekst fra testpersoner, der brugte en enkel web-baseret grænseflade, der kunne tilgås fra berøringsforsvarlige mobile enheder.

Datasettet indeholder brugerens initialer, skærmstørrelsen på deres enhed, deres alder, typen af mobil enhed, der blev brugt (f.eks. tablet, smartphone osv.), og x- og y-koordinatværdierne af hver registreret tast.

Gennemsnitspositioner af tast-fald blandt brugere, med prikker af samme farve, der betegner tast-fald fra samme brugere. At identificere samme-brugerdata hjælper med at optimere datasettet og undgå overfitning ved at sammenligne gennemsnitsgrupperinger af tast-fald fra enkeltbrugere, i stedet for at træne en enkelt brugers tastetryk mod hinanden.

Træningen skulle tage hensyn til de bemærkelsesværdige variationer i gennemsnitlig pixelafstand mellem streger blandt brugere. Nogle brugere, måske dem, der er vant til meget små software-tastaturer, havde en gennemsnitlig afstand på kun 50 pixels på z-aksen, mens andre havde en gennemsnitlig afstand på 300 pixels.

Disse forskelle er kritiske, da en fejl i tilfældet af y-aksen ville placere tast-faldet på den forkerte række, og erstatter f.eks. en ‘I’ eller en ‘M’ med den ønskede ‘K’-bevægelse.

Arkitektur og træning

SA-NCD består af to dekodermoduler: en geometrisk dekoder, der beregner, hvor på det usynlige tastatur et tastetryk var ment til at falde; og en semantisk dekoder, der håndterer livefortolkning af indtastningen.

Den geometriske dekoder bruger Bidirectional GRU (BiGRU), med GRU adopteret som et Recurrent Neural Network (RNN), med fremad- og baglæns-passager, der faciliterer en konstant ændring af sætningens fortolkning.

Den semantiske komponent bruger en Transformer-arkitektur, der fortolker input efter det er passeret gennem en ‘confidence-masking’-proces, der er designet til at sammenligne gennemsnitlig brug mod den nye specifikke tast. Den semantiske dekoder blev trænet som en maskeret karakter-sprogmodel mod One Billion Word Benchmark, et samarbejde fra 2014 mellem Google, Cambridge University og University of Edinburgh.

Resultater

I tests kunne brugerne skrive 157,5% hurtigere med IMK end med tredjeparts software-tastaturer på deres egne smartphones. Desuden overgik IMK resultaterne fra rivaliserende nye metoder, såsom gesturbaserede, berøringsbaserede og ti-finger tekstindtastningsmetoder fra de seneste år. Artiklen rapporterer, at brugerne viste høj tilfredshed med systemet.

Se forfatternes video nedenfor for at få mere at vide om IMK.