En AI-drevet usynlig mobil tastatur som lar deg skrive 157% raskere

Forskere fra Sør-Korea har brukt maskinlærings-teknikker til å utvikle et “usynlig” tastatur for mobile enheter med begrensede plasser, som lar brukerne skrive 157,5% raskere, selv om det ikke er noe tastatur å se på skjermen.

Brukerresponsen til den nye metoden – kalt enkelt Invisible Mobile Keyboard (IMK) – er rapportert å være svært positiv, med testbrukere som rapporterer lavt nivå av fysisk, mental og tidsmessig krav mens de bruker tastaturet. Når det gjelder effektivitet, overgår IMK lett den nyeste alternative innmatningsmetoden, og når en vanguard-score på 51,6 ord per minutt.

Det usynlige tastaturet

For å starte å generere innmatning, kan brukerne enkelt begynne å skrive på skjermen, som om det var et tastatur å se (selv om det ikke er). Ingen popup-vinduer dukker opp for å forstyrre utsikten over innholdet, og de skrevne ordene vil dukke opp i enhver tekstboks hvor innmatningen starter, og eventuelt som en tynn strøm av tekst som brukeren kan sjekke for nøyaktighet.

Systemet selvjusterer fra øyeblikket det gjenkjenner innmatning. Derfor kan brukeren ha mobiltelefonen i landskaps- eller portrettmodus, og bruke hele den tilgjengelige skjermrommet til å skrive ut tekstene sine.

I en tilhørende video (se slutten av artikkelen, og bildet rett under) illustrerer forfatterne av papiret hvordan handlingen fungerer, selv om de presiserer at det ikke er noen faktisk tastatur som dukker opp under innmatning (det er bare der for illustrasjonsformål i videoen):

Dette er et eksempel på IMK på datasinnsamlingstadiet, selv om det fungerer identisk i sluttbruk. Tastaturet som dukker opp er bare for illustrasjonsformål, og dukker ikke opp for brukeren hverken under datasinnsamlingen eller i sluttbruk av grensesnittet. Kilde: https://www.youtube.com/watch?v=PuhiVGOfIR0

Skriving som et koordinatsystem

Forskningen stammer fra Korea Advanced Institute of Science and Technology (KAIST), og utnytter vår naturlige evne til å “plotte” hvor neste tast ligger på et tastatur. Selv om det kan virke motintuitivt å skjule tastaturet og forvente at brukerens finger finner neste ønskede tast, er det faktisk slik at selv en gjennomsnittlig skriver instinktivt søker etter riktig karakter.

Effektivt behandler IMK tastaturet som en plot-matrise, og forfatterne har samlet en omfattende database av brukerinnmatning for å supplere data til systemets Self-Attention Neural Character Decoder (SA-NCD) for å trene mot.

SA-NCD vil merke posisjonen til en “tast-fall” og beregne sannsynligheten for hvilken tast som var ønsket. Mens ord bygges opp gjennom tastetrykk, kan SA-NCD samle og bryte opp karakterene i deres respektive ønskede ord, og rense innmatningen på en live-basis.

Nettverksarkitekturen til SA-NCD, hvor Q/K/V står for spørring, nøkkel og verdi for selv-oppmerksomhet. Kilde: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD venter ikke på fullføring av en mulig setning, siden det ikke har noen ide om når setningen innmatning vil slutte, og mens et ord eller flere ord legges til i frasen, kan det revidere og om-skrev tidligere tolkninger fra setningen i lys av den nyeste innmatningen.

Database

For å drive treningsprosessen, samlet forskerne rundt to millioner par av berøringspunkter og tekst fra testpersoner, som brukte en enkel nettside-basert grensesnitt tilgang fra berøringskapable mobile enheter.

Datasettet inneholder brukerens initialer, skjermstørrelsen på deres enhet, deres alder, typen mobil enhet som ble brukt (dvs. nettbrett, smarttelefon osv.), og x- og y-koordinatverdier for hver registrert tast.

Gjennomsnittsposisjoner for tast-fall blant brukere, med punkter av samme farge som indikerer tast-fall fra samme brukere. Å identifisere samme-brukerdata hjelper å optimalisere datasettet og unngå overfitting ved å sammenligne gjennomsnittlige tast-fall-grupperinger fra enkelt-brukere, i stedet for å trene en enkelt brukers tastetrykk mot hverandre.

Treningsprosessen måtte ta hensyn til de merkede variasjonene i gjennomsnittlig pikselavstand mellom slag blant brukere. Noen brukere, kanskje de som er vant til svært trang programmerings-tastatur, beholdt en gjennomsnittlig avstand på bare 50 piksler på z-aksen, mens andre beholdt en gjennomsnittlig avstand på 300 piksler.

Disse forskjellene er kritiske, ettersom i tilfelle av y-aksen, ville en feil plassere tast-fallet på feil rad, og erstatte for eksempel en ‘I’ eller en ‘M’ med den ønskede ‘K’-tast.

Arkitektur og trening

SA-NCD består av to dekoder-moduler: en geometrisk dekoder, som beregner hvor på det usynlige tastaturet et tastetrykk var ment å falle; og en semantisk dekoder, som håndterer live-tolkning av innmatningen.

Den geometriske dekoderen bruker Bidirectional GRU (BiGRU), med GRU adoptert som et Resurrent Neural Network (RNN), med fremover- og bakover-gående passasjer som muliggjør en konstant endring av tolkningen av setningen.

Den semantiske komponenten bruker en Transformer-arkitektur, som tolker innmatning etter at den har passert gjennom en “confidence masking”-prosess designet til å sammenligne gjennomsnittlig bruk mot den nye spesifikke tast-fall. Den semantiske dekoderen ble trent som en maskert karakter-språkmodell mot One Billion Word Benchmark, et samarbeid fra 2014 mellom Google, Cambridge University og University of Edinburgh.

Resultater

I tester kunne brukerne skrive 157,5% raskere med IMK enn med tredjeparts-programvare-tastaturer på egne smarttelefoner. Videre ble det funnet at IMK overgikk resultater fra rivaliserende nye metoder, som gest-basert, berørings-basert og ti-finger tekst-innmatningsmetoder fra de siste årene. Papiret rapporterer at brukerne viste høy tilfredshet med systemet.

Se forfatternes video nedenfor for å finne ut mer om IMK.