Älykäs näppäimistön näkymätön mobiilinäppäimistö, joka mahdollistaa 157% nopeamman kirjoittamisen

Etelä-Korean tutkijat ovat käyttäneet koneoppimismenetelmiä kehittääkseen “näkymättömän” näppäimistön tilanpuutteen kanssa kamppaileville mobiililaitteille, joka mahdollistaa käyttäjien kirjoittamisen 157,5 % nopeammin, vaikka näppäimistöä ei näy ruudulla.

Käyttäjien vastaus uuteen menetelmään – jota kutsutaan yksinkertaisesti Näkymättömäksi Mobiilinäppäimistöksi (IMK) – on ollut erittäin myönteinen, ja testikäyttäjät ovat ilmoittaneet alhaiset fyysiset, henkiset ja aikaiset vaatimukset näppäimistön käytön aikana. Tehokkuuden suhteen IMK ylittää hieman viimeisimmän valtioiden tason vaihtoehtoisen syötteen menetelmän, saavuttaen 51,6 sanan minuuttikohtaisen vauhdin.

Haamunäppäimistö

Käyttäjat voivat aloittaa syötteen antamisen vain aloittamalla kirjoittamisen ruudulla, ikään kuin näppäimistö olisi näkyvissä (vaikka sitä ei ole). Mitään ei tule esiin estämään sisällön näkymistä, ja kirjoitetut sanat tulevat näkyviin mihin tahansa tekstiruutuun, josta kirjoittaminen alkaa, ja valinnaisesti myös ohuen tekstivirran muodossa, jonka käyttäjä voi tarkistaa oikeellisuuden varmistamiseksi.

Järjestelmä itsekalibroituksen hetkestä lähtien, jolloin käyttäjä voi pitää mobiililaitetta maastoon tai pystykuvaan, ja käyttää koko saatavilla olevaa näytön tilaa kirjoittaakseen tekstiään.

Liitetyssä videossa (ks. artikkelin loppu ja kuva suoraan alla) tutkimuksen tekijät havainnollistavat, miten toiminto toimii, vaikka he selventävät, ettei näppäimistöä näytetä syötteen aikana (se on vain havainnollistamistarkoituksiin videossa):

Tämä on esimerkki IMK:sta tietojen keräämisen vaiheessa, vaikka se toimii identtisesti lopullisessa käytössä. Näppäimistö, joka näkyy, on vain havainnollistamistarkoituksiin, eikä se näy käyttäjälle syötteen aikana eikä lopullisessa käytössä. Lähde: https://www.youtube.com/watch?v=PuhiVGOfIR0

Kirjoittaminen koordinaatistojärjestelmänä

Tutkimus on peräisin Korean edistyneen tieteen ja teknologian instituutista (KAIST), ja se hyödyntää luonnollista kykyämme “piirtää” seuraavaa näppäintä näppäimistöllä. Vaikka se saattaa tuntua vastoin luonnetta piilottaa näppäimistö ja odottaa, että käyttäjän sormi löytää seuraavan halutun näppäimen, todellisuudessa keskivertotason kirjoittaja suunnistaa vaistomaisesti oikeaan merkkiin.

Toteutuneesti IMK kohdellaan näppäimistöä koordinaatistona, ja tutkijat ovat koonneet laajan tietokannan käyttäjien syötteistä, jotta voivat toimittaa dataa järjestelmän itsehuomioon perustuvan neuroniverkkodekooderin (SA-NCD) koulutukseen.

SA-NCD huomioi “näppäimen putoamisen” sijainnin ja laskee todennäköisyyden siitä, mikä näppäin on haluttu. Kun sanat muodostuvat näppäimistön painalluksista, SA-NCD voi koota ja jakaa merkit niiden koostuviksi tarkoitetuiksi sanoiksi, puhdistaa syötteen reaaliajassa.

SA-NCD:n verkkoarkkitehtuuri, jossa Q/K/V tarkoittavat kyselyä, avainta ja arvoa itsehuomioon. Lähde: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD ei odota mahdollisen lauseen valmistumista, koska se ei tiedä, milloin lauseen syöttäminen päättyy, ja kun sana tai sanat lisätään lauseeseen, se voi tarkastella ja korjata aiemmat tulkinnat lauseesta viimeisimmän syötteen valossa.

Tietokanta

Koulutusprosessin tarpeisiin tutkijat keräsivät noin kaksi miljoonaa paria kosketuspisteitä ja tekstiä testihenkilöiltä, jotka käyttivät yksinkertaista verkkopohjaista käyttöliittymää, jota pystyttiin käyttämään kosketusnäytöllisistä mobiililaitteista.

Tietokanta sisältää käyttäjän nimien alkukirjaimet, laitteen näytön koon, ikän, käytetyn mobiililaitteen tyypin (esim. tabletti, älypuhelin jne.) ja jokaisen rekisteröidyn näppäimen x- ja y-koordinaatit.

Käyttäjien keskimäiset näppäinten sijainnit, joissa samanväriset pisteet merkitsevät saman käyttäjän näppäimiä. Saman käyttäjän tietojen tunnistaminen auttaa tietokannan optimoimisessa ja yliajottamisen välttämisessä vertaamalla keskimääräisiä näppäimien ryhmiä yksittäisistä käyttäjistä, eikä kouluteta yhden käyttäjän näppäimistöä toistaan vastaan.

Koulutuksessa on otettava huomioon merkittävät keskimääräisten pikselien etäisyyksien vaihtelut käyttäjien välillä. Jotkut käyttäjät, jotka ovat tottuneet hyvin ahtaisiin ohjelmistoon perustuviin näppäimistöihin, ovat säilyttäneet keskimääräisen etäisyyden näppäinten välillä vain 50 pikseliä z-akselilla, kun taas toiset ovat keskimäärin 300 pikseliä.

Nämä erot ovat kriittisiä, koska y-akselin tapauksessa virhe asettaa näppäimen putoamisen väärälle riville, korvaten esimerkiksi “I”:n tai “M”:n halutun “K”:n merkillä.

Arkkitehtuuri ja koulutus

SA-NCD koostuu kahdesta dekooderimoduulista: geometrisesta dekooderista, joka laskee, mihin näkymättömään näppäimistöön näppäimen painallus on tarkoitettu; ja semanttisesta dekooderista, joka käsittelee syötetyn tekstin tulkintaa reaaliajassa.

Geometrisessa dekooderissa käytetään Bidirectional GRU:ta (BiGRU), jossa GRU on otettu käyttöön toistuvana neuroniverkkona (RNN), ja eteen- ja taaksepäin suuntautuvat kulut mahdollistavat jatkuvasti muuttuvan lauseen tulkinnan.

Semanttisessa osassa käytetään Transformer-arkkitehtuuria, joka tulkkaa syötettä sen jälkeen, kun se on kulkenut “luottamuksen peittämisen” prosessin kautta, joka vertaa keskimääräistä käyttöä uuteen näppäimen putoamiseen. Semanttinen dekooderi on koulutettu peitettynä merkkien kielen mallina One Billion Word Benchmark-tietokannassa, joka on vuoden 2014 yhteistyöhankkeen tuloksena Googlelta, Cambridgen yliopistosta ja Edinburghin yliopistosta.

Tulokset

Kokeissa käyttäjät pystyivät kirjoittamaan 157,5 % nopeammin IMK:lla kuin kolmannen osapuolen ohjelmistoon perustuvilla näppäimistöillä omilla älypuhelimillaan. Lisäksi todettiin, että IMK ylitti tulokset, jotka saavutettiin kilpailevien uusien menetelmien avulla, kuten ele- ja kosketusperusteisilla sekä kymmenen sormen tekstisyötön menetelmillä viime vuosina. Tutkimusraportti kertoo, että käyttäjät olivat tyytyväisiä järjestelmään.

Katso alla oleva videota, jotta voit tietää lisää IMK:sta.