AI vadīta neredzamā mobilā tastatūra, kas ļauj rakstīt par 157% ātrāk

Pētnieki no Dienvidkorejas ir izmantojuši mašīnmācīšanās paņēmienus, lai izstrādātu “neredzamu” tastatūru mobilajām ierīcēm, kuru telpa ir ierobežota, kas ļauj lietotājiem rakstīt par 157.5% ātrāk, lai gan ekrānā nav redzama neviena tastatūra.

Lietotāja atbilde uz jaunā metode Tiek ziņots, ka tā saukta vienkārši par neredzamo mobilo tastatūru (IMK) ir ļoti pozitīva, jo testa lietotāji ziņo par zemu fizisko, garīgo un īslaicīgo pieprasījumu, lietojot tastatūru. Efektivitātes ziņā IMK nedaudz pārspēj jaunāko jaunāko alternatīvo ievades metodi, sasniedzot avangarda rādītāju 51.6 vārdi minūtē.

Fantoma tastatūra

Lai sāktu ievadīt ievadi, lietotāji var vienkārši sākt rakstīt ekrānā tā, it kā būtu redzama tastatūra (lai gan tādas nav). Nekas neparādās, kas traucētu skatīt saturu, un drukātie vārdi tiks parādīti jebkurā uztverošā tekstlodziņā, kurā tiek rakstīts, un pēc izvēles kā plāna teksta straume, kuras precizitāti lietotājs var pārbaudīt.

Sistēma paškalibrē no brīža, kad tā atpazīst ievadi. Tāpēc lietotājs var iestatīt mobilo ierīci ainavas vai portreta režīmā un izmantot visu pieejamo ekrāna vietu, lai ierakstītu savu tekstu.

Pievienotajā videoklipā (skatiet raksta beigas un attēlu tieši zemāk) darba autori ilustrē, kā darbība darbojas, lai gan viņi paskaidro, ka ievades laikā neparādās faktiskā tastatūra (video ir tikai ilustratīviem nolūkiem):

Šis ir IMK piemērs datu vākšanas posmā, lai gan galapatēriņā tas darbojas identiski. Parādītā tastatūra ir paredzēta tikai ilustratīviem nolūkiem, un tā lietotājam netiek rādīta ne datu vākšanas procesa laikā, ne saskarnes galīgajā lietošanā.. Avots: https://www.youtube.com/watch?v=PuhiVGOfIR0

Rakstīšana kā koordinātu sistēma

Pētījuma avots ir Korejas Zinātņu un tehnoloģiju institūts (KAIST), un tajā tiek izmantota mūsu dabiskā spēja “uzzīmēt”, kur tastatūrā atrodas nākamais taustiņš. Lai gan var šķist, ka tastatūras paslēpšana un lietotāja pirksts atradīs nākamo vajadzīgo taustiņu, patiesībā pat vidusmēra mašīnrakstītājs instinktīvi meklē pareizo rakstzīmi.

IMK efektīvi apstrādā tastatūru kā diagrammas matricu, un autori ir apkopojuši plašu lietotāja ievadīto datu datubāzi, lai nodrošinātu datus sistēmas pašapziņas neironu rakstzīmju dekodētājam (SA-NCD), pret kuru trenēties.

SA-NCD atzīmēs “atslēgas krišanas” pozīciju un aprēķinās, kāda ir vēlamā atslēga. Kad vārdi tiek veidoti, nospiežot taustiņus, SA-NCD var apkopot un sadalīt rakstzīmes paredzētajos vārdos, iztīrot ievadi reāllaikā.

SA-NCD tīkla arhitektūra, kur Q/K/V apzīmē vaicājumu, atslēgu un sevis uzmanības vērtību. Avots: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD negaida iespējamā teikuma pabeigšanu, jo tam nav ne jausmas, kad teikuma ievade beigsies, un, kad frāzei tiek pievienots vārds vai vārdi, tas var atkārtoti apmeklēt un pārrakstīt iepriekšējās interpretācijas no teikumu, ņemot vērā jaunāko ievadi.

Datubāze

Lai veicinātu apmācības procesu, pētnieki savāca aptuveni divus miljonus pieskāriena punktu pāru un teksta no testa subjektiem, kuri izmantoja vienkāršu tīmekļa saskarni, kurai piekļuva no mobilajām ierīcēm ar skārienjūtību.

Datu kopā ir lietotāja vārda iniciāļi, ierīces ekrāna lielums, vecums, izmantotās mobilās ierīces veids (piemēram, planšetdators, viedtālrunis utt.) un katra reģistrētā atslēgvārda x un y koordinātu vērtības.

Vidējās atslēgu kritienu pozīcijas lietotāju vidū ar identiskas krāsas punktiem, kas apzīmē vienu un to pašu lietotāju atslēgu nokrišanu. Viena lietotāja datu identificēšana palīdz optimizēt datu kopu un izvairīties no pārmērīgas pielāgošanas, salīdzinot atsevišķu lietotāju vidējās atslēgvārdu grupas, nevis apmācot viena lietotāja taustiņu nospiešanas vienu pret otru.

Apmācībā bija jāņem vērā ievērojamās atšķirības starp lietotāju vidējo pikseļu attālumu starp sitieniem. Daži lietotāji, iespējams, tie, kas ir pieraduši pie ļoti šaurām programmatūras tastatūrām, saglabāja vidējo attālumu starp taustiņiem tikai 50 pikseļus uz z ass, bet citi vidēji bija 300 pikseļi.

Šīs atšķirības ir būtiskas, jo Y ass gadījumā kļūdas dēļ atslēgu nokritums tiktu novietots nepareizā rindā, aizstājot, piemēram, ar “I” vai “M” paredzēto “K” gājienu.

Arhitektūra un apmācība

SA-NCD sastāv no diviem dekodera moduļiem: ģeometriskā dekodētāja, kas aprēķina, kur uz neredzamās tastatūras bija paredzēts nospiest taustiņu; un semantisko dekodētāju, kas apstrādā ievades teksta tiešo interpretāciju.

Ģeometriskais dekodētājs izmanto divvirzienu GRU (BiGRU), kurā GRU ir pieņemts kā atkārtots neironu tīkls (RNN), ar uz priekšu un atpakaļ pieejām, kas veicina pastāvīgi mainīgu teikuma interpretāciju.

Semantiskais komponents izmanto a Transformators arhitektūra, kas interpretē ievadi pēc tam, kad tā ir izgājusi "uzticamības maskēšanas" procesu, kas paredzēts, lai salīdzinātu vidējo lietojumu ar jauno īpašo atslēgu. Semantiskais dekodētājs tika apmācīts kā maskēta rakstzīmju valodas modelis pret Viena miljarda vārdu etalons, 2014. gada sadarbība starp Google, Kembridžas Universitāti un Edinburgas Universitāti.

rezultāti

Testos lietotāji varēja rakstīt par 157.5% ātrāk, izmantojot IMK, nekā ar trešās puses programmatūras tastatūrām savos viedtālruņos. Turklāt tika konstatēts, ka IMK pārspēja rezultātus, kas iegūti ar konkurējošām jaunām metodēm, piemēram, uz žestiem balstītām, pieskārienu un desmit pirkstu teksta ievades metodēm pēdējos gados. Rakstā ziņots, ka lietotāji ir bijuši ļoti apmierināti ar sistēmu.

Lai uzzinātu vairāk par IMK, skatiet tālāk redzamo autoru video.