Neviditeľná mobilná klávesnica riadená AI, ktorá vám umožní písať o 157 % rýchlejšie

Výskumníci z Južnej Kórey použili techniky strojového učenia na vývoj „neviditeľnej“ klávesnice pre mobilné zariadenia s obmedzeným priestorom, ktorá používateľom umožňuje písať o 157.5 % rýchlejšie, aj keď na obrazovke nie je viditeľná žiadna klávesnica.

Reakcia používateľa na Nová metóda – nazývaná jednoducho Invisible Mobile Keyboard (IMK) – je hlásená ako veľmi pozitívna, pričom testovací používatelia hlásia nízku úroveň fyzickej, mentálnej a časovej náročnosti pri používaní klávesnice. Pokiaľ ide o efektívnosť, IMK mierne prevyšuje najnovšiu najmodernejšiu metódu alternatívneho zadávania, pričom dosahuje skóre predvoja 51.6 slov za minútu.

Fantómová klávesnica

Ak chcete začať generovať vstup, používatelia môžu jednoducho začať písať na obrazovke, ako keby bola viditeľná klávesnica (hoci žiadna nie je). Nič sa neobjaví, čo by bránilo zobrazeniu obsahu, a napísané slová sa objavia v akomkoľvek receptívnom textovom poli, z ktorého písanie pochádza, a voliteľne ako tenký prúd textu, ktorého presnosť môže používateľ skontrolovať.

Systém sa automaticky kalibruje od okamihu, keď rozpozná vstup. Používateľ teda môže mať mobilné zariadenie v režime na šírku alebo na výšku a využiť celý dostupný priestor na obrazovke na písanie svojho textu.

V sprievodnom videu (pozri koniec článku a obrázok priamo nižšie) autori dokumentu ilustrujú, ako akcia funguje, aj keď objasňujú, že počas zadávania sa nezobrazuje žiadna skutočná klávesnica (vo videu je to len na ilustračné účely):

Toto je príklad IMK vo fáze zberu údajov, hoci pri konečnom použití funguje identicky. Klávesnica, ktorá sa zobrazí, slúži len na ilustračné účely a používateľovi sa nezobrazuje ani počas procesu zhromažďovania údajov, ani pri konečnom používaní rozhrania.. Zdroj: https://www.youtube.com/watch?v=PuhiVGOfIR0

Písanie ako súradnicový systém

Výskum pochádza z Kórejského pokročilého inštitútu vedy a technológie (KAIST) a využíva našu prirodzenú schopnosť „vykresliť“, kde je na klávesnici ďalší kláves. Hoci sa môže zdať neintuitívne skryť klávesnicu a očakávať, že prst používateľa nájde ďalší požadovaný kláves, v skutočnosti aj priemerný pisár inštinktívne zamieri k správnemu znaku.

IMK efektívne zaobchádza s klávesnicou ako s grafovou maticou a autori zostavili rozsiahlu databázu používateľských vstupov, aby poskytli údaje pre systémový dekodér samopozorných neurónových znakov (SA-NCD), s ktorým je možné trénovať.

SA-NCD zaznamená polohu „padnutia kľúča“ a vypočíta pravdepodobnosť, ktorý kľúč bol požadovaný. Keď sa slová vytvárajú stláčaním kláves, SA-NCD dokáže zostaviť a rozdeliť znaky do ich základných zamýšľaných slov, čím vyčistí vstup na živom základe.

Sieťová architektúra SA-NCD, kde Q/K/V znamená dopyt, kľúč a hodnotu sebapozorovania. Zdroj: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD nečaká na dokončenie možnej vety, pretože netuší, kedy sa zadávanie vety skončí, a keď sa k fráze pridá slovo alebo slová, môže znova navštíviť a prepísať predchádzajúce interpretácie z veta vo svetle najnovšieho vstupu.

databázy

S cieľom podporiť tréningový proces výskumníci zhromaždili približne dva milióny párov dotykových bodov a textu od testovacích subjektov, ktoré používali jednoduché webové rozhranie prístupné z mobilných zariadení s dotykovým ovládaním.

Súbor údajov obsahuje iniciály mena používateľa, veľkosť obrazovky jeho zariadenia, jeho vek, typ používaného mobilného zariadenia (napr. tablet, smartfón atď.) a hodnoty súradníc x a y každého zaregistrovaného keyfallu.

Priemerné pozície keyfallov medzi užívateľmi, pričom bodky rovnakej farby označujú keyfally od tých istých užívateľov. Identifikácia údajov rovnakého používateľa pomáha optimalizovať množinu údajov a vyhnúť sa preplneniu porovnaním priemerných skupín spádu klávesov od jednotlivých používateľov, a nie trénovať stlačenia klávesov jedného používateľa proti sebe.

Tréning musel brať do úvahy výrazné rozdiely v priemernej vzdialenosti pixelov medzi ťahmi medzi používateľmi. Niektorí používatelia, možno tí, ktorí sú zvyknutí na veľmi stiesnené softvérové ​​klávesnice, udržiavali priemernú vzdialenosť medzi klávesmi iba 50 pixelov na osi z, zatiaľ čo iní mali v priemere 300 pixelov.

Tieto rozdiely sú kritické, pretože v prípade osi Y by chyba umiestnila kľúč na nesprávny riadok a nahradila by napríklad „I“ alebo „M“ za zamýšľaný ťah „K“.

Architektúra a školenie

SA-NCD pozostáva z dvoch dekodérových modulov: geometrického dekodéra, ktorý vypočítava, kam na neviditeľnej klávesnici mal dopadnúť stlačenie klávesy; a sémantický dekodér, ktorý sa stará o živú interpretáciu vstupného textu.

Geometrický dekodér používa obojsmernú GRU (BiGRU), pričom GRU bola prijatá ako rekurentná neurónová sieť (RNN), s prechodmi dopredu a dozadu, ktoré uľahčujú neustále sa meniacu interpretáciu vety.

Sémantický komponent využíva a Transformer architektúra, ktorá interpretuje vstup po tom, čo prejde procesom „maskovanie dôvery“, ktorý je navrhnutý tak, aby porovnával priemerné využitie s novým špecifickým kľúčom. Sémantický dekodér bol trénovaný ako model maskovaného znakového jazyka proti Benchmark jednej miliardy slov, spolupráca medzi Google, Cambridge University a University of Edinburgh z roku 2014.

výsledky

V testoch boli používatelia schopní písať pomocou IMK o 157.5 % rýchlejšie ako so softvérovými klávesnicami tretích strán na vlastných smartfónoch. Ďalej sa zistilo, že IMK prekonala výsledky získané konkurenčnými novými metódami, ako sú gestá, dotykové a desaťprstové metódy zadávania textu z posledných rokov. V novinách sa uvádza, že používatelia preukázali vysokú spokojnosť so systémom.

Pozrite si video autorov nižšie, aby ste sa o IMK dozvedeli viac.