O tastatură mobilă invizibilă condusă de IA care vă permite să scrieți cu 157% mai rapid

Cercetătorii din Coreea de Sud au utilizat tehnici de învățare automată pentru a dezvolta o tastatură “invizibilă” pentru dispozitive mobile cu spațiu limitat, care permite utilizatorilor să scrie cu 157,5% mai rapid, chiar dacă nu există o tastatură vizibilă pe ecran.

Răspunsul utilizatorilor la noua metodă – numită simplu Tastatură Mobilă Invizibilă (IMK) – este raportat a fi foarte pozitiv, cu utilizatori de test care raportează niveluri scăzute de cerere fizică, mentală și temporală în timp ce utilizează tastatura. În ceea ce privește eficiența, IMK depășește ușor cea mai recentă metodă alternativă de intrare, ajungând la un punctaj de 51,6 cuvinte pe minut.

Tastatura Fantomă

Pentru a începe să genereze intrări, utilizatorii pot pur și simplu să înceapă să scrie pe ecran, ca și cum ar exista o tastatură vizibilă (deși nu există una). Nimic nu apare pentru a obstrucționa vederea conținutului, iar cuvintele scrise vor apărea în orice casetă de text receptivă unde se inițiază scrierea, și opțional ca un flux subțire de text pe care utilizatorul îl poate verifica pentru acuratețe.

Sistemul se auto-calibrează din momentul în care recunoaște intrarea. Prin urmare, utilizatorul poate avea dispozitivul mobil în modul peisaj sau portret și poate utiliza întreaga suprafață a ecranului disponibil pentru a-și scrie textul.

Într-un videoclip însoțitor (a se vedea sfârșitul articolului și imaginea de mai jos) autorii lucrării ilustrează modul în care funcționează acțiunea, deși clarifică faptul că nu apare o tastatură reală în timpul intrării (este acolo doar pentru scopuri ilustrative în videoclip):

Acesta este un exemplu de IMK la etapa de colectare a datelor, deși funcționează identic în utilizarea finală. Tastatura care apare este doar pentru scopuri ilustrative și nu apare utilizatorului nici în timpul procesului de colectare a datelor, nici în utilizarea finală a interfeței. Sursă: https://www.youtube.com/watch?v=PuhiVGOfIR0

Scrierea ca un sistem de coordonate

Cercetarea provine de la Institutul Avansat de Știință și Tehnologie din Coreea (KAIST) și exploatează abilitatea noastră naturală de a “plasa” unde următoarea tastă se află pe o tastatură. Deși poate părea contraintuitiv să ascundem tastatura și să ne așteptăm ca degetul utilizatorului să găsească următoarea tastă dorită, în realitate, chiar și un dactilograf mediu se îndreaptă instinctiv spre caracterul corect.

În mod eficient, IMK tratează tastatura ca o matrice de coordonate, iar autorii au compilat o bază de date extinsă de intrări ale utilizatorilor pentru a furniza date pentru decodatorul de caractere neuronale cu atenție proprie (SA-NCD) să se antreneze.

SA-NCD va nota poziția unei “căderi de tastă” și va calcula probabilitatea cărei taste a fost dorită. Pe măsură ce cuvintele se construiesc prin apăsarea tastelor, SA-NCD poate compila și descompune caracterele în cuvintele lor constitutive intenționate, curățând intrarea în timp real.

Arhitectura rețelei SA-NCD, unde Q/K/V reprezintă întrebarea, cheia și valoarea atenției proprii. Sursă: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD nu așteaptă finalizarea unei propoziții posibile, deoarece nu are nicio idee când se va încheia intrarea propoziției, și pe măsură ce un cuvânt sau cuvinte sunt adăugate la frază, poate reexamina și rescrie interpretări anterioare din propoziție în lumina noii intrări.

Bază de date

Pentru a alimenta procesul de antrenare, cercetătorii au adunat aproximativ două milioane de perechi de puncte de atingere și text de la subiecți de test, care utilizau o interfață web simplă accesată de la dispozitive mobile cu funcție de atingere.

Baza de date conține inițialele numelui utilizatorului, dimensiunea ecranului dispozitivului, vârsta, tipul de dispozitiv mobil utilizat (de exemplu, tabletă, smartphone etc.) și valorile de coordonate x și y ale fiecărei “căderi de tastă” înregistrate.

Poziții medii ale căderilor de tastă între utilizatori, cu puncte de aceeași culoare care semnifică căderi de tastă de la aceiași utilizatori. Identificarea datelor aceluiași utilizator ajută la optimizarea bazei de date și la evitarea suprapunerii prin compararea grupărilor medii de căderi de tastă de la utilizatori individuali, în loc de a antrena apăsările de tastă ale unui utilizator împotriva celorlalte.

Antrenamentul a trebuit să țină cont de variațiile notabile în distanța medie în pixeli între lovituri între utilizatori. Unii utilizatori, poate cei obișnuiți cu tastaturi software foarte strânse, au menținut o distanță medie între taste de doar 50 de pixeli pe axa z, în timp ce alții au avut o medie de 300 de pixeli.

Aceste diferențe sunt critice, deoarece în cazul axei Y, o eroare ar plasa căderea de tastă pe rândul greșit, înlocuind, de exemplu, un “I” sau un “M” cu lovitura “K” intenționată.

Arhitectură și antrenament

SA-NCD constă din două module decodificatoare: un decodificator geometric, care calculează unde pe tastatura invizibilă a fost intenționată o lovitură de tastă; și un decodificator semantic, care gestionează interpretarea live a textului de intrare.

Decodificatorul geometric utilizează GRU bidirecțional (BiGRU), cu GRU adoptat ca o rețea neuronală recurentă (RNN), cu treceri forward și backward care facilitează o interpretare în schimbare constantă a propoziției.

Componenta semantică utilizează o arhitectură Transformer, care interpretează intrarea după ce a trecut printr-un proces de “maskare a încrederii” destinat să compare utilizarea medie cu noua lovitură de tastă specifică. Decodificatorul semantic a fost antrenat ca un model de limbaj cu caractere mascate împotriva Benchmarcul de un miliard de cuvinte, o colaborare din 2014 între Google, Universitatea Cambridge și Universitatea din Edinburgh.

Rezultate

În teste, utilizatorii au putut să scrie cu 157,5% mai rapid utilizând IMK decât cu tastaturi software de la terți pe propriile smartphone-uri. Mai mult, s-a constatat că IMK a depășit rezultatele obținute prin metode noi rivale, cum ar fi metodele de intrare bazate pe gesturi, atingere și intrare de text cu zece degete din ultimii ani. Raportul arată că utilizatorii au arătat o satisfacție ridicată cu sistemul.

Vedeți videoclipul autorilor de mai jos pentru a afla mai multe despre IMK.