Sztuczna inteligencja napędzająca niewidzialną klawiaturę mobilną, która pozwala pisać 157% szybciej

Naukowcy z Korei Południowej wykorzystali techniki uczenia maszynowego do opracowania “niewidzialnej” klawiatury dla urządzeń mobilnych o ograniczonej przestrzeni, która pozwala użytkownikom pisać 157,5% szybciej, nawet jeśli na ekranie nie jest widoczna klawiatura.

Reakcja użytkowników na nową metodę – nazwaną po prostu Invisible Mobile Keyboard (IMK) – jest bardzo pozytywna, a użytkownicy testowi zgłaszają niski poziom fizycznych, mentalnych i czasowych wymagań podczas korzystania z klawiatury. Pod względem wydajności IMK lekko przewyższa najnowszą alternatywną metodę wprowadzania danych, osiągając wynik 51,6 słów na minutę.

Klawiatura Phantom

Aby rozpocząć generowanie danych wejściowych, użytkownicy mogą po prostu zacząć pisać na ekranie, jakby klawiatura była widoczna (choć nie jest). Nic nie pojawia się, aby zasłonić widok zawartości, a wpisane słowa pojawią się w dowolnej akceptującej polu tekstowym, w którym rozpoczęto pisanie, oraz opcjonalnie jako cienki strumień tekstu, który użytkownik może sprawdzić pod kątem poprawności.

System samokalibruje się od momentu rozpoznania danych wejściowych. Dlatego użytkownik może trzymać urządzenie mobilne w trybie pejzażu lub portretu i używać całej dostępnej przestrzeni ekranu do wpisywania tekstu.

W towarzyszącym filmie (patrz koniec artykułu i obraz bezpośrednio poniżej) autorzy pracy ilustrują, jak działa mechanizm, choć wyjaśniają, że nie pojawia się żadna klawiatura podczas wprowadzania danych (pojawiła się tylko w celach ilustracyjnych w filmie):

To jest przykład IMK na etapie zbierania danych, choć działa identycznie w trakcie użytkowania. Klawiatura, która pojawia się, jest tylko do celów ilustracyjnych i nie jest widoczna dla użytkownika ani podczas zbierania danych, ani w trakcie końcowego użytkowania interfejsu. Źródło: https://www.youtube.com/watch?v=PuhiVGOfIR0

Pisanie jako system współrzędnych

Badania pochodzą z Koreańskiego Instytutu Zaawansowanych Studiów Naukowych i Techniki (KAIST) i wykorzystują naszą naturalną zdolność do “rysowania” następnej klawiszy na klawiaturze. Choć może się wydawać sprzeczne z intuicją, aby ukryć klawiaturę i oczekiwać, że palec użytkownika znajdzie następną żądaną klawisz, w rzeczywistości nawet przeciętny pisarz instynktownie kieruje się w stronę prawidłowego znaku.

Skutecznie IMK traktuje klawiaturę jako macierz współrzędnych, a autorzy zebrali obszerną bazę danych danych wejściowych użytkowników, aby dostarczyć dane do treningu dekodera znaków neuronalnych Self-Attention (SA-NCD).

SA-NCD zauważa położenie “upadku klawiszy” i oblicza prawdopodobieństwo, które klawisz było zamierzone. Podczas gdy słowa są budowane przez naciśnięcia klawiszy, SA-NCD może skompilować i rozbić znaki na ich składowe słowa, czyszcząc dane na żywo.

Architektura sieci SA-NCD, gdzie Q/K/V oznaczają zapytanie, klucz i wartość uwagi. Źródło: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD nie czeka na zakończenie możliwego zdania, ponieważ nie wie, kiedy zdanie wejściowe zostanie zakończone, a gdy słowo lub słowa są dodawane do frazy, może ponownie odwiedzić i przepisać wcześniejsze interpretacje zdania w świetle najnowszych danych.

Baza danych

Aby zasilić proces treningu, naukowcy zebrali około dwóch milionów par punktów dotykowych i tekstu od użytkowników testowych, którzy korzystali z prostej sieciowej interfejsu dostępnego z urządzeń mobilnych z funkcją dotykową.

Zbior danych zawiera inicjały nazwiska użytkownika, rozmiar ekranu urządzenia, wiek, typ urządzenia mobilnego (tj. tablet, smartphone itp.) oraz wartości współrzędnych x i y każdego zarejestrowanego “upadku klawiszy”.

Średnie położenia upadków klawiszy wśród użytkowników, z kropkami tego samego koloru oznaczającymi upadki klawiszy od tych samych użytkowników. Identyczne dane użytkowników pomagają zoptymalizować zbiór danych i uniknąć przeuczenia, porównując średnie grupy upadków klawiszy od poszczególnych użytkowników, zamiast trenować dane wejściowe jednego użytkownika przeciwko sobie.

Trening musiał uwzględnić znaczne różnice w średnich odległościach między klawiszami wśród użytkowników. Niektórzy użytkownicy, być może ci, którzy są przyzwyczajeni do bardzo ciasnych klawiatur oprogramowania, utrzymywali średnią odległość między klawiszami tylko 50 pikseli na osi z, podczas gdy inni średnio 300 pikseli.

Te różnice są kluczowe, ponieważ w przypadku osi Y błąd umieściłby upadek klawiszy w niewłaściwym wierszu, zastępując na przykład “I” lub “M” zamierzonego klawisza “K”.

Architektura i trening

SA-NCD składa się z dwóch modułów dekodujących: dekodera geometrycznego, który oblicza, gdzie na niewidzialnej klawiaturze nastąpiło naciśnięcie klawisza; oraz dekodera semantycznego, który zajmuje się interpretacją danych wejściowych na żywo.

Dekoder geometryczny wykorzystuje dwukierunkowy GRU (BiGRU), z GRU przyjętym jako sieć neuronową rekurencyjną (RNN), z przodu i tyłu, ułatwiając ciągle zmieniającą się interpretację zdania.

Składnik semantyczny wykorzystuje architekturę Transformera, który interpretuje dane wejściowe po przejściu przez proces “maskowania zaufania” zaprojektowanego do porównania średniego użycia z nowym konkretnym upadkiem klawiszy. Dekoder semantyczny został wyuczony jako model językowy z maskowanymi znakami przeciwko Benchmarce jednego miliarda słów, współpracy z 2014 roku między Google, Uniwersytetem Cambridge i Uniwersytetem Edynburskim.

Wyniki

W testach użytkownicy byli w stanie pisać 157,5% szybciej przy użyciu IMK niż z klawiaturami oprogramowania zewnętrznego na swoich smartfonach. Ponadto stwierdzono, że IMK przewyższa wyniki uzyskane przez rywalizujące nowe metody, takie jak metody gestowe, dotykowe i dziesięciopalcowe metody wprowadzania tekstu z ostatnich lat. W artykule podaje się, że użytkownicy wykazali wysoki poziom satysfakcji z systemem.

Zobacz film autorów poniżej, aby dowiedzieć się więcej o IMK.