Een AI-gestuurde onzichtbare mobiele toetsenbord die je 157% sneller laat typen

Onderzoekers uit Zuid-Korea hebben met behulp van machine learning-technieken een ‘onzichtbare’ toetsenbord voor mobiele apparaten met beperkte ruimte ontwikkeld, waarmee gebruikers 157,5% sneller kunnen typen, zelfs als er geen toetsenbord op het scherm zichtbaar is.

De reactie van gebruikers op de nieuwe methode – die eenvoudigweg Invisible Mobile Keyboard (IMK) wordt genoemd – is zeer positief, met testgebruikers die lage niveaus van fysieke, mentale en tijdelijke vraag melden bij het gebruik van het toetsenbord. Wat betreft efficiëntie, gaat IMK de meest recente staat van de kunst-alternatieve invoermethode licht voorbij, met een vanguard-score van 51,6 woorden per minuut.

Het spooktoetsenbord

Om input te genereren, kunnen gebruikers eenvoudigweg beginnen met typen op het scherm, alsof er een toetsenbord zichtbaar is (hoewel er geen is). Niets verschijnt om het zicht op de inhoud te blokkeren, en de getypte woorden verschijnen in elke ontvankelijke tekstbox waar het typen vandaan komt, en optioneel als een dunne stroom van tekst die de gebruiker kan controleren op nauwkeurigheid.

Het systeem kalibreert zichzelf vanaf het moment dat het input herkent. Daarom kan de gebruiker het mobiele apparaat in landschaps- of portretmodus hebben, en het gehele beschikbare schermgebruiken om tekst in te voeren.

In een bijgevoegde video (zie het einde van het artikel, en de afbeelding rechtsonder) illustreren de auteurs van het artikel hoe de actie werkt, hoewel ze verduidelijken dat er geen echt toetsenbord verschijnt tijdens de invoer (het is alleen voor illustratieve doeleinden in de video):

Dit is een voorbeeld van IMK op het moment van gegevensverzameling, hoewel het identiek werkt in eindgebruik. Het toetsenbord dat verschijnt, is alleen voor illustratieve doeleinden en verschijnt niet voor de gebruiker, noch tijdens het verzamelen van gegevens, noch in het uiteindelijke gebruik van de interface. Bron: https://www.youtube.com/watch?v=PuhiVGOfIR0

Typen als coördinatensysteem

Het onderzoek komt uit de Korea Advanced Institute of Science and Technology (KAIST), en baat onze natuurlijke mogelijkheid uit om ‘te plotten’ waar de volgende toets op een toetsenbord is. Hoewel het tegenintuïtief lijkt om het toetsenbord te verbergen en te verwachten dat de vinger van de gebruiker de volgende gewenste toets vindt, vindt zelfs een gemiddelde typist instinctief de juiste toets.

Effectief behandelt IMK het toetsenbord als een plotmatrix, en hebben de auteurs een uitgebreide database van gebruikersinvoer samengesteld om gegevens te leveren voor de Self-Attention Neural Character Decoder (SA-NCD) om tegen te trainen.

SA-NCD zal de positie van een ‘toetsval’ noteren en de kans berekenen dat de gewenste toets is ingedrukt. Naarmate woorden worden opgebouwd door toetsaanslagen, kan SA-NCD de tekens samenstellen en opsplitsen in de bedoelde woorden, en de invoer live schoonmaken.

De netwerkarchitectuur van SA-NCD, waar Q/K/V staat voor vraag, sleutel en waarde van self-attention. Bron: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD wacht niet tot de voltooiing van een mogelijke zin, omdat het geen idee heeft wanneer de invoer van de zin eindigt, en naarmate woorden of zinnen worden toegevoegd aan de zin, kan het eerder gemaakte interpretaties opnieuw bezoeken en herschrijven in het licht van de laatste invoer.

Database

Om het trainingsproces te voeden, verzamelden de onderzoekers ongeveer twee miljoen paren van aanraakpunten en tekst van testpersonen, die een eenvoudige webgebaseerde interface gebruikten die toegankelijk was vanaf aanraakgevoelige mobiele apparaten.

De dataset bevat de initialen van de naam van de gebruiker, de schermgrootte van hun apparaat, hun leeftijd, het type mobiel apparaat dat wordt gebruikt (d.w.z. tablet, smartphone, etc.), en de x- en y-coördinaten van elke geregistreerde toetsval.

Gemiddelde posities van toetsvallen onder gebruikers, met stippen van dezelfde kleur die toetsvallen van dezelfde gebruikers aanduiden. Het identificeren van dezelfde gebruikersgegevens helpt om de dataset te optimaliseren en overfitting te voorkomen door gemiddelde toetsvalgroepen van individuele gebruikers te vergelijken, in plaats van de toetsaanslagen van één gebruiker tegen elkaar te trainen.

De training moest rekening houden met de opvallende variaties in gemiddelde pixeldistantie tussen streken onder gebruikers. Sommige gebruikers, misschien die gewend zijn aan zeer krappe softwaretoetsenborden, hadden een gemiddelde afstand tussen toetsen van slechts 50 pixels op de z-as, terwijl anderen gemiddeld 300 pixels hadden.

Deze verschillen zijn kritisch, omdat in het geval van de y-as een fout de toetsval op de verkeerde rij zou plaatsen, waardoor bijvoorbeeld een ‘I’ of een ‘M’ in plaats van de bedoelde ‘K’-toets zou worden ingedrukt.

Architectuur en training

SA-NCD bestaat uit twee decodermodules: een geometrische decoder, die berekent waar op het onzichtbare toetsenbord een toetsaanslag bedoeld was; en een semantische decoder, die de live interpretatie van de invoertekst afhandelt.

De geometrische decoder gebruikt Bidirectional GRU (BiGRU), met GRU aangenomen als een Recurrent Neural Network (RNN), met voorwaartse en achterwaartse passes die een constant veranderende interpretatie van de zin mogelijk maken.

De semantische component gebruikt een Transformer-architectuur, die de invoer interpreteert nadat deze door een ‘confidence masking’-proces is gegaan dat is ontworpen om gemiddelde gebruik te vergelijken met de nieuwe specifieke toetsval. De semantische decoder werd getraind als een gemaskeerd karaktertaalmodel tegen de One Billion Word Benchmark, een samenwerking uit 2014 tussen Google, Cambridge University en de University of Edinburgh.

Resultaten

In tests konden gebruikers 157,5% sneller typen met IMK dan met softwaretoetsenborden van derden op hun eigen smartphones. Bovendien werd vastgesteld dat IMK de resultaten overtrof die werden behaald met rivaliserende novatieve methoden, zoals gebaar-gebaseerde, aanraakgebaseerde en tienvinger-tekstinvoermethoden van de afgelopen jaren. Het artikel meldt dat gebruikers een hoge tevredenheid met het systeem toonden.

Bekijk de video van de auteurs hieronder om meer te weten te komen over IMK.