Eine künstliche Intelligenz-getriebene unsichtbare Mobile-Tastatur, die das Tippen um 157% beschleunigt

Forscher aus Südkorea haben mit Hilfe von Machine-Learning-Techniken eine “unsichtbare” Tastatur für mobile Geräte mit begrenztem Platz entwickelt, die es Benutzern ermöglicht, 157,5 % schneller zu tippen, obwohl keine Tastatur auf dem Bildschirm sichtbar ist.

Die Reaktion der Benutzer auf die neue Methode – einfach Invisible Mobile Keyboard (IMK) genannt – ist sehr positiv, da die Testbenutzer niedrige physische, mentale und zeitliche Anforderungen bei der Verwendung der Tastatur berichten. In Bezug auf Effizienz übertrifft IMK leicht die aktuellste Alternativeingabemethode und erreicht eine Spitzenleistung von 51,6 Wörtern pro Minute.

Die Phantom-Tastatur

Um mit der Eingabe zu beginnen, können Benutzer einfach auf dem Bildschirm tippen, als ob eine Tastatur sichtbar wäre (obwohl keine ist). Nichts erscheint, um die Ansicht des Inhalts zu behindern, und die getippten Wörter erscheinen in jedem empfänglichen Textfeld, in dem das Tippen begonnen wurde, und optional als dünner Textstrom, den der Benutzer auf Richtigkeit überprüfen kann.

Das System kalibriert sich selbst, sobald es die Eingabe erkennt. Daher kann der Benutzer das mobile Gerät im Quer- oder Hochformat halten und den gesamten verfügbaren Bildschirmplatz zum Tippen seines Textes verwenden.

In einem begleitenden Video (siehe Ende des Artikels und Bild direkt darunter) erläutern die Autoren des Papiers, wie die Aktion funktioniert, obwohl sie betonen, dass während der Eingabe keine echte Tastatur erscheint (sie ist nur zu Illustrationszwecken im Video vorhanden):

Dies ist ein Beispiel für IMK in der Datenerfassungsphase, obwohl es identisch in der Endverwendung funktioniert. Die erscheinende Tastatur ist nur zu Illustrationszwecken und erscheint weder während der Datenerfassung noch in der Endverwendung der Schnittstelle. Quelle: https://www.youtube.com/watch?v=PuhiVGOfIR0

Tippen als Koordinatensystem

Die Forschung stammt vom Korea Advanced Institute of Science and Technology (KAIST) und nutzt unsere natürliche Fähigkeit, die Position der nächsten Taste auf einer Tastatur zu “plotten”. Obwohl es kontraintuitiv erscheinen mag, die Tastatur zu verstecken und vom Benutzer zu erwarten, dass er die nächste gewünschte Taste findet, findet selbst ein durchschnittlicher Tastaturbenutzer instinktiv die richtige Taste.

IMK behandelt die Tastatur effektiv als Plot-Matrix, und die Autoren haben eine umfangreiche Datenbank von Benutzereingaben zusammengestellt, um Daten für den Self-Attention-Neural-Character-Decoder (SA-NCD) bereitzustellen, um ihn zu trainieren.

SA-NCD erkennt die Position eines “Tastenfalls” und berechnet die Wahrscheinlichkeit, welche Taste gewünscht war. Wenn Wörter durch Tastenanschläge aufgebaut werden, kann SA-NCD die Zeichen in ihre konstituierenden beabsichtigten Wörter aufteilen und die Eingabe in Echtzeit bereinigen.

Die Netzwerktopologie von SA-NCD, wobei Q/K/V für Abfrage, Schlüssel und Wert des Selbst-Attention stehen. Quelle: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD wartet nicht auf die Vervollständigung eines möglichen Satzes, da er nicht weiß, wann die Satzeingabe endet, und wenn ein Wort oder Wörter zur Phrase hinzugefügt werden, kann er frühere Interpretationen aus dem Satz im Lichte der neuesten Eingabe neu bewerten.

Datenbank

Um den Trainingsprozess zu unterstützen, sammelten die Forscher etwa zwei Millionen Paare von Berührungspunkten und Texten von Testpersonen, die eine einfache webbasierte Schnittstelle auf berührungsfähigen mobilen Geräten verwendeten.

Die Datenbank enthält die Anfangsbuchstaben des Benutzernamens, die Bildschirmgröße des Geräts, das Alter, die Art des mobilen Geräts (z. B. Tablet, Smartphone usw.) und die x- und y-Koordinatenwerte jedes registrierten Tastenfalls.

Durchschnittliche Positionen von Tastenfällen unter Benutzern, wobei Punkte mit identischer Farbe Tastenfälle von denselben Benutzern anzeigen. Die Identifizierung von Benutzerdaten hilft, die Datenbank zu optimieren und Überanpassung zu vermeiden, indem die durchschnittlichen Tastenfall-Gruppierungen von einzelnen Benutzern verglichen werden, anstatt die Tastenanschläge eines Benutzers gegeneinander zu trainieren.

Die Ausbildung musste die bemerkenswerten Variationen in der durchschnittlichen Pixel-Distanz zwischen den Schlägen unter den Benutzern berücksichtigen. Einige Benutzer, vielleicht solche, die an sehr beengte Software-Tastaturen gewöhnt sind, hielten eine durchschnittliche Distanz zwischen den Tasten von nur 50 Pixeln auf der z-Achse ein, während andere im Durchschnitt 300 Pixel einhielten.

Diese Unterschiede sind entscheidend, da bei Fehlern in der y-Achse der Tastenfall auf die falsche Zeile gesetzt würde, beispielsweise ein “I” oder ein “M” anstelle des beabsichtigten “K”-Schlags.

Architektur und Training

SA-NCD besteht aus zwei Dekodiermodulen: einem geometrischen Dekodierer, der berechnet, wo auf der unsichtbaren Tastatur ein Tastenanschlag beabsichtigt war; und einem semantischen Dekodierer, der die Interpretation des Eingabetextes in Echtzeit bearbeitet.

Der geometrische Dekodierer verwendet Bidirectional GRU (BiGRU), wobei GRU als rekurrentes neuronales Netzwerk (RNN) verwendet wird, mit Vorwärts- und Rückwärtsläufen, die eine ständig ändernde Interpretation des Satzes ermöglichen.

Der semantische Teil verwendet eine Transformer-Architektur, die die Eingabe interpretiert, nachdem sie durch einen “Vertrauensmaskierungs”-Prozess verarbeitet wurde, der den durchschnittlichen Gebrauch mit dem neuen spezifischen Tastenfall vergleicht. Der semantische Dekodierer wurde als maskierter Charakter-Sprachmodell gegen die One Billion Word Benchmark trainiert, einer Zusammenarbeit von Google, der Universität Cambridge und der Universität Edinburgh aus dem Jahr 2014.

Ergebnisse

In Tests konnten Benutzer 157,5 % schneller tippen, wenn sie IMK verwendeten, als mit Software-Tastaturen von Drittanbietern auf ihren eigenen Smartphones. Darüber hinaus übertraf IMK die Ergebnisse, die mit konkurrierenden neuen Methoden erzielt wurden, wie gestenbasierten, berührungsbasierten und zehnfingrigen Texteingabemethoden der letzten Jahre. Die Studie berichtet, dass die Benutzer mit dem System sehr zufrieden waren.

Sehen Sie sich das Video der Autoren unten an, um mehr über IMK zu erfahren.