KI-Modell sagt vorher, wie wir auf Touchscreens tippen

Ein neues KI-Modell, das von Forschern der Aalto-Universität und dem Finnish Center for Artificial Intelligence (FCAI) entwickelt wurde, ist das erste seiner Art, das vorhersagt, wie wir unsere Augen und Finger bewegen, wenn wir auf Bildschirmen tippen. Die neue Entwicklung gibt uns neue Einblicke in diese schwierige Fähigkeit, die uns zwingt, auf unser Sehvermögen zu vertrauen, um zu tippen und Fehler gleichzeitig zu erkennen.

Die KI ist in der Lage, zu simulieren, wie ein Einzelner einen Satz auf jeder Tastatur ausführen würde, und sie macht und erkennt Fehler. Obwohl die Fehler nicht immer sofort erkannt werden, kann die KI sie korrigieren, genauso wie wir. Ein weiterer Aspekt der KI ist, dass sie vorhersagen kann, wie sich die Schreibstile von Menschen je nach den gegebenen Umständen ändern, wie z.B. bei einer Auto-Korrektur oder einer anderen Tastatur-Design.

Dr. Jussi Jokinen leitete die Arbeit am neuen KI-Modell, das diesen Monat auf der ACM CHI am 12. Mai vorgestellt wurde.

“Bisher wurde das Tippen auf Touchscreens hauptsächlich aus der Perspektive verstanden, wie sich unsere Finger bewegen”, sagt Jokinen. “KI-basierte Methoden haben uns geholfen, neues Licht auf diese Bewegungen zu werfen: Was wir entdeckt haben, ist die Bedeutung der Entscheidung, wann und wo man hinschaut. Jetzt können wir viel bessere Vorhersagen darüber treffen, wie Menschen auf ihren Telefonen oder Tablets tippen.”

“Jetzt, da wir eine realistische Simulation davon haben, wie Menschen auf Touchscreens tippen, sollte es viel einfacher sein, Tastatur-Designs für besseres Tippen zu optimieren – das bedeutet weniger Fehler, schnelleres Tippen und, was für mich am wichtigsten ist, weniger Frustration”, fährt Jokinen fort.

https://www.youtube.com/watch?v=6cl2OoTNB6g&t=1s

Unterschiedliche Benutzertypen berücksichtigen

Das KI-Modell funktioniert nicht nur mit einem generischen Benutzertyp, sondern es kann sich auch an unterschiedliche Benutzertypen anpassen. Dazu gehören Personen mit motorischen Behinderungen, denen die KI durch die Entwicklung von Tipphilfen oder spezifischen Schnittstellen helfen könnte.

Unabhängig von medizinischen Problemen kann die KI auch Berücksichtigung finden bei Personen mit unterschiedlichen Schreibstilen, indem sie Muster erkennt, wenn eine Person wiederholt Fehler in Texten macht. Mit diesen Daten kann der beste Tastatur-Typ oder Auto-Korrektur-System für eine Person bestimmt werden.

Die vorherige Arbeit des Teams

Die Forscher haben ihre Arbeit um ein kognitives Modell des menschlichen Tippens herum aufgebaut, was zur Erstellung eines generativen Modells führte, das selbst tippen konnte. All dies ist Teil des Projekts Interactive AI am Finnish Center for Artificial Intelligence.

Die Forschung basiert stark auf Verstärkendem Lernen, das durch die Erstellung eines Belohnungs- und/oder Bestrafungssystems funktioniert, oft verwendet, um Robotern beizubringen, wie sie Probleme durch Trial und Error lösen. Verstärkendes Lernen wurde vom Team verwendet, um Menschen zu simulieren, und es ermöglichte ihnen, Verhaltensweisen zu generieren, die denen von Menschen ähneln.

“Wir gaben dem Modell die gleichen Fähigkeiten und Grenzen, die wir als Menschen haben. Als wir es aufforderten, effizient zu tippen, fand es heraus, wie es diese Fähigkeiten am besten nutzen konnte. Das Ergebnis ist sehr ähnlich wie das, wie Menschen tippen, ohne dass wir das Modell mit menschlichen Daten unterrichten mussten”, sagt Jokinen.

Im Vergleich zu menschlichen Tipp-Daten waren die Vorhersagen des neuen Modells genau. Das Team zielt nun darauf ab, langsame und schnelle Tipp-Techniken zu simulieren, was bei der Erstellung von Lernmodulen für Personen helfen könnte, die ihre Tipp-Fähigkeiten verbessern möchten.