Модель ИИ предсказывает, как мы набираем текст на сенсорных экранах

Новая модель искусственного интеллекта (ИИ), разработанная исследователями из Университета Аалто и Финского центра искусственного интеллекта (FCAI), является первой в своем роде, которая предсказывает, как мы движем глазами и пальцами при наборе текста на экранах. Это новое развитие дает свежий взгляд на этот трудный навык, который заставляет нас полагаться на наше чувство зрения, чтобы набирать текст и обнаруживать ошибки одновременно.

ИИ способен имитировать, как человек будет набирать предложение на любом клавиатурном дизайне, и он как совершает, так и обнаруживает ошибки. Хотя ошибки не всегда обнаруживаются сразу, ИИ может исправить их, как и мы. Другой аспект ИИ заключается в том, что он может предсказать, как стили письма людей меняются в зависимости от обстоятельств, таких как автокоррекция или другой клавиатурный дизайн.

Доктор Юсси Йокинен возглавил работу над новой моделью ИИ, которая была представлена этим месяцем на ACM CHI 12 мая.

“Ранее набор текста на сенсорных экранах понимался в основном с точки зрения того, как движутся наши пальцы”, – говорит Йокинен. “Методы, основанные на ИИ, помогли пролить новый свет на эти движения: то, что мы обнаружили, – это важность решения, когда и где смотреть. Теперь мы можем делать гораздо лучшие прогнозы о том, как люди набирают текст на своих телефонах или планшетах”.

“Теперь, когда у нас есть реалистичная симуляция того, как люди набирают текст на сенсорных экранах, должно быть намного проще оптимизировать дизайн клавиатур для лучшего набора текста – это означает меньше ошибок, более быстрый набор текста и, что наиболее важно для меня, меньше разочарований”, – продолжает Йокинен.

https://www.youtube.com/watch?v=6cl2OoTNB6g&t=1s

Учет разных типов пользователей

Модель ИИ не работает только с одним типом общего пользователя, но она может корректироваться в зависимости от разных типов пользователей. Это может включать людей с двигательными нарушениями, которым ИИ может помочь, разработав средства набора текста или специальные интерфейсы.

Помимо медицинских проблем, ИИ также может учитывать людей с разными стилями письма, выявляя закономерности, когда человек совершает повторяющиеся ошибки в текстах. С помощью этих данных можно определить лучший тип клавиатуры или систему автокоррекции для человека.

Предыдущая работа команды

Исследователи ранее построили свою работу вокруг когнитивной модели того, как люди набирают текст, что привело к созданию генеративной модели, которая могла набирать текст самостоятельно. Все это является частью проекта Interactive AI в Финском центре искусственного интеллекта.

Исследование сильно зависит от обучения с подкреплением, которое работает путем создания системы наград и/или наказаний, часто используемой для обучения роботов решать проблемы методом проб и ошибок. Обучение с подкреплением было использовано командой для симуляции людей в этот раз, и оно позволило им генерировать поведение, подобное человеческому.

“Мы дали модели те же возможности и ограничения, которые есть у нас, людей. Когда мы попросили ее набирать текст эффективно, она выяснила, как лучше использовать эти возможности. Результат очень похож на то, как люди набирают текст, без необходимости обучать модель с помощью человеческих данных”, – говорит Йокинен.

Когда сравнивают с человеческими данными набора текста, прогнозы новой модели оказались точными. Команда теперь стремится симулировать медленные и быстрые техники набора текста, что может помочь в разработке обучающих модулей для людей, желающих улучшить свои навыки набора текста.