Модель ИИ предсказывает, как мы набираем текст на сенсорных экранах

Новая модель искусственного интеллекта (ИИ), разработанная исследователями в Университете Аалто и Финском центре искусственного интеллекта (FCAI), является первой в своем роде, которая предсказывает, как мы движем глазами и пальцами при наборе текста на экранах. Это новое развитие дает свежий взгляд на этот сложный навык, который заставляет нас полагаться на зрение, чтобы набирать текст и обнаруживать ошибки одновременно.

ИИ способен имитировать, как человек будет набирать предложение на любом дизайне клавиатуры, и он совершает и обнаруживает ошибки. Хотя ошибки не всегда сразу обнаруживаются, ИИ может исправить их, как и мы. Другой аспект ИИ заключается в том, что он может предсказать, как стили письма людей меняются в зависимости от обстоятельств, таких как автокоррекция или разный дизайн клавиатуры.

Доктор Юсси Йокинен возглавил работу над новой моделью ИИ, которая была представлена на этой неделе на ACM CHI 12 мая.

«Ранее набор текста на сенсорных экранах понимался в основном с точки зрения того, как движутся наши пальцы», – говорит Йокинен. «Методы, основанные на ИИ, помогли пролить новый свет на эти движения: то, что мы обнаружили, – это важность решения, когда и где смотреть. Теперь мы можем делать гораздо лучшие прогнозы о том, как люди набирают текст на своих телефонах или планшетах».

«Теперь, когда у нас есть реалистичная симуляция того, как люди набирают текст на сенсорных экранах, должно быть намного проще оптимизировать дизайн клавиатур для лучшего набора текста – то есть меньше ошибок, более быстрый набор текста и, что для меня самое главное, меньше разочарований», – продолжает Йокинен.

https://www.youtube.com/watch?v=6cl2OoTNB6g&t=1s

Учет разных типов пользователей

Модель ИИ не работает только с одним типом генерического пользователя, но она может корректироваться в зависимости от разных типов пользователей. Это может включать людей с двигательными нарушениями, которым ИИ может помочь, разработав средства набора текста или специальные интерфейсы.

Помимо медицинских проблем, ИИ также может учитывать людей с разными стилями письма, выявляя закономерности, когда человек совершает повторяющиеся ошибки в текстах. С помощью этих данных можно определить лучший тип клавиатуры или систему автокоррекции для человека.

Предыдущая работа команды

Исследователи ранее строили свою работу вокруг когнитивной модели того, как люди набирают текст, что привело к созданию генеративной модели, которая могла набирать текст самостоятельно. Все это является частью проекта Interactive AI в Финском центре искусственного интеллекта.

Исследование сильно опирается на обучение с подкреплением, которое работает путем создания системы наград и/или наказаний, часто используемой для обучения роботов решать проблемы методом проб и ошибок. Обучение с подкреплением было использовано командой для симуляции людей в этот раз, и оно позволило им генерировать поведение, подобное человеческому.

«Мы дали модели те же возможности и ограничения, которые есть у нас, людей. Когда мы попросили ее набирать текст эффективно, она выяснила, как лучше использовать эти возможности. Результат очень похож на то, как люди набирают текст, без необходимости обучать модель с помощью данных людей», – говорит Йокинен.

При сравнении с данными о наборе текста человеком прогнозы новой модели были точными. Команда теперь стремится смоделировать медленные и быстрые техники набора текста, что может помочь в разработке модулей обучения для людей, желающих улучшить свои навыки набора текста.