Model AI předpovídá, jak na dotykových obrazovkách píšeme

Nový model umělé inteligence (AI) vyvinutý výzkumníky z Aalto University a Finského centra pro umělou inteligenci (FCAI) je prvním svého druhu, který předpovídá, jak pohybujeme očima a prsty při psaní na obrazovkách. Tento nový vývoj poskytuje čerstvé poznatky o této obtížné dovednosti, která nás nutí spoléhat se na naše smysly pro zrakovou kontrolu a detekci chyb současně.

AI je schopný simulovat, jak by jedinec napsal větu na libovolném klávesovém rozložení, a také vytváří a detekuje chyby. Přestože chyby nejsou vždy okamžitě odhaleny, AI je schopný je opravit stejně jako my. Další aspekt AI je, že může předpovídat, jak se mění psací styly lidí v závislosti na okolnostech, jako je auto-korekce nebo různé klávesové rozložení.

Dr. Jussi Jokinen vedl práci na novém modelu AI, který byl představen tento měsíc na ACM CHI 12. května.

“Dosud bylo psaní na dotykových obrazovkách chápáno hlavně z perspektivy, jak se naše prsty pohybují,” říká Jokinen. „Metody založené na AI pomohly osvětlit tyto pohyby: co jsme objevili, je důležitost rozhodování, kdy a kde se dívat. Nyní můžeme dělat mnohem lepší předpovědi, jak lidé píší na svých telefonech nebo tabletech.”

“Teď, když máme realistickou simulaci, jak lidé píší na dotykových obrazovkách, mělo by být mnohem snazší optimalizovat klávesová rozložení pro lepší psaní – to znamená méně chyb, rychlejší psaní a, co je pro mě nejdůležitější, méně frustrace,” pokračuje Jokinen.

https://www.youtube.com/watch?v=6cl2OoTNB6g&t=1s

Přihlédnutí k různým typům uživatelů

Model AI nefunguje pouze s jedním typem generického uživatele, ale je schopen se přizpůsobit různým typům uživatelů. To může zahrnovat osoby s motorickými postiženími, kterým by AI mohl pomoci vyvinout psací pomůcky nebo speciální rozhraní.

Mimo zdravotních problémů může AI také přihlédnout k osobám s různými psacími styly tím, že identifikuje vzorce, když jedinec opakovaně dělá chyby v textech. S těmito daty lze určit nejlepší typ klávesnice nebo auto-korekčního systému pro konkrétního uživatele.

Předchozí práce týmu

Výzkumníci dříve postavili svou práci na kognitivním modelu toho, jak lidé píší, což vedlo k vytvoření generativního modelu, který byl schopen sám psát. To jeすべて součástí projektu Interaktivní AI ve Finském centru pro umělou inteligenci.

Výzkum silně závisí na učení s posilováním, které funguje vytvořením systému odměn a/nebo trestů, často používaného k učení robotům, jak řešit problémy metodou pokusů a omylů. Učení s posilováním bylo týmem použito k simulaci lidí, a to umožnilo generovat chování podobné lidskému.

“Dali jsme modelu stejné schopnosti a hranice, jaké máme my, lidé. Když jsme ho požádali, aby psal efektivně, našel způsob, jak nejlépe využít tyto schopnosti. Výsledkem je něco velmi podobného tomu, jak lidé píší, bez nutnosti učit model s lidskými daty,” říká Jokinen.

Když byl nový model porovnán s lidskými daty o psaní, byly jeho předpovědi přesné. Tým nyní cílí na simulaci pomalých a rychlých psacích technik, které by mohly pomoci při návrhu učebních modulů pro osoby, které chtějí zlepšit své psací dovednosti.