Sebuah Keyboard Mobile Invisible yang Digerakkan AI yang Memungkinkan Anda Mengetik 157% Lebih Cepat

Peneliti dari Korea Selatan telah menggunakan teknik pembelajaran mesin untuk mengembangkan ‘keyboard yang tidak terlihat’ untuk perangkat mobile yang terbatas ruang yang memungkinkan pengguna mengetik 157,5% lebih cepat, bahkan jika tidak ada keyboard yang terlihat di layar.

Respon pengguna terhadap metode baru – yang disebut Invisible Mobile Keyboard (IMK) – dilaporkan sangat positif, dengan pengguna uji melaporkan tingkat kebutuhan fisik, mental, dan waktu yang rendah saat menggunakan keyboard. Dalam hal efisiensi, IMK sedikit mengungguli metode input alternatif terbaru, dengan skor vanguard sebesar 51,6 kata per menit.

Keyboard Fantom

Untuk memulai menghasilkan input, pengguna dapat langsung mulai mengetik di layar, seolah-olah ada keyboard yang terlihat (meskipun tidak ada). Tidak ada yang muncul untuk menghalangi pandangan konten, dan kata-kata yang diketik akan muncul di kotak teks yang dapat menerima input, dan secara opsional sebagai aliran teks tipis yang dapat diperiksa pengguna untuk akurasi.

Sistem ini melakukan kalibrasi sendiri sejak mengenali input. Oleh karena itu, pengguna dapat memiliki perangkat mobile dalam mode lanskap atau potret, dan menggunakan seluruh ruang layar yang tersedia untuk mengetik teks mereka.

Dalam video yang menyertain (lihat akhir artikel, dan gambar langsung di bawah) penulis makalah menggambarkan bagaimana aksi itu bekerja, meskipun mereka menjelaskan bahwa tidak ada keyboard yang sebenarnya muncul selama input (hanya ada untuk tujuan ilustrasi dalam video):

Ini adalah contoh IMK pada tahap pengumpulan data, meskipun beroperasi identik dalam penggunaan akhir. Keyboard yang muncul hanya untuk tujuan ilustrasi, dan tidak muncul kepada pengguna baik selama proses pengumpulan data maupun dalam penggunaan akhir antarmuka. Sumber: https://www.youtube.com/watch?v=PuhiVGOfIR0

Mengetik sebagai Sistem Koordinat

Penelitian ini berasal dari Korea Advanced Institute of Science and Technology (KAIST), dan memanfaatkan kemampuan alami kita untuk ‘memplot’ di mana kunci berikutnya pada keyboard. Meskipun tampaknya tidak intuitif untuk menyembunyikan keyboard dan mengharapkan jari pengguna menemukan kunci berikutnya, sebenarnya bahkan pengetik rata-rata secara naluriah menuju kunci yang benar.

Secara efektif IMK memperlakukan keyboard sebagai matriks plot, dan penulis telah mengumpulkan basis data ekstensif input pengguna untuk menyediakan data untuk Self-Attention Neural Character Decoder (SA-NCD) untuk dilatih.

SA-NCD akan mencatat posisi ‘jatuh kunci’ dan menghitung probabilitas kunci mana yang diinginkan. Saat kata-kata terbentuk melalui ketikan, SA-NCD dapat mengompilasi dan memecah karakter menjadi kata-kata yang dimaksud, membersihkan input secara langsung.

Arsitektur jaringan SA-NCD, di mana Q/K/V berdiri untuk query, kunci, dan nilai self-attention. Sumber: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD tidak menunggu selesainya kalimat yang mungkin, karena tidak tahu kapan input kalimat akan berakhir, dan saat kata atau kata-kata ditambahkan ke frasa, SA-NCD dapat mengunjungi kembali dan menulis ulang interpretasi sebelumnya dari kalimat dalam cahaya input terbaru.

Database

Untuk memasok proses pelatihan, peneliti mengumpulkan sekitar dua juta pasang titik sentuh dan teks dari subjek uji, yang menggunakan antarmuka web sederhana yang diakses dari perangkat mobile yang dapat disentuh.

Dataset ini berisi inisial nama pengguna, ukuran layar perangkat mereka, usia mereka, jenis perangkat mobile yang digunakan (yaitu tablet, smartphone, dll.), dan nilai x dan y dari setiap kunci yang terdaftar.

Posisi rata-rata jatuh kunci di antara pengguna, dengan titik yang memiliki warna yang sama menunjukkan jatuh kunci dari pengguna yang sama. Mengidentifikasi data pengguna yang sama membantu mengoptimalkan dataset dan menghindari overfitting dengan membandingkan kelompok jatuh kunci rata-rata dari pengguna individu, bukan melatih ketikan pengguna terhadap yang lain.

Pelatihan harus memperhitungkan variasi yang cukup besar dalam jarak rata-rata antara ketikan di antara pengguna. Beberapa pengguna, mungkin mereka yang terbiasa dengan keyboard perangkat lunak yang sangat terbatas, mempertahankan jarak rata-rata antara kunci sebesar hanya 50 piksel pada sumbu z, sementara yang lain rata-rata 300 piksel.

Perbedaan ini sangat kritis, karena dalam kasus sumbu Y, kesalahan akan menempatkan jatuh kunci pada baris yang salah, menggantikan, misalnya, ‘I’ atau ‘M’ untuk ketikan ‘K’ yang diinginkan.

Arsitektur dan Pelatihan

SA-NCD terdiri dari dua modul dekoder: dekoder geometris, yang menghitung di mana pada keyboard yang tidak terlihat ketikan dimaksudkan untuk jatuh; dan dekoder semantik, yang menangani interpretasi input teks secara langsung.

Dekoder geometris menggunakan Bidirectional GRU (BiGRU), dengan GRU diadopsi sebagai Jaringan Saraf Berulang (RNN), dengan lulus maju dan mundur yang memfasilitasi interpretasi kalimat yang terus berubah.

Komponen semantik menggunakan arsitektur Transformer, yang menafsirkan input setelah melewati proses ‘masking kepercayaan’ yang dirancang untuk membandingkan penggunaan rata-rata dengan jatuh kunci spesifik baru. Dekoder semantik dilatih sebagai model bahasa karakter yang dihapus terhadap One Billion Word Benchmark, kolaborasi 2014 antara Google, Universitas Cambridge, dan Universitas Edinburgh.

Hasil

Dalam pengujian, pengguna dapat mengetik 157,5% lebih cepat menggunakan IMK daripada dengan keyboard perangkat lunak pihak ketiga di smartphone mereka sendiri. Selain itu, ditemukan bahwa IMK melampaui hasil yang diperoleh oleh metode baru saingan, seperti metode input berbasis gerakan, sentuhan, dan sepuluh jari dari tahun-tahun terakhir. Makalah tersebut melaporkan bahwa pengguna menunjukkan kepuasan yang tinggi dengan sistem.

Lihat video penulis di bawah untuk mengetahui lebih lanjut tentang IMK.