Một Bàn Phím Di Động Invisible Được Driven Bởi Trí Tuệ Nhân Tạo Cho Phép Bạn Gõ 157% Nhanh Hơn

Những nhà nghiên cứu từ Hàn Quốc đã sử dụng các kỹ thuật học máy để phát triển một bàn phím ‘vô hình’ cho các thiết bị di động bị giới hạn không gian, cho phép người dùng gõ 157,5% nhanh hơn, ngay cả khi không có bàn phím nào hiện diện trên màn hình.

Phản hồi của người dùng đối với phương pháp mới – được gọi đơn giản là Invisible Mobile Keyboard (IMK) – được báo cáo là rất tích cực, với người dùng thử nghiệm báo cáo mức độ thấp về nhu cầu thể chất, tinh thần và thời gian khi sử dụng bàn phím. Về hiệu suất, IMK nhẹ nhàng vượt qua phương pháp nhập dữ liệu thay thế hiện đại nhất, đạt điểm vanguard 51,6 từ mỗi phút.

Bàn Phím Ma

Để bắt đầu tạo ra đầu vào, người dùng có thể đơn giản bắt đầu gõ trên màn hình, như thể có bàn phím hiện diện (mặc dù không có). Không có gì bật lên để cản trở tầm nhìn của nội dung, và các từ đã gõ sẽ xuất hiện trong bất kỳ hộp văn bản nào nơi gõ bắt nguồn, và tùy chọn như một dòng văn bản mỏng mà người dùng có thể kiểm tra độ chính xác.

Hệ thống tự hiệu chỉnh từ lúc nó nhận ra đầu vào. Do đó, người dùng có thể có thiết bị di động ở chế độ ngang hoặc dọc, và sử dụng toàn bộ không gian màn hình có sẵn để gõ văn bản.

Trong một video đi kèm (xem cuối bài viết, và hình ảnh trực tiếp dưới đây) các tác giả của bài báo minh họa cách hành động này hoạt động, mặc dù họ làm rõ rằng không có bàn phím thực sự nào xuất hiện trong quá trình nhập (chỉ có trong video để minh họa):

Đây là một ví dụ về IMK tại giai đoạn thu thập dữ liệu, mặc dù nó hoạt động giống hệt trong quá trình sử dụng cuối cùng. Bàn phím xuất hiện chỉ là để minh họa, và không xuất hiện với người dùng trong quá trình thu thập dữ liệu hoặc trong quá trình sử dụng giao diện cuối cùng.. Nguồn: https://www.youtube.com/watch?v=PuhiVGOfIR0

Gõ Văn Bản Là Một Hệ Tọa Độ

Nghiên cứu này bắt nguồn từ Viện Khoa học và Công nghệ Advanced Hàn Quốc (KAIST), và khai thác khả năng tự nhiên của chúng ta để ‘vẽ’ vị trí của phím tiếp theo trên bàn phím. Mặc dù nó có vẻ phản trực giác khi ẩn bàn phím và mong đợi ngón tay của người dùng tìm thấy phím tiếp theo, trên thực tế, ngay cả một người gõ văn bản trung bình cũng tự nhiên hướng đến phím chính xác.

Hiệu quả IMK coi bàn phím như một ma trận tọa độ, và các tác giả đã biên soạn một cơ sở dữ liệu rộng lớn về đầu vào của người dùng để cung cấp dữ liệu cho bộ giải mã ký tự thần kinh tự chú ý (SA-NCD) của hệ thống để đào tạo.

SA-NCD sẽ lưu ý vị trí của ‘phím rơi’ và tính toán xác suất của phím mong muốn. Khi các từ được xây dựng thông qua các phím, SA-NCD có thể biên soạn và chia nhỏ các ký tự thành các từ có ý định thành phần, làm sạch đầu vào trên cơ sở trực tiếp.

Cấu trúc mạng của SA-NCD, nơi Q/K/V đại diện cho truy vấn, khóa và giá trị của tự chú ý. Nguồn: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD không chờ đợi việc hoàn thành một câu có thể, vì nó không biết khi nào đầu vào câu sẽ kết thúc, và khi một từ hoặc từ được thêm vào câu, nó có thể quay lại và viết lại các giải thích trước đó từ câu trong ánh sáng của đầu vào mới nhất.

Cơ Sở Dữ Liệu

Để cung cấp cho quá trình đào tạo, các nhà nghiên cứu đã thu thập khoảng hai triệu cặp điểm chạm và văn bản từ các đối tượng thử nghiệm, những người đang sử dụng một giao diện web đơn giản được truy cập từ các thiết bị di động có khả năng chạm.

Cơ sở dữ liệu chứa các chữ cái đầu tiên của tên người dùng, kích thước màn hình của thiết bị của họ, tuổi của họ, loại thiết bị di động được sử dụng (ví dụ: máy tính bảng, điện thoại thông minh, v.v.), và các giá trị tọa độ x và y của mỗi phím rơi đã đăng ký.

Vị trí trung bình của các phím rơi trong số người dùng, với các điểm có màu giống nhau biểu thị các phím rơi từ cùng một người dùng. Xác định dữ liệu người dùng giống nhau giúp tối ưu hóa cơ sở dữ liệu và tránh quá trình phù hợp bằng cách so sánh các nhóm phím rơi trung bình từ các người dùng cá nhân, thay vì đào tạo các phím gõ của một người dùng này với nhau.

Quá trình đào tạo phải tính đến sự khác biệt đáng kể về khoảng cách pixel trung bình giữa các nét trong số người dùng. Một số người dùng, có thể là những người đã quen với các bàn phím phần mềm rất chật chội, duy trì khoảng cách trung bình giữa các phím chỉ 50 pixel trên trục z, trong khi những người khác trung bình 300 pixel.

Những sự khác biệt này là quan trọng, vì trong trường hợp trục Y, một lỗi sẽ đặt phím rơi vào hàng sai, thay thế, ví dụ, ‘I’ hoặc ‘M’ cho phím ‘K’ mong muốn.

Kiến Trúc Và Đào Tạo

SA-NCD bao gồm hai mô-đun giải mã: một giải mã hình học, tính toán vị trí trên bàn phím vô hình mà một phím gõ được dự định sẽ rơi; và một giải mã ngữ nghĩa, xử lý việc giải thích trực tiếp văn bản nhập.

Giải mã hình học sử dụng GRU hai chiều (BiGRU), với GRU được áp dụng như một mạng nơ-ron hồi quy (RNN), với các lượt đi và về phía trước tạo điều kiện cho một sự giải thích liên tục thay đổi của câu.

Thành phần ngữ nghĩa sử dụng một kiến trúc Transformer, giải thích đầu vào sau khi nó đã đi qua một quá trình ‘mặt nạ tự tin’ được thiết kế để so sánh sử dụng trung bình với phím rơi cụ thể mới. Bộ giải mã ngữ nghĩa được đào tạo như một mô hình ngôn ngữ có ký tự bị che giấu đối với Benchmarks Một Tỷ Từ, một sự hợp tác năm 2014 giữa Google, Đại học Cambridge và Đại học Edinburgh.

Kết Quả

Trong các thử nghiệm, người dùng có thể gõ 157,5% nhanh hơn khi sử dụng IMK so với các bàn phím phần mềm của bên thứ ba trên điện thoại thông minh của riêng họ. Hơn nữa, nó đã được tìm thấy rằng IMK vượt qua các kết quả đạt được bởi các phương pháp mới nổi bật, chẳng hạn như phương pháp nhập văn bản dựa trên cử chỉ, dựa trên cảm ứng và nhập văn bản 10 ngón tay trong những năm gần đây. Bài báo báo cáo rằng người dùng đã thể hiện sự hài lòng cao với hệ thống.

Xem video của các tác giả dưới đây để tìm hiểu thêm về IMK.