인공지능 기반의 보이지 않는 모바일 키보드 – 사용자가 157% 더 빠르게 입력할 수 있는 기술

한국의 연구자들은 기계 학습 기술을 사용하여 공간이 제한된 모바일 장치용 ‘보이지 않는’ 키보드를 개발했습니다. 이 키보드는 사용자가 실제 키보드가 화면에 표시되지 않아도 157.5% 더 빠르게 입력할 수 있도록 합니다.

사용자가 새로운 방법 – 즉, Invisible Mobile Keyboard (IMK) – 에 대한 반응은 매우 긍정적이라고 보고됩니다. 테스트 사용자들은 물리적, 정신적, 시간적 요구가 낮은 수준을 보고했습니다. 효율성 측면에서 IMK는 가장 최근의 대체 입력 방법보다 약간 더 우수한 성능을 보였으며, 51.6 단어/분의 성과를 달성했습니다.

보이지 않는 키보드

입력을 시작하려면 사용자는 화면에 키보드가 표시된 것처럼 단순히 입력을 시작할 수 있습니다. 아무 것도 내용의 시야를 방해하지 않으며, 입력된 단어는 입력이 시작된 텍스트 상자에 나타납니다.

시스템은 입력을 인식하는 순간부터 자체적으로 校正합니다. 따라서 사용자는 모바일 장치를 가로 또는 세로 모드로 사용하고, 사용 가능한 전체 화면 공간을 사용하여 텍스트를 입력할 수 있습니다.

동반하는 비디오(본문 하단 및 바로 아래 이미지 참조)에서 논문의 저자들은 입력이 어떻게 작동하는지 설명합니다. 그러나 실제 키보드가 입력 중에 표시되지 않는다고 명시합니다(비디오에서만 설명을 위해 표시됨).

IMK의 데이터 수집 단계 예시입니다. 최종 사용자 인터페이스에서도 동일하게 작동합니다. 표시된 키보드는 사용자에게 표시되지 않습니다.. 출처: https://www.youtube.com/watch?v=PuhiVGOfIR0

좌표계로서의 타이핑

이 연구는 한국과학기술원(KAIST)에서 시작되었으며, 우리가 키보드에서 다음 키를 ‘플로팅’하는 자연스러운 능력을 이용합니다. 키보드를 숨기고 사용자의 손가락이 다음 키를 찾을 수 있을 것이라고 기대하는 것은 직관에 반하는 것처럼 보일 수 있습니다. 그러나 평균적인 타이피스트는 실제로 다음 키를 찾는 데 본능적으로 움직입니다.

효과적으로 IMK는 키보드를 좌표 행렬로 처리하며, 저자들은 시스템의 Self-Attention Neural Character Decoder (SA-NCD)를 훈련시키기 위해 사용자 입력의 광범위한 데이터베이스를 수집했습니다.

SA-NCD는 ‘키-폴’의 위치를 계산하고 원하는 키의 확률을 결정합니다. 단어가 입력되면서 SA-NCD는 문자를 실시간으로 해석하고 입력을 정리합니다.

SA-NCD의 네트워크 아키텍처입니다. Q/K/V는 자기 주의의 쿼리, 키, 값입니다. 출처: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD는 문장이 완성될 때까지 기다리지 않습니다. 사용자가 입력한 단어 또는 단어가 추가되면 이전 해석을 재검토하고 수정합니다.

데이터베이스

훈련 과정을 위해 연구자들은 약 200만 개의 터치 포인트와 텍스트를 테스트 사용자로부터 수집했습니다. 이 데이터에는 사용자의 이름 초기값, 화면 크기, 나이, 사용한 모바일 장치 유형, 각 등록된 키-폴의 x 및 y 좌표 값이 포함됩니다.

데이터셋에는 사용자의 이름 초기값, 화면 크기, 나이, 사용한 모바일 장치 유형, 각 등록된 키-폴의 x 및 y 좌표 값이 포함됩니다.

사용자별 키-폴 평균 위치입니다. 동일한 색상의 점은 동일한 사용자로부터의 키-폴을 나타냅니다. 동일한 사용자 데이터를 식별하여 평균 키-폴 그룹을 비교함으로써 과적합을 피할 수 있습니다.

훈련 과정에서는 사용자 간의 평균 픽셀 거리 차이를 고려해야 했습니다. 일부 사용자는 매우狭い 소프트웨어 키보드를 사용하던 사용자였을 수 있으며, 평균 키 간 거리가 50픽셀이었습니다. 반면에 다른 사용자는 300픽셀의 평균 거리를 보였습니다.

이러한 차이는 중요합니다. 예를 들어, Y축에서 오차가 발생하면 키-폴이 잘못된 행에 위치하게 되며, 예를 들어 ‘K’ 키를 입력하려고 했지만 ‘I’ 또는 ‘M’ 키가 입력될 수 있습니다.

아키텍처 및 훈련

SA-NCD는 두 개의 디코더 모듈로 구성됩니다. 하나는 기하학적 디코더로, 보이지 않는 키보드에서 키-폴의 위치를 계산합니다. 다른 하나는 의미적 디코더로, 입력 텍스트를 실시간으로 해석합니다.

기하학적 디코더는 Bidirectional GRU (BiGRU)를 사용하며, GRU는 순방향 및 역방향 패스를 통해 문장의 해석을不断으로 업데이트합니다.

의미적 디코더는 Transformer 아키텍처를 사용하며, 입력을 해석하기 전에 ‘신뢰도 마스킹’ 과정을 통해 평균 사용 패턴과 새로운 키-폴을 비교합니다. 의미적 디코더는 One Billion Word Benchmark에 대해 마스킹된 문자 언어 모델로 훈련되었습니다.

결과

테스트에서 사용자들은 IMK를 사용하여 제3자 소프트웨어 키보드보다 157.5% 더 빠르게 입력할 수 있었습니다. 또한 IMK는 최근 몇 년간의 제스처 기반, 터치 기반, 10개의 손가락 입력 방법을 포함한 새로운 방법보다 더 우수한 성과를 보였습니다. 논문에 따르면 사용자들은 시스템에 대해 높은 만족도를 보였습니다.

자세한 내용은 아래의 저자 비디오를 참조하십시오.