لوحة مفاتيح موبايل خفية مدعومة بالذكاء الاصطناعي تتيح لك الكتابة بسرعة 157٪

استخدم باحثون من كوريا الجنوبية تقنيات التعلم الآلي لتطوير “لوحة مفاتيح خفية” لأجهزة الموبايل ذات المساحة المحدودة، مما يسمح للمستخدمين بالكتابة بسرعة 157.5٪، حتى بدون ظهور لوحة المفاتيح على الشاشة.

استجابة المستخدم للطريقة الجديدة – التي تسمى ببساطة لوحة مفاتيح موبايل خفية (IMK) – يتم الإبلاغ عنها بشكل إيجابي للغاية، حيث أبلغ المستخدمون الذين خضعوا للاختبار عن مستويات منخفضة من الطلب البدني والعقلي والزمني أثناء استخدام لوحة المفاتيح. فيما يتعلق بالكفاءة، تتفوق IMK بشكل خفيف على أحدث طريقة بديلة للمدخلات، حيث تصل إلى درجة 51.6 كلمة في الدقيقة.

لوحة المفاتيح الخفية

لبدء إنتاج الإدخال، يمكن للمستخدمين ببساطة البدء في الكتابة على الشاشة، كما لو كانت لوحة المفاتيح مرئية (على الرغم من عدم ظهورها). لا تظهر أي شيء لعرقلة عرض المحتوى، وستظهر الكلمات المكتوبة في أي مربع نص قابل للاستقبال حيث يبدأ الكتابة، ويمكن اختيارياً كتيار رقيق من النص الذي يمكن للمستخدم التحقق من دقته.

النظام يضبط نفسه تلقائياً من لحظة الاعتراف بالإدخال. لذلك يمكن للمستخدم أن يكون الجهاز المحمول في وضع أفقي أو رأسي، ويمكنه استخدام المساحة الشاشة المتاحة بالكامل لكتابة نصه.

في مقطع فيديو مصاحب (انظر نهاية المقالة، والصورة المباشرة أدناه) يشرح مؤلفو الورقة كيفية عمل الإجراء، على الرغم من أنهم يؤكدون أن لا لوحة مفاتيح حقيقية تظهر أثناء الإدخال (إنها فقط للغرض التوضيحي في الفيديو):

هذا مثال على IMK في مرحلة جمع البيانات، على الرغم من أنها تعمل بشكل متطابق في الاستخدام النهائي. لوحة المفاتيح التي تظهر هي فقط للغرض التوضيحي، ولا تظهر للمستخدم أثناء عملية جمع البيانات أو في الاستخدام النهائي للواجهة. مصدر: https://www.youtube.com/watch?v=PuhiVGOfIR0

الكتابة كمنظومة إحداثيات

تنشأ الأبحاث من معهد كوريا المتقدم للعلوم والتكنولوجيا (KAIST)، وتستغل القدرة الطبيعية على “تحديد” مكان المفتاح التالي على لوحة المفاتيح. على الرغم من أن إخفاء لوحة المفاتيح وتوقع أن يجد المستخدم المفتاح التالي قد يبدو غير متوافق، فإن حتى كاتب متوسط يوجه إصبعه تلقائياً إلى المفتاح الصحيح.

تعتبر IMK لوحة المفاتيح كمصفوفة إحداثيات، وقد قام المؤلفون بتجميع قاعدة بيانات شاملة للإدخال المستخدم لتقديم بيانات لمدخلات محول الشخصيات العصبية الذاتي الانتباه (SA-NCD) للتدريب.

SA-NCD سوف يلاحظ موقع “سقوط المفتاح” ويهتم بحساب احتمال المفتاح الذي كان مطلوباً. مع بناء الكلمات من خلال ضربات المفاتيح، يمكن لـ SA-NCD تجميع وتفكيك الحروف إلى الكلمات المطلوبة، وتنظيف الإدخال على أساس حي.

هندسة الشبكة من SA-NCD، حيث Q/K/V تمثل الاستفسار والمفتاح والقيمة من الانتباه الذاتي. مصدر: https://arxiv.org/pdf/2108.09030.pdf

لا ينتظر SA-NCD إكمال جملة محتملة، لأنها لا تعرف متى ستنتهي جملة الإدخال، وعندما يتم إضافة كلمة أو كلمات إلى الجملة، قد يعيد النظر في التفسيرات السابقة للجملة في ضوء الإدخال الأخير.

قاعدة البيانات

为了 تغذية عملية التدريب، جمع الباحثون حوالي مليوني زوج من نقاط اللمس والنص من المشاركين في الاختبار، الذين كانوا يستخدمون واجهة ويب بسيطة يمكن الوصول إليها من أجهزة الموبايل القابلة للمس.

تحتوي قاعدة البيانات على الحروف الأولى من أسماء المستخدمين، وحجم الشاشة لجهازهم، وعمرهم، ونوع جهاز الموبايل المستخدم (مثل جهاز لوحي أو هاتف ذكي، إلخ)، وقيم الإحداثيات السينية والصينية لكل مفتاح مسجل.

المواقع المتوسطة لمفاتيح المستخدمين، مع نقاط من نفس اللون تشير إلى مفاتيح من نفس المستخدم. تحديد بيانات المستخدم نفسه يساعد على تحسين قاعدة البيانات وتجنب التأثير الزائد من خلال مقارنة مجموعات مفاتيح المستخدم الفردية، بدلاً من تدريب ضربات المفاتيح الخاصة بالمستخدم الواحد على بعضها البعض.

كان التدريب يجب أن يأخذ في الاعتبار الاختلافات الملحوظة في المسافة المتوسطة بين الإشارات بين المستخدمين. بعض المستخدمين، ربما الذين اعتادوا على لوحات مفاتيح برمجية ضيقة، حافظوا على مسافة متوسطة بين المفاتيح تبلغ 50 بكسل فقط على المحور z، في حين حافظ الآخرون على مسافة متوسطة تبلغ 300 بكسل.

هذه الاختلافات حاسمة، لأن في حالة المحور y، سيؤدي الخطأ إلى وضع مفتاح على الصف الخطأ، مما يؤدي إلى استبدال “I” أو “M” بالمفتاح المطلوب “K”.

الهندسة المعمارية والتدريب

يتكون SA-NCD من两个 وحدة فك الشفرة: فك شفرة هندسي، يحسب مكان لوحة المفاتيح الخفية حيث كان من المفترض أن يقع ضربة المفتاح؛ وفك شفرة دلالي، الذي يتعامل مع تفسير الإدخال النصي في الوقت الفعلي.

يستخدم فك الشفرة الهندسي GRU ثنائي الاتجاه (BiGRU)، مع GRU المعتمد كشبكة عصبونية متكررة (RNN)، مع تمريرات إلى الأمام والخلف التي تسهل تفسيراً متغيراً باستمرار للجملة.

يستخدم المكون الدلالي هيكلاً من نوع Transformer، الذي يفسر الإدخال بعد مروره عبر عملية масك التأكيد المصممة لمقارنة الاستخدام المتوسط مع ضربة المفتاح الجديدة. تم تدريب فك الشفرة الدلالي كنموذج لغة محجوب على معيار مليار كلمة، وهو تعاون في عام 2014 بين جوجل وجامعة كامبريدج وجامعة إدنبرة.

النتائج

في الاختبارات، كان المستخدمون قادرين على الكتابة بسرعة 157.5٪ باستخدام IMK مقارنة بلوحات مفاتيح البرمجيات الثالثة على هواتفهم الذكية. بالإضافة إلى ذلك، وجد أن IMK تفوقت على الطرق الجديدة المنافسة، مثل أساليب الإدخال القائمة على الإشارة واللمس وطريقة إدخال النص بأصابع العشر. تقارير الورقة أن المستخدمين أظهروا رضاً عالياً بالنظام.

انظر مقطع الفيديو التالي من المؤلفين لمعرفة المزيد عن IMK.