لوحة مفاتيح محمولة غير مرئية مدفوعة بالذكاء الاصطناعي تتيح لك الكتابة أسرع بنسبة 157٪

استخدم باحثون من كوريا الجنوبية تقنيات التعلم الآلي لتطوير لوحة مفاتيح "غير مرئية" للأجهزة المحمولة ذات المساحة المحدودة والتي تتيح للمستخدمين الكتابة بشكل أسرع بنسبة 157.5%، على الرغم من عدم ظهور لوحة مفاتيح على الشاشة.

رد المستخدم على طريقة جديدة - يُطلق عليها ببساطة لوحة المفاتيح المحمولة غير المرئية (IMK) - تم الإبلاغ عن أنها إيجابية للغاية ، حيث أبلغ مستخدمو الاختبار عن مستويات منخفضة من الطلب البدني والعقلي والزمني أثناء استخدام لوحة المفاتيح. من حيث الكفاءة ، يتفوق IMK قليلاً على أحدث طريقة إدخال بديلة ، حيث يرتفع إلى درجة طليعية تبلغ 51.6 كلمة في الدقيقة.

لوحة المفاتيح الفانتوم

لبدء إنشاء الإدخال ، يمكن للمستخدمين ببساطة البدء في الكتابة على الشاشة ، كما لو كانت لوحة المفاتيح مرئية (على الرغم من عدم وجود أي منها). لا ينبثق أي شيء لعرقلة عرض المحتوى ، وستظهر الكلمات المكتوبة في أي مربع نص تقبلي حيث تنشأ الكتابة ، واختياريًا كتدفق رفيع من النص يمكن للمستخدم التحقق من دقته.

يقوم النظام بالمعايرة الذاتية من اللحظة التي يتعرف فيها على المدخلات. لذلك يمكن للمستخدم وضع الجهاز المحمول في الوضع الأفقي أو الرأسي ، واستخدام مساحة الشاشة المتاحة بكاملها لكتابة نصه.

في مقطع فيديو مصاحب (انظر نهاية المقالة ، والصورة أدناه مباشرة) يوضح مؤلفو الورقة كيفية عمل الإجراء ، على الرغم من أنهم أوضحوا أنه لا توجد لوحة مفاتيح فعلية تظهر أثناء الإدخال (إنها موجودة فقط لأغراض توضيحية في الفيديو):

هذا مثال على IMK في مرحلة جمع البيانات ، على الرغم من أنه يعمل بشكل متماثل في الاستخدام النهائي. لوحة المفاتيح التي تظهر للأغراض التوضيحية فقط ، ولا تظهر للمستخدم سواء أثناء عملية جمع البيانات أو في الاستخدام النهائي للواجهة. المصدر: https://www.youtube.com/watch؟

الكتابة كنظام إحداثي

نشأ البحث من المعهد الكوري المتقدم للعلوم والتكنولوجيا (KAIST) ، ويستغل قدرتنا الطبيعية على "الرسم" حيث يكون المفتاح التالي على لوحة المفاتيح. على الرغم من أنه قد يبدو من غير البديهي إخفاء لوحة المفاتيح وتوقع أن يعثر إصبع المستخدم على المفتاح المطلوب التالي ، إلا أنه في الواقع يتجه حتى صانع الآلة العادي بشكل غريزي إلى الحرف الصحيح.

يتعامل IMK بشكل فعال مع لوحة المفاتيح على أنها مصفوفة حبكة ، وقد قام المؤلفون بتجميع قاعدة بيانات شاملة لمدخلات المستخدم من أجل توفير بيانات لمفكك الشفرة الذاتي للرموز العصبية (SA-NCD) في النظام للتدريب عليها.

ستلاحظ SA-NCD موضع "سقوط المفتاح" وتحسب احتمال المفتاح المطلوب. مع تراكم الكلمات من خلال ضربات المفاتيح ، يمكن لـ SA-NCD تجميع الأحرف وتقسيمها إلى الكلمات المقصودة المكونة لها ، وتنظيف المدخلات على أساس مباشر.

بنية شبكة SA-NCD ، حيث يرمز Q / K / V إلى الاستعلام والمفتاح وقيمة الاهتمام الذاتي. المصدر: https://arxiv.org/pdf/2108.09030.pdf

لا تنتظر SA-NCD حتى الانتهاء من جملة محتملة ، حيث إنها لا تملك أي فكرة عن موعد انتهاء إدخال الجملة ، وككلمة أو كلمات تُضاف إلى العبارة ، قد تقوم بإعادة زيارة وإعادة كتابة التفسيرات السابقة من الجملة في ضوء أحدث المدخلات.

قاعدة البيانات

من أجل دعم عملية التدريب ، جمع الباحثون حوالي مليوني زوج من نقاط اللمس والنصوص من الأشخاص الذين خضعوا للاختبار ، الذين كانوا يستخدمون واجهة بسيطة قائمة على الويب يمكن الوصول إليها من أجهزة محمولة تعمل باللمس.

تحتوي مجموعة البيانات على الأحرف الأولى من اسم المستخدم ، وحجم شاشة الجهاز ، وعمره ، ونوع الجهاز المحمول المستخدم (مثل الكمبيوتر اللوحي ، والهاتف الذكي ، وما إلى ذلك) ، وقيم إحداثيات x و y لكل خطأ مسجل.

متوسط ​​مواضع سقوط المفاتيح بين المستخدمين ، مع وجود نقاط من اللون المتطابق تشير إلى سقوط المفاتيح من نفس المستخدمين. يساعد تحديد بيانات المستخدم نفسه على تحسين مجموعة البيانات وتجنب الإفراط في التخصيص من خلال مقارنة متوسط ​​مجموعات keyfall من المستخدمين الفرديين ، بدلاً من تدريب ضغطات المفاتيح لمستخدم واحد ضد بعضها البعض.

كان على التدريب أن يأخذ في الحسبان الاختلافات الملحوظة في متوسط ​​مسافة البكسل بين السكتات الدماغية بين المستخدمين. بعض المستخدمين ، ربما أولئك الذين اعتادوا على لوحات مفاتيح البرامج الضيقة للغاية ، حافظوا على متوسط ​​مسافة بين المفاتيح يبلغ 50 بكسل فقط على المحور z ، بينما بلغ متوسط ​​الآخرين 300 بكسل.

هذه الاختلافات حاسمة ، لأنه في حالة المحور ص ، قد يؤدي الخطأ إلى وضع سقوط المفتاح على الصف الخطأ ، واستبدال ، على سبيل المثال ، حرف "I" أو "M" بضربة "K" المقصودة.

العمارة والتدريب

يتكون SA-NCD من وحدتين من وحدات فك التشفير: وحدة فك ترميز هندسية ، والتي تحسب مكان سقوط ضغط المفاتيح على لوحة المفاتيح غير المرئية ؛ وجهاز فك الشفرة الدلالي ، والذي يتعامل مع التفسير المباشر لنص الإدخال.

يستخدم مفكك الشفرة الهندسي GRU ثنائي الاتجاه (بيجرو)، مع اعتماد GRU كشبكة عصبية متكررة (RNN)، مع تمريرات للأمام والخلف تسهل التفسير المتغير باستمرار للجملة.

يستخدم المكون الدلالي أ محول العمارة ، التي تفسر المدخلات بعد أن تمر عبر عملية "إخفاء الثقة" المصممة لمقارنة متوسط ​​الاستخدام مقابل keyfall المحدد الجديد. تم تدريب وحدة فك الترميز الدلالية كنموذج لغة شخصية مقنع ضد معيار واحد مليار كلمة، وهو تعاون عام 2014 بين Google وجامعة كامبريدج وجامعة إدنبرة.

النتائج

في الاختبارات ، كان المستخدمون قادرين على كتابة 157.5٪ أسرع باستخدام IMK مقارنة بلوحات مفاتيح برامج الجهات الخارجية على هواتفهم الذكية. علاوة على ذلك ، فقد وجد أن IMK تجاوز النتائج التي تم الحصول عليها من خلال طرق جديدة منافسة ، مثل طرق إدخال النص القائمة على الإيماءات والقائمة على اللمس وعشرة أصابع في السنوات الأخيرة. تشير الصحيفة إلى أن المستخدمين أظهروا رضا كبير عن النظام.

شاهد فيديو المؤلفين أدناه لمعرفة المزيد عن IMK.