มุมมองของ Anderson
คีย์บอร์ดมือถือแบบมองไม่เห็นที่ขับเคลื่อนด้วย AI ที่ช่วยให้คุณพิมพ์เร็วขึ้น 157%
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
นักวิจัยจากเกาหลีใต้ใช้เทคนิคการเรียนรู้ของเครื่องจักรเพื่อพัฒนาคีย์บอร์ด “มองไม่เห็น” สำหรับอุปกรณ์มือถือที่มีพื้นที่จำกัด ซึ่งช่วยให้ผู้ใช้สามารถพิมพ์เร็วขึ้น 157.5% แม้ว่าจะไม่มีคีย์บอร์ดปรากฏบนหน้าจอก็ตาม
ผู้ใช้ตอบสนองต่อ วิธีการใหม่ – ที่เรียกว่า Invisible Mobile Keyboard (IMK) – เป็นไปอย่างดี โดยผู้ใช้ทดสอบรายงานว่ามีการเรียกร้องทางกายภาพ จิตใจ และเวลาในการใช้คีย์บอร์ดต่ำ ในด้านประสิทธิภาพ IMK มีประสิทธิภาพมากกว่าวิธีการป้อนข้อมูลทางเลือกที่ดีที่สุดในขณะนี้ โดยมีคะแนน vanguard สูงถึง 51.6 คำต่อนาที
คีย์บอร์ดแฟนตอม
ในการเริ่มสร้างอินพุต ผู้ใช้สามารถเริ่มพิมพ์บนหน้าจอได้เหมือนกับมีคีย์บอร์ดปรากฏอยู่ (แม้ว่าจะไม่มีคีย์บอร์ดปรากฏก็ตาม) ไม่มีสิ่งใดที่ปรากฏขึ้นเพื่อขัดขวางการมองเห็นของเนื้อหา และคำที่พิมพ์จะปรากฏในกล่องข้อความที่สามารถรับข้อความได้ และอาจปรากฏเป็นกระแสข้อความบางส่วนที่ผู้ใช้สามารถตรวจสอบความถูกต้องได้
ระบบจะปรับแต่งตัวเองตั้งแต่ช่วงเวลาที่รับรู้อินพุต ดังนั้นผู้ใช้จึงสามารถมีอุปกรณ์มือถือในโหมดแนวนอนหรือตั้งฉาก และใช้พื้นที่หน้าจอที่มีอยู่ทั้งหมดเพื่อพิมพ์ข้อความของตน
ในวิดีโอที่แนบมา (ดูส่วนท้ายของบทความ และภาพด้านล่าง) ผู้เขียนบทความแสดงว่าการกระทำนั้นทำงานอย่างไร โดยพวกเขาชี้แจงว่าไม่มีคีย์บอร์ดปรากฏขึ้นระหว่างการป้อนข้อมูล (มีเพียงสำหรับวัตถุประสงค์ในการอธิบายเท่านั้นใน วิดีโอ)
นี่คือตัวอย่างของ IMK ที่ช่วงการรวบรวมข้อมูล แต่ทำงานเหมือนกันในช่วงการใช้งานสุดท้าย คีย์บอร์ดที่ปรากฏขึ้นนั้นเป็นเพียงสำหรับวัตถุประสงค์ในการอธิบายเท่านั้น และไม่ปรากฏขึ้นสำหรับผู้ใช้ระหว่างการรวบรวมข้อมูลหรือการใช้งานสุดท้ายของอินเทอร์เฟซ. Source: https://www.youtube.com/watch?v=PuhiVGOfIR0
การพิมพ์เป็นระบบพิกัด
การวิจัยนี้มาจาก Korea Advanced Institute of Science and Technology (KAIST) และใช้ความสามารถตามธรรมชาติของเราในการ “วางแผน” ว่าปุ่มถัดไปอยู่ที่ไหนบนคีย์บอร์ด แม้ว่าจะดูไม่สมเหตุสมผลที่จะซ่อนคีย์บอร์ดและคาดหวังให้นิ้วของผู้ใช้พบปุ่มถัดไปที่ต้องการ แต่ในความเป็นจริง ผู้พิมพ์ปกติจะหาปุ่มถัดไปโดยไม่รู้ตัว
โดยทั่วไปแล้ว IMK จะรักษาคีย์บอร์ดเป็นเมทริกซ์พล็อต และผู้เขียนได้รวบรวมฐานข้อมูลที่กว้างขวางของอินพุตผู้ใช้เพื่อจัดหาข้อมูลสำหรับการฝึกอบรม Self-Attention Neural Character Decoder (SA-NCD)
SA-NCD จะสังเกตตำแหน่งของ “การหล่นของปุ่ม” และคำนวณความน่าจะเป็นที่ปุ่มที่ต้องการจะถูกกด As คำศัพท์สร้างขึ้นผ่านการกดปุ่ม SA-NCD สามารถรวบรวมและแบ่งคำออกเป็นคำที่ตั้งใจไว้โดยอัตโนมัติ โดยทำความสะอาดอินพุตแบบเรียลไทม์
สถาปัตยกรรมเครือข่ายของ SA-NCD โดยที่ Q/K/V แสดงถึงคำถาม คีย์ และค่าของการดึงดูดความสนใจ Source: https://arxiv.org/pdf/2108.09030.pdf
SA-NCD ไม่ต้องรอจนกว่าการป้อนข้อมูลจะเสร็จสิ้น เนื่องจากไม่มีทางรู้ว่าเมื่อไหร่จะสิ้นสุดการป้อนข้อมูล และเมื่อมีการเพิ่มคำหรือวลีเข้าไปในประโยค อาจจะกลับมาทบทวนและเขียนใหม่คำอธิบายก่อนหน้านี้ของประโยคในแสงสว่างของอินพุตล่าสุด
ฐานข้อมูล
เพื่อจัดหาข้อมูลในการฝึกอบรม ผู้วิจัยรวบรวมประมาณสองล้านคู่ของจุดสัมผัสและข้อความจากผู้ทดสอบที่ใช้อินเทอร์เฟซเว็บแบบง่ายๆ ที่เข้าถึงได้จากอุปกรณ์มือถือที่รองรับการสัมผัส
ชุดข้อมูลประกอบด้วยตัวอักษรตัวแรกของชื่อผู้ใช้ ขนาดหน้าจอของอุปกรณ์ อายุ ประเภทของอุปกรณ์มือถือที่ใช้ (เช่น แท็บเล็ต สมาร์ทโฟน ฯลฯ) และค่าพิกัด x และ y ของการกดปุ่มที่ลงทะเบียนทั้งหมด
ตำแหน่งเฉลี่ยของการกดปุ่มที่ผู้ใช้ทำ โดยจุดที่มีสีเดียวกันแสดงถึงการกดปุ่มจากผู้ใช้คนเดียวกัน การระบุจุดเดียวกันของผู้ใช้ช่วยให้สามารถเพิ่มประสิทธิภาพของชุดข้อมูลและหลีกเลี่ยงการ overfitting โดยการเปรียบเทียบการกดปุ่มเฉลี่ยจากผู้ใช้แต่ละคน แทนที่จะฝึกการกดปุ่มของผู้ใช้แต่ละคนกับอีกคนหนึ่ง
การฝึกอบรมต้องคำนึงถึงความแตกต่างที่สำคัญในระยะทางพิกเซลเฉลี่ยระหว่างจังหวะการกดปุ่มของผู้ใช้ บางคน อาจเป็นผู้ที่เคยชินกับคีย์บอร์ดซอฟต์แวร์ที่แคบๆ มีการกดปุ่มที่มีระยะทางเฉลี่ยเพียง 50 พิกเซลบนแกน z ในขณะที่คนอื่นๆ มีระยะทางเฉลี่ย 300 พิกเซล
สิ่งเหล่านี้มีความสำคัญอย่างยิ่ง เนื่องจากในกรณีของแกน y ข้อผิดพลาดจะทำให้การกดปุ่มอยู่ในแถวที่ไม่ถูกต้อง โดยการแทนที่ตัวอย่างเช่น ‘I’ หรือ ‘M’ ด้วย ‘K’ ที่ตั้งใจไว้
สถาปัตยกรรมและการฝึกอบรม
SA-NCD ประกอบด้วยโมดูลตัวถอดรหัสสองตัว: ตัวถอดรหัสทางเรขาคณิต ซึ่งคำนวณว่าปุ่มถูกกดที่ไหนบนคีย์บอร์ดที่มองไม่เห็น; และตัวถอดรหัสเชิงความหมาย ซึ่งจัดการการวิเคราะห์ข้อความอินพุตแบบเรียลไทม์
ตัวถอดรหัสทางเรขาคณิตใช้ BiGRU (BiGRU) โดยมี GRU ที่นำมาใช้เป็น RNN โดยมีการผ่านไปข้างหน้าและข้างหลังที่ช่วยให้สามารถตีความประโยคที่เปลี่ยนแปลงอยู่เสมอ
ส่วนเชิงความหมายใช้สถาปัตยกรรม Transformer (Transformer) ซึ่งวิเคราะห์ข้อมูลอินพุตหลังจากผ่านกระบวนการ “การปิดบังความมั่นใจ” ที่ออกแบบมาเพื่อเปรียบเทียบการใช้งานเฉลี่ยกับการกดปุ่มใหม่ ตัวถอดรหัสเชิงความหมายถูกฝึกอบรมเป็นแบบจำลองภาษาแบบมาสก์สำหรับตัวอักษรต่อๆ ไปกับ One Billion Word Benchmark (One Billion Word Benchmark) ซึ่งเป็นความร่วมมือในปี 2014 ระหว่าง Google มหาวิทยาลัยเคมบริดจ์ และมหาวิทยาลัยเอดินบะระ
ผลลัพธ์
ในการทดสอบ ผู้ใช้สามารถพิมพ์ได้เร็วขึ้น 157.5% โดยใช้ IMK เมื่อเทียบกับคีย์บอร์ดซอฟต์แวร์ของบุคคลที่สามบนสมาร์ทโฟนของตนเอง นอกจากนี้ยังพบว่า IMK มีประสิทธิภาพมากกว่าวิธีการป้อนข้อมูลใหม่ที่เป็นคู่แข่ง เช่น วิธีการป้อนข้อมูลแบบเจสเชอร์ แบบสัมผัส และแบบสิบนิ้วของปีที่ผ่านมา บทความนี้รายงานว่าผู้ใช้แสดงความพึงพอใจสูงต่อระบบ
ดูวิดีโอของผู้เขียนด้านล่างเพื่อดูรายละเอียดเพิ่มเติมเกี่ยวกับ IMK
