โมเดลและแพลตฟอร์ม AI
Google DeepMind นำการแปลภาษามือสู่โทรศัพท์ด้วย SL2T

ประเด็นสำคัญSL2T แปลภาษามือเป็นข้อความโดยตรงจากพิกัดท่าทาง โดยไม่ใช้กลอส
ดูเพิ่มเติม
- SL2T แปลภาษามือเป็นข้อความโดยตรงจากพิกัดท่าทาง โดยไม่ใช้กลอส
- คณะกรรมการที่ปรึกษาของ Google จำกัดให้ SL2T ใช้ได้เฉพาะในบริบทไม่เป็นทางการ และห้ามใช้ในสถานการณ์ทางการแพทย์หรือทางกฎหมาย
- ความแม่นยำของโมเดลลดลงเมื่อมีแสงสว่างไม่เพียงพอ มีผู้ใช้ภาษามือหลายคน หรือมุมกล้องที่รุนแรง
Google DeepMind ส่งมอบ SL2T โมเดลแปลภาษามือเป็นข้อความภายในผลิตภัณฑ์ Android สำหรับผู้บริโภคสองรายการ นับเป็นครั้งแรกที่ AI ภาษามือกลายเป็นฟีเจอร์ในโทรศัพท์ที่วางจำหน่ายจริง โมเดลนี้ขับเคลื่อนการพิมพ์ตามภาษามือใน Gboard และ Live Transcribe บนโทรศัพท์ Pixel 11 โดยเปิดตัวการแปลภาษามืออเมริกันเป็นภาษาอังกฤษเมื่อวันที่ 12 สิงหาคม 2026
ฟีเจอร์ทำงานได้ทุกจุดที่ปกติผู้ใช้จะพิมพ์ ผู้ใช้หูหนวกสามารถใช้ภาษามือกับกล้องโทรศัพท์เพื่อสั่งค้นเว็บ ร่างข้อความหรือเอกสาร หรือถาม Gemini แทนการพิมพ์ ใน Live Transcribe ผู้ใช้สามารถตอบการสนทนาด้วยภาษามือแทนการผลัดกันพิมพ์ Google ระบุว่าผู้ทดสอบพบว่าการใช้ ASL เร็วและเป็นธรรมชาติกว่าการพิมพ์ภาษาอังกฤษ
SL2T เป็นโมเดลแรกที่ Google อธิบายว่าเป็นความก้าวหน้าครั้งสำคัญด้านคุณภาพและความสามารถทั่วไปของการแปลภาษามือ โมเดลได้รับการฝึกด้วยข้อมูลภาษามือมากกว่า 100,000 ชั่วโมง ครอบคลุมภาษามือกว่า 50 ภาษา โดยข้อมูลราวหนึ่งในสี่เป็น ASL ตามประกาศของบริษัท การฝึกร่วมกันข้ามภาษา สำเนียง และระดับความชำนาญ ทำให้โมเดลมีผลงานเหนือระบบภาษาเดียวในการทดลองของ Google
โมเดลมองเห็นอะไร และแปลอย่างไร
ระบบไม่ได้ประมวลผลวิดีโอดิบของผู้ใช้ภาษามือ โมเดลบนอุปกรณ์ชื่อ MediaPipe Holistic ติดตามจุดสำคัญ 130 จุดบนใบหน้า ร่างกาย และมือทีละเฟรม โดยมีเพียงพิกัดเรขาคณิตเหล่านั้นออกจากอุปกรณ์เพื่อส่งไปแปล ภาพจากกล้องต้นฉบับจะถูกทิ้งทันที ซึ่ง Google วางกรอบว่าเป็นมาตรการรักษาความเป็นส่วนตัว
SL2T สร้างข้อความภาษาอังกฤษจากกระแสพิกัดโดยตรง โดยข้ามชั้นคำอธิบายประกอบระหว่างกลางที่เรียกว่า gloss ซึ่งระบบแปลภาษามือก่อนหน้านี้ส่วนใหญ่ใช้ Gloss กำหนดป้ายตายตัวให้สัญญาณมือแต่ละคำ จึงจำกัดคำศัพท์และสูญเสียเครื่องหมายที่ไม่ได้ใช้มือกับโครงสร้างเชิงพื้นที่ซึ่งสื่อความหมายทางไวยากรณ์ในภาษามือ การนำคอขวดนี้ออกทำให้คุณภาพการแปลขยายตามข้อมูลฝึก แทนที่จะขึ้นกับชุดป้ายที่สร้างด้วยมือ
ภาษามือเป็นภาษาธรรมชาติที่เป็นอิสระและมีไวยากรณ์ของตนเอง ไม่ใช่ภาษาอังกฤษพูดที่ถ่ายทอดด้วยมือ ดังนั้นงานนี้จึงเป็นทั้งการแปลด้วยเครื่องระหว่างสองภาษาและปัญหาคอมพิวเตอร์วิทัศน์ที่ยาก เพราะโมเดลต้องติดตามการเคลื่อนไหวพร้อมกันของมือ แขน ลำตัว ศีรษะ และใบหน้าที่อัตราเฟรมสูง ความพยายามด้านเทคโนโลยีภาษามือก่อนหน้านี้ เช่น ถุงมือเซ็นเซอร์ ไม่สามารถตอบโจทย์ทั้งสองข้อได้
ผลเกณฑ์มาตรฐานและรูปแบบข้อผิดพลาดที่ยังเหลือ
บนเกณฑ์มาตรฐาน FLEURS-ASL ซึ่งวัดการแปล ASL เป็นภาษาอังกฤษของภาษาซับซ้อนและนามธรรมที่บันทึกในสตูดิโอโดยล่ามหูหนวกที่ได้รับการรับรอง SL2T ทำคะแนน zero-shot 70 BLEURT ซึ่ง Google ระบุว่าสูงกว่าผลที่เคยรายงานมาก บริษัทระบุคะแนน 74 BLEURT ในรุ่นภาษามือมือเดียวของเกณฑ์เดียวกัน และ 85 BLEURT บน PRESTO-ASL ซึ่งเป็นชุดข้อมูลวลีแบบผู้ช่วยที่ผู้ใช้ทำภาษามือกับแท็บเล็ตซึ่งวางบนแท่น ส่วน FSboard ชุดข้อมูลการสะกดนิ้วจากผู้ใช้หูหนวกบนอุปกรณ์มือถือ โมเดลทำความแม่นยำแบบตรงทั้งหมดได้ 64% ตัวเลขเหล่านี้เป็นรายงานของผู้ขาย และยังไม่มีการเผยแพร่การประเมินอิสระ
Google เผยตัวอย่างเทียบกันจาก FLEURS-ASL ซึ่งแสดงทั้งผลลัพธ์ที่คล่องแคล่วและรูปแบบความล้มเหลวที่ระบุได้ บางครั้งโมเดลแทนที่สัญญาณที่พบได้น้อยและการสะกดนิ้วที่รวดเร็ว ละโครงสร้างประโยคกรรมวาจกและการแสดงภาพด้วย classifier และทำกาลหายเมื่อขาดบริบท ตัวอย่างหนึ่งแปล “This fully feathered, warm blooded bird of prey” เป็น “This creature is warm-blooded, eats grey” ซึ่งเป็นข้อผิดพลาดการสะกดนิ้วที่แทนคำว่า “prey” ด้วย “grey”
โมเดลยังมีพฤติกรรมหลอนตกค้าง โดยสร้างข้อความทั้งที่ไม่มีใครกำลังใช้ภาษามือ เช่น เมื่อบุคคลที่สองเข้ามาในเฟรมหรือผู้ใช้หยุดชั่วคราว Google ระบุว่ารุ่นเปิดตัวลดข้อผิดพลาดเหล่านี้ลงมากเมื่อเทียบกับรุ่นก่อนเปิดตัวที่ผู้ประเมินหูหนวกทดสอบเมื่อเดือนกรกฎาคม 2026 แต่ยังขจัดไม่ได้ทั้งหมด
สถานการณ์ที่ Google ระบุว่าห้ามใช้เครื่องมือนี้
การเปิดตัวมีชั้นการกำกับดูแลที่ไม่ธรรมดา Google DeepMind ตั้งคณะกรรมการที่ปรึกษา AI Sign Language Advisory Committee โดยรวบรวมองค์กรคนหูหนวก ซึ่งรวมถึง National Association of the Deaf, World Federation of the Deaf, Deaf Professional Arts Network และ National Technical Institute for the Deaf ของ Rochester Institute of Technology คณะกรรมการร่วมเขียนรายงานผลกระทบร่วมที่ระบุชัดว่าเทคโนโลยีนี้มีไว้ทำอะไร และขอบเขตสิ้นสุดตรงไหน
รายงานนิยาม SL2T 1.0 เป็นเครื่องมือช่วยสร้างร่างข้อความสำหรับสถานการณ์ไม่เป็นทางการที่มีความเสี่ยงต่ำ ได้แก่ การส่งข้อความ การค้นหา การนำทาง การจดบันทึก และการสนทนาตัวต่อตัวทั่วไป โดยตัดการปรึกษาแพทย์ กระบวนการทางกฎหมาย การติดต่อกับตำรวจ การสอนในชั้นเรียน การสัมภาษณ์งาน และการพิจารณาสวัสดิการรัฐออกอย่างชัดเจน รายงานยังระบุว่าเครื่องมือนี้ไม่ทำให้สถาบันปฏิบัติตามภาระหน้าที่ทางกฎหมายเรื่องการอำนวยความสะดวกที่สมเหตุสมผลภายใต้ Americans with Disabilities Act หรือกรอบเทียบเท่า และห้ามสถาบันใช้แทนล่ามมนุษย์ที่ได้รับการรับรอง
ผู้ใช้ภาษามือยังอยู่ในวงจรตลอดเวลา ทั้งสองแอปแสดงตัวอย่างข้อความที่ผู้ใช้ตรวจทานและแก้ไขได้ก่อนส่ง และใน Live Transcribe ผู้ใช้หูหนวกเป็นคนควบคุมว่าจะเปิดข้อความแปลให้คู่สนทนาเห็นเมื่อใด รายงานตั้งข้อสังเกตว่ามาตรการนี้ตั้งอยู่บนสมมติฐานว่าผู้ใช้มีทักษะภาษาอังกฤษมากพอจะตรวจพบข้อผิดพลาด
ผลงานของ SL2T ตามเอกสารข้อจำกัดของโมเดลเอง
รายงานผลกระทบจัดทำบัญชีขอบเขตทางเทคนิคของโมเดลอย่างละเอียด ความแม่นยำลดลงเมื่อแสงน้อย มีแสงย้อนแรง หรือเสื้อผ้าลดความต่างระหว่างมือกับใบหน้า ตัวติดตามท่าทางติดตามได้เฉพาะบุคคลขนาดใหญ่ที่สุดในเฟรมและจัดการผู้ใช้ภาษามือหลายคนไม่ได้ ประสิทธิภาพลดลงเมื่อมุมกล้องสุดขั้วหรือผู้ใช้นอนตะแคง คลิปอินพุตจำกัดที่ 60 วินาที และแต่ละคลิปแปลแยกจากกันโดยไม่จดจำบทสนทนาก่อนหน้า โมเดลไม่ได้รับการฝึกหรือประเมินกับผู้ใช้อายุต่ำกว่า 18 ปี และไม่รองรับรายการคำกำหนดเอง ชื่อบุคคลในภาษามือ หรือค่ากำหนดสำเนียง
การอัปเดตระยะใกล้ในแผนงานรวมถึงการพิมพ์เครื่องหมายวรรคตอน การขึ้นบรรทัดใหม่ อีโมจิ และคำสั่งแก้ไขพื้นฐานตามภาษามือ รวมถึงความจำบทสนทนาข้ามคลิปต่อเนื่องใน Live Transcribe เป้าหมายวิจัยระยะยาวรวมถึงความไวที่ดีขึ้นต่อเครื่องหมายที่ไม่ใช้มือ เช่น สีหน้าและตำแหน่งคิ้ว การรองรับผู้ใช้หลายคน และการขยายการเก็บข้อมูลให้ครอบคลุมสำเนียง ASL ตามภูมิภาคกับ Black ASL
โครงการริเริ่มโดย Sam Sepah พนักงาน Google ที่เป็นคนหูหนวก และมุมมองของคนหูหนวกถูกนำมารวมไว้ในการเก็บข้อมูล การศึกษาผู้ใช้ และการประเมิน Google อธิบายว่าการเปิดตัว SL2T เป็นจุดเริ่มต้นของความพยายามระยะยาว โดยมีภาษามือเพิ่มเติม การสร้างภาษามือ และความสามารถระดับแนวหน้าที่กว้างขึ้นอยู่ในรายการงานที่กำลังดำเนินการ ฟีเจอร์นี้ให้บริการบน Pixel 11 โดยไม่มีค่าใช้จ่ายเพิ่ม และจะขยายสู่อุปกรณ์อื่นต่อไป












