جوجل ديب مايند تطرح ترجمة لغة الإشارة إلى الهواتف مع SL2T

أطلقت جوجل ديب مايند نموذجًا لترجمة لغة الإشارة إلى النص، SL2T، داخل منتجين استهلاكيين لآندرويد، وهو المرة الأولى التي تصل فيها تقنية لغة الإشارة إلى ميزة هاتف منتشرة. يعمل النموذج على تمكين ديكتة الإشارة إلى النص في تطبيق Gboard وتطبيق Live Transcribe على هواتف Pixel 11، مع إطلاق الترجمة من لغة الإشارة الأمريكية إلى الإنجليزية في 12 أغسطس 2026.

تعمل الميزة في أي مكان حيث يُكتب المستخدم عادةً. يمكن لمستخدم الإشارة أن يصدر بحثًا على الويب، أو يُdraفت رسالة أو وثيقة، أو يُستفسر Gemini من خلال الإشارة إلى كاميرا الهاتف بدلاً من الكتابة. في تطبيق Live Transcribe، يمكن للمستخدمين الإجابة في محادثة مُشفرة بدلاً من الكتابة ذهابًا وعودة. تقول جوجل إن المستخدمين وجدوا أن الإشارة في لغة الإشارة الأمريكية أسرع وأكثر طبيعية من الكتابة باللغة الإنجليزية.

يُعد SL2T أول نموذج يُصفه جوجل بأنه اختراق في الجودة والعمومية لترجمة لغة الإشارة. تم تدريبه على أكثر من 100000 ساعة من بيانات الإشارة التي تشمل أكثر من 50 لغة إشارة، مع حوالي ربع البيانات بلغة الإشارة الأمريكية. أدى التدريب المشترك عبر اللغات واللهجات ومستويات الكفاءة إلى إنتاج نموذج يتفوق على أنظمة اللغة الواحدة في تجارب الشركة، وفقًا للإعلان.

ما يرى النموذج وكيف يترجم

النظام لا يعالج الفيديو الخام للمُشير. يُعد نموذج على الجهاز، MediaPipe Holistic، يتبع 130 نقطة على الوجه والجسم واليدين إطارًا إطارًا، ويتحرك فقط تلك الإحداثيات الجغرافية من الجهاز للترجمة. يتم التخلص من تغذية الكاميرا الأصلية على الفور، وهو تصميم يُصفه جوجل بأنه حماية للخصوصية.

من تلك الدفق من الإحداثيات، يُولد SL2T نصًا إنجليزيًا مباشرةً، متجاوزًا طبقة التدوين الوسيط المعروفة باسم الغlossen التي اعتمدت عليها معظم أنظمة ترجمة لغة الإشارة السابقة. تُحدد الغlossen علامات ثابتة للإشارات الفردية، مما يحد من المفردات ويفقد العلامات غير اليدوية والهياكل المكانية التي تحمل المعنى النحوي في لغات الإشارة. إزالة هذا الحاجز يسمح بجودة الترجمة لتتناسب مع بيانات التدريب بدلاً من مجموعة العلامات المُنشأة يدويًا.

لغات الإشارة هي لغات طبيعية مستقلة ذات قواعدها الخاصة، وليست إشارات لمتحدثي اللغة الإنجليزية. هذا يجعل المهمة ترجمة آلة بين لغتين، بالإضافة إلى مشكلة رؤية حاسوبية صعبة: يجب على النموذج تتبع الحركة المتزامنة لليدين والذراعين والجذع والرأس والوجه بسرعات إطار عالية. لم تتمكن المحاولات السابقة لتكنولوجيا لغة الإشارة، مثل قفازات المستشعرات، من معالجة أي من هذه المتطلبات.

نتائج البenchmarks وأنماط الأخطاء المتبقية

على معيار FLEURS-ASL، الذي يقيس ترجمة لغة الإشارة الأمريكية إلى الإنجليزية للغة المعقدة والمجردة المسجلة في ظروف استوديو بواسطة مُترجمي إشارة صم، يصل SL2T إلى 70 BLEURT بدون إطلاق، وهو أعلى من النتائج المُبلغ عنها سابقًا، وفقًا لجوجل. تقارير الشركة أيضًا 74 BLEURT على متغير الإشارة اليدوية لمعيار البenchmarks و 85 BLEURT على PRESTO-ASL، وهو مجموعة بيانات من العبارات المساعدة المُشفرة إلى جهاز لوحي مربوط. على FSboard، وهو مجموعة بيانات للإشارات اليدوية المُجمعة من المُشيرين الصم على أجهزة الهاتف المحمول، يصل النموذج إلى 64٪ دقة مطابقة كاملة. هذه هي الأرقام المُبلغ عنها من قبل البائع؛ لم يتم نشر أي تقييم مستقل.

نشرت جوجل أمثلة متوازيًا من FLEURS-ASL تُظهر الإخراج المُتحرك جنبًا إلى جنب مع أنماط الأخطاء القابلة للتعرف. يُستبدل النموذج أحيانًا بالعلامات النادرة والكتابات السريعة، ويتخلى عن البناءات النشطة والتصويرات التصنيفية، ويفقد الزمن عند عدم وجود السياق. يُترجم أحد الأمثلة “هذا الطائر المُحلق المُحمي بالريش، دافئ الدم” إلى “هذا المخلوق دافئ الدم، يأكل الرمادي”، وهو خطأ في الكتابة السريعة يستبدل “الرمادي” بـ “الطائر”.

يُظهر النموذج أيضًا سلوكًا خياليًا متبقيًا، حيث يُولد نصًا عندما لا أحد يُشير، مثل عندما يدخل شخص آخر الإطار أو يتوقف المُشير. تقول جوجل إن الإصدار المُطلَق خفض هذه الأخطاء بشكل كبير مقارنة بالإصدارات المُسبقة التي قام بها المُشيرون الصم بتجربتها في يوليو 2026، ولكنها لم تُزيلها.

أين تقول جوجل أن الأداة لا يجب استخدامها

تحمل الإصدار طبقة حوكمة غير عادية. اجتمعت جوجل ديب مايند بجنة استشارية، لجنة الإشارة بالآلة، التي جمعت بين منظمات الصم، بما في ذلك الرابطة الوطنية للصم، والاتحاد العالمي للصم، وشبكة الفنون المهنية الصم، ومعهد روتشستر للتكنولوجيا والمعهد الوطني للتكنولوجيا للصم. ساهم المجلس في كتابة تقرير مشترك عن الأثر الذي يُحدد ما هي التكنولوجيا ومنไหน تتوقف.

يُحدد التقرير SL2T 1.0 كأداة مساعدة لإنشاء مسودات في إعدادات غير رسمية منخفضة المخاطر: الرسائل، والبحث، والملاحة، وكتابة الملاحظات، والمحادثات غير الرسمية من شخص لشخص. يُحظر صراحة الاستشارات الطبية، والإجراءات القانونية، والتفاعلات مع الشرطة، والتعليم في الفصل، والمقابلات الوظيفية، وتحديد المنافع الحكومية. كما يُذكر أن الأداة لا تُ满ي الالتزامات القانونية لتقديم تسهيلات معقولة بموجب قانون الأمريكيين ذوي الإعاقة أو الإطارات المماثلة، وأنه لا يجب استخدامها من قبل المؤسسات لتحل محل المُترجمين البشريين المُعتمدين.

يظل المُشير في الحلقة طوال الوقت. يُظهر كلا التطبيقين معاينة نصية يمكن للمستخدم مراجعتها وتصحيحها قبل إرسالها، وفي تطبيق Live Transcribe، يتحكم المستخدم الصم في وقت ظهور النص المُترجم للشريك في المحادثة. يُشير التقرير إلى أن هذا الحاجز يفترض معرفة وظيفية باللغة الإنجليزية لالتقاط الأخطاء.

كيف يؤدي SL2T في وثيقة حدود النموذج

يُدرج التقرير الأثر حدود تقنية النموذج بالتفصيل. تتناقص الدقة في الإضاءة المنخفضة أو الإضاءة الخلفية القاسية أو عندما تُخفف الاختلافات في الألوان بسبب الملابس ضد اليدين والوجه. يتبع تتبع الوضع فقط الموضوع الأكبر في الإطار ولا يمكنه التعامل مع عدة مُشيرين. ينخفض الأداء عند زوايا الكاميرا المتطرفة أو عندما يُشير الشخص مستلقيًا. يتم تقييد مقاطع الإدخال بمدة 60 ثانية، وكل مقطع يُترجم بشكل مستقل، دون ذاكرة لدورات المحادثة السابقة. لم يتم تدريب النموذج أو تقييمه على مُشيرين تقل أعمارهم عن 18 عامًا. لا يدعم قوائم الكلمات المخصصة أو العلامات الاسمية أو تفضيلات اللهجة.

التحديثات القصيرة الأمد الموجودة بالفعل على خارطة الطريق تشمل ديكتة العلامات الترقيمية والأسطر الجديدة والرموز التعبيرية وأوامر التحرير الأساسية، بالإضافة إلى ذاكرة المحادثة عبر المقاطع المتعاقبة في تطبيق Live Transcribe. يستهدف البحث الطويل الأمد تحسين الحساسية تجاه العلامات غير اليدوية مثل التعبيرات الوجهية وموضع الحاجبين، ودعم عدة مُشيرين، وتوسيع جمع البيانات عبر لهجات لغة الإشارة الأمريكية الإقليمية و لغة الإشارة الأمريكية السوداء.

بدأت المهمة مع سام سيباه، مُشير صم في جوجل، وشُملت وجهات نظر الصم في جمع البيانات ودراسات المستخدمين والتقييم. تقول جوجل إن إطلاق SL2T يُعد بداية لجهد أطول: لغات إشارة إضافية، وإنشاء لغة إشارة، وسمات الحدود الأوسع هي جميعها مدرجة كأعمال نشطة. يتم شحن الميزة على Pixel 11 بدون أي تكلفة إضافية، مع المزيد من الأجهزة التي ستتبع.

تتضمن هذه الميزة الجديدة ترجمة لغة الإشارة إلى النص، مما يسمح للمستخدمين الصم بالتواصل بسهولة أكبر مع الآخرين. كما أنها تُعد خطوة importante نحو تعزيز إمكانية الوصول إلى التكنولوجيا للجميع.