الصوت هو حاليًا أسوأ طريقة للتواصل مع الذكاء الاصطناعي

تشير الأبحاث الجديدة إلى أن الطريقة الأكثر شعبية لتصوير واجهة المستخدم مع الذكاء الاصطناعي في الخيال العلمي قد تنتج في الواقع نتائج أسوأ من حتى النصوص المكتوبة بشكل سيئ.

من هال إلى ديب ثوت، من سي ثري بي أو إلى وول إي، كانت العلاقة المثالية بين الإنسان والذكاء الاصطناعي دائمًا مركزة حول التحكم الصوتي؛ وهذا التوجه ظهر في العالم الواقعي، من الأنظمة المساعدة المبكرة مثل سيري وأليكسا، إلى الاستعلامات القائمة على اللغة والمناقشات مع مجموعة النماذج المتقدمة الحالية.

برزت هذه الفكرة خلال الفترات الأقل تحرراً، حيث – مع استثناء المؤلفين والصحفيين – كان فعل الكتابة يعتبر “عملًا شبه ماهر”، وكان يتم تنفيذه 几乎 حصريًا من قبل النساء – مع نادرًا ما يoriginate المحتوى الذي كن يكتبنه.

تم التعبير عن السلطة والوكالة من خلال المناقشات: الاجتماعات والقمة. لذلك، مع اللغة المعقدة التي تشير إلى الذكاء، كان من الواضح أن الكلمة المنطوقة ستصبح بالضرورة الوسيلة الطبيعية للذكاء الاصطناعي.

بصرف النظر عن أي اعتبار آخر، كانت التبادل النصية غير مناسبة جيدًا للتلفزيون والأفلام؛ حتى الأفلام العلمية الجريئة مثل كолосوس: مشروع فوربين (1970)، التي تصور كمبيوتر يستجيب لأوامر صوتية بشرية في شكل نص مكتوب، انتقلت بسرعة إلى استجابات صوتية فقط:

مashه من ‘كолосوس: مشروع فوربين’ (1970)، يظهر كمبيوتر ضخم ي超过 بسرعة حدود اللغة النصية، ويصبح صوتيًا وديكتاتوريًا بعد تشغيله. مصدر: يونيفرسال بيكتشرز

الكتابة أو التحدث؟

على الرغم من أن أفضل نماذج الذكاء الاصطناعي تقدم واجهات صوتية أصلية للمستخدمين، خلصت الأبحاث الجديدة من الولايات المتحدة إلى أن التحدث إلى الذكاء الاصطناعي من المرجح أن يكون الأقل فعالية طريقة للحصول على النتائج المرغوبة منه – خاصة إذا كنت تنتظر أشكالًا كبيرة من الإخراج، مثل الكود، استجابة لاستفسارك.

وفقًا للورقة، التحدث إلى نموذج مثل ChatGPT أو Gemini ينتج نتائج أسوأ من كتابة سؤال أو استفسار، حتى عند وجود أخطاء عادية في النص المكتوب.

هذا بسبب أن الإدخال الصوتي أكثر احتمالاً لأن يتم إعادة هيكلته بواسطة أنظمة النسخ بطرق تُزيل المعلومات التي يعتمد عليها النموذج. وهذا يحدث لأن النسخ من الصوت يجب أن يزيل العيوب مثل “إرم” و “مثل”، بالإضافة إلى النزعة إلى الانطلاق الكاذب (أي “البدء من جديد”)، بالإضافة إلى التنقل في الغموض النحوي والبناء “الرسمي” (أي الجمل التي تنتهي في جمل جديدة دون إكمالها).

يصرح المؤلفون:

‘التواصل الصوتي هو الآن طريق رئيسي للدخول إلى نموذج اللغة بدلاً من كونه طريقًا فرعيًا. وكل من وكلاء الترميز مثل Claude Code و Codex يقبلون تعليمات المدير. كما توجيه مساعدي الهاتف مثل مساعد جوجل وسيري طلبًا محدثًا إلى خلفية نموذج اللغة. بالإضافة إلى واجهات النسخ مثل Typeless التي تضيف طبقة أخرى مدعومة بنموذج اللغة والتي تنقي وتنسيق طلب المستخدم قبل إرساله.

‘في كل حالة، يتلقى النموذج نسخة، وفي كل حالة قد لا يقوم المتحدث بمراجعة السلسلة التي تم إرسالها بالفعل. ما يتركه خط أنابيب النسخ، أو ما يعيد كتابته، هو ما يجب على النموذج الإجابة عليه.’

هذا يزيل أي تصور rằng الإدخال النصي متفوق لأنها “أصلية”; ليست أصلية في أي معنى، لأنها دائمًا ما يتم إعادة صياغتها بطريقة خفية أو صريحة قبل إرسالها إلى الذكاء الاصطناعي، وبecause اللغة النصية هي فقط أحد المكونات في الفضاء الكامن الذي يعود بالجواب.

وجدت تجارب الدراسة أن الأخطاء النصية العادية لها تأثير معتدل على الأداء، بينما كان الكلام المحادثي والنسخ المُنَقّى والنسخ المضغوط من قبل الذكاء الاصطناعي يسبب انخفاضًا أكبر في الدقة عبر مهام التفكير والتحليل.

الدراسة الجديدة بعنوان هل يجب أن نكتب أو نتحدث مع وكلاء نموذج اللغة؟ دراسة شاملة لاضطرابات الإدخال الصوتي واللوحة، تأتي من أربعة مؤلفين من كلية سانتا مونيكا وجامعة جنوب كاليفورنيا.

(ملاحظة: تتشابك هذه الدراسة بشكل لا يمكن فكّه بين “الطريقة” و “الاختبارات / النتائج”. لذلك أنا مجبور إلى الضغط والاختيار بيد أثقل من المعتاد.)

الطريقة

تم تطوير مجموعة “اضطراب” تسمى محرك تباين الإدخال البشري (HIVE) من قبل المؤلفين، لتمثيل أنواع الأخطاء التي تُدخل عند كتابة استفسارات على لوحة مفاتيح QWERTY أو نطقها من خلال نظام نسخ صوتي:

مخطط مفاهيمي لمحرك تباين الإدخال البشري (HIVE). يصل استفسار المستخدم إلى نموذج اللغة من خلال الصوت أو لوحة مفاتيح QWERTY أو النسخ واللصق المباشر، مع خدمة الأخير كمرجع “نظيف”. يحدد اللون قناة الإدخال بدلاً من طريقة التنفيذ، مع مشغلات الصوت التي تجمع بين نقل نموذج اللغة بأسلوب LLM و القواعد التحديدية، بينما تعتمد مشغلات لوحة المفاتيح على القواعد التحديدية فقط. يُظهر الجزء الأيمن من اللوحة النطاق من الاستجابات التي يمكن أن ينتجها النموذج تحت الإدخال التالف. مصدر

يُحاكي HIVE ثلاث طرق تصل الاستفسارات إلى نموذج اللغة: من خلال الصوت؛ لوحة مفاتيح QWERTY؛ أو النسخ واللصق المباشر – مع خدمة الأخير كمرجع غير معدل لمقارنة جميع الإدخالات الأخرى. هناك مشغلان إضافيان يؤديان دورًا كمجموعة تحكم، من خلال إعادة ترتيب السؤال وسياقه، أو تبديل خيارات الإجابة المتعددة.

تم تنفيذ مشغلات الاضطراب نفسه من خلال قواعد تحديدية أو نقل نموذج اللغة بأسلوب LLM باستخدام Qwen2.5-7B. هذا سمح بتقييم كلا طريقتي الإدخال في ظل ظروف خاضعة للتحكم والمتوافقة بشكل مباشر.

شروط الاختبار والنتائج

تم تشغيل التجارب عبر Llama-3.1-8B؛ Qwen2.5-7B؛ Qwen3-8B؛ Mistral-7B-v0.3؛ و Phi-4، باستخدام خمس بذور. تم استخدام ستة معايير للتحقق، وهي GSM8K؛ GSM-Symbolic؛ GSM1k؛ HumanEval؛ MMLU-Pro STEM؛ و TruthfulQA MC1.

استخدمت مجموعة الاختبار 200 عنصر لكل معيار، مع 164 عنصرًا لل مجموعة HumanEval الكاملة. تم استخدام الترميز الجشع (اختيار أكثر رمز محتمل في كل مرة) حتى يمكن مقارنة كل استفسار معاد بالكامل مع نظيره النظيف في نفس تشغيل النموذج، مما أدى إلى 550,000 إجابة محسوبة عبر 17 تغيير استفسار واختبارين تحكميين (اختبارات مقارنة لتحديد التأثيرات المحددة).

تم اتخاذ تدابير لضمان عدم حدوث تلوث مجموعة الاختبار (التداخل مع البيانات التي قد يكون النموذج قد رأها خلال التدريب):

مجموعة الاضطراب الكاملة المستخدمة في الدراسة، تُظهر كيف تغيرت الدقة مقابل الاستفسارات النظيفة عبر تغييرات نسخ الصوت وأخطاء لوحة المفاتيح واختبارات التحكم. يُظهر الصف الأول الدقة الأساسية، في حين تُظهر الصفوف اللاحقة التغييرات النقطية المئوية. يُشير اللون الأحمر إلى المشغل الأكثر ضررًا في كل كتلة وعمود، والأزرق الأقل ضررًا.

النتيجة الأكثر وضوحًا في الدراسة هي أن الإدخال الصوتي كان أكثر ضررًا من الإدخال عبر لوحة المفاتيح عبر الظروف الرئيسية للاختبار، حيث قللت التغييرات الصوتية من دقة النموذج بمقدار ثلاثة أضعاف أكثر من الأخطاء النصية.

هذا يهم، لأن النتائج الأقل للصوت لم تكن في الغالب ناجمة عن فضلات الكلام الواضحة: على الرغم من أن ملء الفراغات مثل “إرم” و “مثل” كانت مهمة (حيث خفضت الدقة عند إضافتها إلى استفسارات نصية نظيفة)، لم يُستعاد الأداء عند إزالة ملء الفراغات من النسخ الصوتية.

الحفاظ على النفس

لذلك، كان المشكلة الأكبر طريقة إعادة هيكلة الاستفسارات الصوتية قبل وصولها إلى النموذج.

سؤال مركزي في الدراسة كان ما إذا كان النموذج لا يزال يتلقى ما يكفي من الاستفسار الأصلي لإعادة بناء نية المستخدم؛ غالبًا ما تُؤدي الأخطاء النصية ضررًا إلى “السطح” من الكلمة دون إزالتها بالكامل، بحيث يمكن للسياق المحيط مساعدة النموذج على استنتاج ما كان مقصودًا.

على العكس من ذلك، قد يُستبدل نسخة “منقحة” من الصوت بعبارة أقصر وأكثر سلاسة لا تحتفظ بنفس العلاقات بين الحقائق.

هذا هو السبب في أن الأخطاء النصية كانت أقل ضررًا: وجد الباحثون أن الأخطاء مثل تبادل الحروف، وتكرار الحروف، وخطأ المسافات، وأخطاء المفاتيح القريبة غالبًا ما تركت الكثير من الكلمات الأصلية قابلة للاسترداد، بينما كان تنظيف الكلام أكثر احتمالاً لإزالة أو إعادة تنظيم المعلومات قبل أن ي有 النموذج فرصة لتفسيرها.

迷失 في الترجمة

مثال على كيفية فقدان مرجع خلال الاضطراب في هذه الرحلات من المستخدم إلى نموذج اللغة، تمت الإشارة إليه في الورقة، هو حيث تم تفسير العبارة ‘أعطت كمية متساوية [من الكتب] لأطفالها’ على أنها تعني المال (بدلاً من الكتب). في هذه الحالة، أصبح المصطلح “كمية” منفصلًا عن مرجعه، وأعيد تطبيقه بشكل خاطئ على ارتباطه الأكثر شيوعًا (المال):

كيف يبقى الكثير من السؤال الأصلي بعد كل تغيير إدخال. النقاط الكبيرة تُظهر أنواع الاضطراب الفردية، في حين تُظهر النقاط الصغيرة إصدارات أقوى من نفس الأخطاء النصية.

كان هذا التأثير أقوى عندما كان النموذج يحتاج إلى بناء إجابة من الاستفسار، بدلاً من اختيار إجابة من الخيارات المحددة مسبقًا:

يخلص المؤلفون إلى:

‘نحن نجد أن التحدث هو القناة المكلفة، وأن ما يلحق الضرر هو مقدار تدمير الاستفسار الأصلي، وأن لا تلوث مجموعة الاختبار ولا التكيف الخفيف يحسبان أو يصلحان الضرر.

‘هناك عدة استنتاجات تتبع ذلك. إذا كنت تكتب، فإن نموذج التفكير يحتوي على أخطائك. إذا كنت تدير، فلا يفعل. لذلك، الصياغة التي تتحدث بها هي الصياغة التي يعمل النموذج منها.

‘وإذا بنيت أدوات ديكتات، فلا تعيد صياغة أو إعادة هيكلة ما قاله المستخدم: أزل العيوب بحد الأدنى واترك الهوموفونات وحدها.

‘الأخير هو الأكثر أهمية، لأن واجهات ديكتات تصبح الطريقة الافتراضية للوصول إلى النموذج، وطبقة إعادة الكتابة الخاصة بهم هي أكبر ضرر نقيسه وأرخص شيء يمكن تغييره.’

الاستنتاج

من يعرف كيفية النسخ اليدوي لمقابلة (شؤون صحفية شائعة وم單ية في عصر ما قبل الذكاء الاصطناعي) سيعرف كيفية تفسيرية هذه العملية، trừ إذا كان المتحدث غير عادي أو مجرد تكرار قصصته المعتادة بطريقة آلية.

بصرف النظر عن هذه الحالات الخاصة، عندما نتحدث إلى الناس، نحن نعتمد تلقائيًا على إزالة العيوب وتحديد المعنى. هذا يؤدي بالضرورة إلى أن النسخ المفيد يصبح عملاً تفسيرياً، مما ينتج نصًا يمثل نوايا المتحدث أفضل مما يمكن أن تفعله النسخة الحرفية الدقيقة؛ ومن المثير للاهتمام أن نلاحظ أن الجسور الصوتية إلى نماذج اللغة ت투ق إلى الحفاظ على نفس المعنى مثل النصوص المماثلة.

من المعقول أن نتوقع أن الإطارات المستقبلية سوف تستفيد من الدراسات الإضافية ومنSETS (hopefully) الغنية بالسكان التي ستساعد على سد الفجوات المحددة في العمل الجديد. حتى ذلك الوقت، تشير الدراسة الجديدة إلى أن الاتصالات الصوتية مع الذكاء الاصطناعي قد تكون أكثر ملاءمة للنوع نفسه من الأوامر القصيرة التي تميز الأنظمة “المساعدة” على مستوى المستهلك.

نشر لأول مرة يوم الأربعاء، 12 أغسطس 2026