زاوية Anderson
التعبير عن العواطف من خلال الطباعة مع تقنيات الذكاء الاصطناعي

النقاط الرئيسيةتربط الطباعة المُعدَّلة بالكلام بين حدة الصوت ومدته وجهارة الصوت من جهة، وإزاحة خط…
عرض المزيد
- تربط الطباعة المُعدَّلة بالكلام بين حدة الصوت ومدته وجهارة الصوت من جهة، وإزاحة خط الأساس وتقنين الحروف ووزن الخط من جهة أخرى.
- جاءت التسميات التوضيحية الديناميكية بدرجات أسوأ من الثابتة لأن القراءة المتحركة تضيف عبئًا معرفيًا على المشاهدين.
- يمكن للنص الواعي بعلم العروض أن يثري مجموعات بيانات الحوسبة العاطفية ومهام مثل قياس رضا العملاء أو استدلال الاكتئاب.
الاتجاهات الحالية والابتكارات في وسائل التواصل النصي (بما في ذلك البريد الإلكتروني والرسائل والتعليقات) يجب أن تفاوض على الفجوة العاطفية بين الكلام المكتوب والمنطوق بطريقة خشنة ومقاربة.
على سبيل المثال، جلبت السنوات القليلة الماضية التناوب بين الحروف الكبيرة والصغيرة إلى الموضة كميم استفزازي في المشاحنات على وسائل التواصل الاجتماعي، بينما استمر استخدام مفتاح تثبيت الحروف الكبيرة المكروه بشدة (وكذلك الخط العريض والتأثيرات الطباعية اللافتة المسموح بها من قبل بعض منصات التعليق) في إثارة التدخل من قبل المشرفين. هذه هي أساليب أحادية الأبعاد ومجرد تمثيلات خشنة للكلام المكتوب.
في الوقت نفسه، ازدادت شعبية الوجوه النصية والإيموجي بوصفها وسائل هجينة نصية وبصرية لنقل المشاعر، مما استقطب اهتمام أبحاث معالجة اللغة الطبيعية (NLP) في السنوات الأخيرة، إلى جانب الاهتمام بمعنى صور GIF المتحركة التي ينشرها المستخدمون في سلاسل التعليقات.
على مر الزمن، تطورت اللغة المكتوبة لتطوير مجموعة مبتكرة من هذه الأساليب اللغوية “الإضافية”، التي تحاول إما تمثيل العواطف أو استحضارها في غياب المعلومات اللحنية في الكلام المنطوق.
عادة، ومع ذلك، نحتاج إلى استنتاج العاطفة بأفضل ما نستطيع من سياق الكلام المكتوب. ضع في اعتبارك، على سبيل المثال، الصرخة ‘أوه، أوه، أوه!’، في نهاية المونولوج الليلي لليدي ماكبث وقد أصابها الجنون، وهو دراسة حالة للغاية لمدى تأثير النبرة على المعنى.
في معظم التكيفات، تستمر هذه الشكوى الأليمة لمدة 2-6 ثوان؛ في إنتاج تريفور نان عام 1976 لمسرحية ماكبث مع شركة شكسبير الملكية، مدّت جودي دينش هذه العبارة إلى 24.45 ثانية، في رقم قياسي ربما لم يُكسر حتى الآن، وفي أداء أصبح علامة بارزة لهذا الدور.
(يصف نظام يوتيوب التلقائي لإنشاء التسميات التوضيحية عويل دينش في هذا المقطع بأنه [MUSIC])
ترجمة النبرة إلى الطباعة
مقال حديث من البرازيل يقترح نظامًا للطباعة المُحكمة بالكلام الذي يمكن أن يدمج هذه النبرة والمكونات شبه اللغوية الأخرى مباشرةً في نصوص الكلام، مما يضيف بعدًا من العواطف التي يتم تمثيلها بشكل سيئ بواسطة إضافة صفات مثل [صياح]، أو الحيل الأخرى “المستوية” المتاحة لتقاليد التسميات التوضيحية.
‘نقترح نموذجًا جديدًا للطباعة المُحكمة بالكلام، حيث يتم استخدام الميزات الصوتية من الكلام لتحكم المظهر البصري للنص. هذا يمكن أن يسمح لنص معين بتمثيل الكلمات التي يتم نطقها، وكيفية نطقها.’
‘نأمل أن نكتشف معايير طباعية يمكن أن تعترف بشكل عام بأنها تمثيلات بصرية للسمات النبرية المتمثلة في سعة الصوت وحدته ومدته.’

عملية التحويل التي تُحول النبرة إلى أسلوب طباعي. بهدف إنتاج نظام مرن وقابل للاستخدام على نطاق واسع قدر الإمكان، اقتصر الباحثون على إزاحة خط الأساس وضبط المسافة بين الحروف وسماكة الخط، مستفيدين في الأخيرة من مرونة خطوط OpenType. مصدر: https://arxiv.org/pdf/2202.10631.pdf
المقال، الذي يحمل عنوان الصرخات والهمس والزعيق الخفية: هل يمكن جعل النص يبدو أكثر من مجرد كلماته؟، يأتي من كالوا دي لاسيردا باتاكا وباولا دورنهوفر بارو كوستا، باحثين في جامعة كامبيناس الحكومية في البرازيل.
الكتابة بالخط العريض
على الرغم من أن الهدف الأوسع للمشروع هو تطوير أنظمة يمكن أن تنقل النبرة والخصائص شبه اللغوية الأخرى في التسميات التوضيحية، يعتقد المؤلفون أيضًا أن نظامًا من هذا القبيل يمكن أن يجد جمهورًا أوسع في العالم السمعي.
هناك العديد من المبادرات السابقة في هذا المجال، بما في ذلك مشروع 1983 الذي اقترح نظامًا للترجمة الفورية قد يتضمن التأثيرات الخاصة والألوان والحروف الكبيرة [لتمثيل] المعلومات اللحنية الغنية المحظورة عن الأطفال الصم.
من خلال المقارنة، يمكن للمشروع البرازيلي الاستفادة من النسخ الآلي وتطورات جديدة في التعرف على المشاعر، وهما يتيحان معًا سير عمل يمكنه استيراد مكونات المسار الصوتي للكلام وتوصيفها.
بعد استخراج السمات النبرية ومعالجتها، تُربط إلى علامات زمنية للكلمات في الكلام، مما ينتج رموزًا يمكن استخدامها لتطبيق قواعد تعديل طباعة التسميات التوضيحية (انظر الصورة أعلاه).
يمكن لهذه النتيجة أن تعرض بصريًا مدى إطالة مقطع صوتي معين أو همسه أو التشديد عليه، أو غير ذلك من المعلومات السياقية التي تضيع في التفريغ النصي المجرد.

من مرحلة الاختبار للمشروع، انظر كيف تم توسيع المسافة بين الحروف في كلمة لتعكس نطقًا متمددًا.
يوضح المؤلفون أن عملهم لا يهدف إلى المساهمة بشكل مباشر في أبحاث التعرف على المشاعر والتعرف على العواطف، ولكن يهدف إلى تصنيف ميزات الكلام وتمثيلها بطرق بصرية بسيطة ومحدودة.
على الأقل، يوضح التشديد الإضافي الذي يوفره النظام الجمل حيث قد لا يكون مفعول الفعل واضحًا للمشاهدين الذين لا يستطيعون سماع الصوت (سواء بسبب الإعاقة أو ظروف التشغيل، مثل البيئات الصاخبة).
لأخذ مثال من عام 2017، الذي نظر في كيفية صعوبة فهم أنظمة التعلم الآلي لمعرفة أين يقع مفعول الفعل والفعل في الجملة، من السهل أن نرى مدى تأثير التأكيد على تغيير معنى الجملة البسيطة:
أنا لم أسرق ذلك. (سرقه شخص آخر)
لم أسرق ذلك، (أنفي الاتهام بأنني سرقت ذلك)
لم أسرق ذلك. (إنه ملكي، فلا ينطبق وصف السرقة)
لم أسرق ذلك. (لكن سرقت شيئًا آخر)
من المحتمل أن يكون نظامًا ميكانيكيًا للنبرة>الطباعة مثل الذي يقترحه المؤلفون البرازيليون مفيدًا أيضًا كملحق في تطوير مجموعات بيانات لأبحاث الحوسبة العاطفية، لأنه يسهّل معالجة بيانات نصية بحتة مع الاحتفاظ ببعض الأبعاد شبه اللغوية المستنتجة مسبقًا.
بالإضافة إلى ذلك، يشير الباحثون إلى أن الحمولة اللغوية الإضافية للنص المتأثر بالنبرة يمكن أن تكون مفيدة في مجموعة من المهام القائمة على معالجة اللغة الطبيعية، بما في ذلك تقييم رضا العملاء والاستدلال على الاكتئاب من المحتوى النصي.
الطباعة المرنة
يوفر الإطار الذي طوّره الباحثون تباينًا في إزاحة خط الأساس، حيث يمكن أن يكون الحرف أعلى أو أقل بالنسبة إلى “الخط الأساسي” الذي تستقر عليه الجملة؛ وضبط المسافة بين الحروف، حيث يمكن أن تكون المسافة بين حروف الكلمة مقصورة أو ممتدة؛ وسماكة الخط (الخط العريض).
تتمثل هذه ثلاثة أساليب في الخصائص الصوتية المستخرجة التي قام المشروع بتقليص نفسه إليها: على التوالي، حدة الصوت، المدة، والسعة.

تقدم الأسلوب على جملة. في #1، نرى حدود المقاطع الصوتية التي تم تحديدها في عملية الاستخراج. في #2، نرى تمثيلًا لكل من ثلاث تعديلات (السعة|سماكة الخط، وضبط المسافة بين الحروف|المدة، و حدة الصوت|إزاحة خط الأساس)، تم تطبيقها بشكل منفرد. في #3، نرى تعديلات الطباعة المُحكمة بالكلام المدمجة في الإخراج النهائي، كما تم تقديمها إلى 117 مشاركًا في اختبار النظام.
لأن عائلة الخطوط قد تتطلب خطوطًا منفصلة لنسخ مثل العريض والمائل، استخدم الباحثون تنفيذًا من جوجل لخط OpenType Inter، يدمج نطاقًا دقيق الضبط من السماكات في خط واحد.

من المقال، مخطط يُظهر مدى قدرة محرف OpenType من خط Inter على التعبير عن مجموعة من التشديدات بالخط العريض على طول هيكل المنحنى الشريطي الأساسي الأدنى.
الاختبار
تم دمج تعبير ضبط المسافة بين الحروف و إزاحة خط الأساس في مكون إضافي للمتصفح، مما مكن من إجراء اختبارات على 117 مشاركًا سمعهم سليم.
تم إنشاء مجموعة البيانات للاختبارات خصيصًا للمشروع، من خلال توظيف ممثل قرأ مجموعة من القصائد عدة مرات بنبرة مختلفة في كل مرة، تتوافق مع السمات الثلاث التي يدرسها المشروع. اختير الشعر لأنه يسمح بمجموعة من النبرات (حتى ما وراء نية الشاعر) دون أن يبدو غير طبيعي.
تم تقسيم المشاركين إلى مجموعتين. شاهدت المجموعة الأولى 15 جولة من قراءة الممثل لمقطع شعري، مصحوبة بنص متزامن ومتحرك ومعدّل يتكشف بالتزامن مع المقطع الصوتي.
تسلّم المجموعة الثانية نفس مجموعة المهام، ولكن تم تقديم لهم صورًا ثابتة من النص المُحكَم بالكلام، الذي لم يتغير على الإطلاق خلال تشغيل صوت الممثل.
كان معدل الإجابات الصحيحة متوسطًا غير عشوائي بنسبة 67% للمجموعة الثابتة، و 63% للمجموعة النصية المتحركة. أكدت تعليقات المشاركين التي طلبها الباحثون بعد التجارب نظرية أن حمل التحليل الديناميكي قد ساهم في الدرجات الأقل للتجارب غير الثابتة. ومع ذلك، فإن أنواع الترجمة والرسائل التي سيتم توجيه هذا الإطار إليها عادة ما توفر نصًا مكتملًا افتراضيًا.
كما أشار المشاركون إلى أنه هناك حدود صعبة لاستخدام ضبط المسافة بين الحروف لتحديد المدة، حيث لاحظ أحد المشاركين أنه عندما تكون الحروف متباعدة للغاية، يصبح من الصعب تحديد كلمة.
يشير الباحثون أيضًا إلى:
‘شعر بعض المشاركين أن النموذج يجب أن يكون قادرًا على تجسيد تمثيلات أكثر دقة وتعقيدًا للكلام، وهو ما يجب أن يفعله بمفردات بصرية أكثر تنوعًا وقدرة على التعبير. على الرغم من أن هذا ليس مهمة بسيطة، فمن المشجع أن نتخيل كيف يمكن أن تتفرع تطبيقات مختلفة للطباعة المعدّلة بالكلام مع تطور هذا المجال الجديد.’
نُشر لأول مرة في 24 فبراير 2022.












