التعبير عن العواطف من خلال الطباعة مع تقنيات الذكاء الاصطناعي

الاتجاهات الحالية والابتكارات في وسائل التواصل النصي (بما في ذلك البريد الإلكتروني والرسائل والتعليقات) يجب أن تفاوض على الفجوة العاطفية بين الكلام المكتوب والمنطوق بطريقة خشنة ومقاربة.

على سبيل المثال، جلبت السنوات القليلة الماضية الحروف المتحركة إلى الموضة كلمزح مثير في حروب الفلَم على وسائل التواصل الاجتماعي، بينما استمر استخدام حرف Caps Lock (وكذلك التأثيرات الطباعية الصاخبة والمزعجة المسموح بها من قبل بعض منصات التعليق) في إثارة التدخل من قبل الموديرات. هذه هي أساليب أحادية الأبعاد ومجرد تمثيلات خشنة للكلام المكتوب.

في الوقت نفسه، نمت شعبية الرموز التعبيرية والأسماء بشكل كبير كوسيلة هجينة نصية-بصرية لنقل المشاعر، مما أثار نشاطًا في قطاع البحث عن معالجة اللغة الطبيعية (NLP) في السنوات الأخيرة، إلى جانب الاهتمام بمعنى الصور المتحركة التي ينشرها المستخدمون في سلاسل التعليقات.

على مر الزمن، تطورت اللغة المكتوبة لتطوير مجموعة مبتكرة من هذه الأساليب اللغوية “الإضافية”، التي تحاول إما تمثيل العواطف أو استحضارها في غياب المعلومات اللحنية في الكلام المنطوق.

عادة، ومع ذلك، نحتاج إلى تمثيل العواطف على أفضل ما نستطيع من سياق الكلام المكتوب. ضع في اعتبارك، على سبيل المثال، الصرخة ‘أوه، أوه، أوه!’، في نهاية مونولوج ليدي ماكبث الليلية المتهورة، وهو دراسة حالة للغاية لمدى تأثير النبرة على المعنى.

في معظم التكيفات، تستمر هذه الشكوى الأليمة لمدة 2-6 ثوان؛ في إنتاج شركة رويال شكسبير 1976 لتريفور نان لماكبث، قامت جودي دينش بقراءة هذه الجملة لمدة 24.45 ثانية، في تفسير هام للغاية للدور.

(نظام الترجمة الآلية لليوتيوب لقطعة الفيديو هذا يصفه بأنه [MUSIC])

ترجمة النبرة إلى الطباعة

مقال حديث من البرازيل ي提ع نظامًا للطباعة المُحكمة بالكلام الذي يمكن أن يدمج هذه النبرة والمكونات النصية الأخرى مباشرةً في نصوص الكلام، مما يضيف بعدًا من العواطف التي يتم تمثيلها بشكل سيئ بواسطة إضافة صفات مثل [صياح]، أو الحيل الأخرى “المستوية” المتاحة لتقاليد الترجمة الفورية.

‘نقترح نموذجًا جديدًا للطباعة المُحكمة بالكلام، حيث يتم استخدام الميزات الصوتية من الكلام لتحكم المظهر البصري للنص. هذا يمكن أن يسمح لنص معين بتمثيل الكلمات التي يتم نطقها، وكيفية نطقها.’

‘نأمل أن نكتشف معايير طباعية يمكن أن تعترف بشكل عام بأنها تمثيلات بصرية للسمات النبرية للصوت والارتفاع والمدة.’

عملية التحويل التي تُحول النبرة إلى أسلوب طباعي. بهدف إنتاج نظام متوافق ومرن للغاية، قام المؤلفون بتقليص أنفسهم إلى تحويل البaseline وKerning والجسامة، حيث يتم توفير الأخير من خلال مرونة خط OpenType. مصدر: https://arxiv.org/pdf/2202.10631.pdf

المقال، الذي يحمل عنوان الصرخات والهمس والزعيق الخفية: هل يمكن جعل النص يبدو أكثر من مجرد كلماته؟، يأتي من كالوا دي لاسيردا باتاكا وباولا دورنهوفر بارو كوستا، باحثين في جامعة كامبيناس الحكومية في البرازيل.

الكتابة بالخط العريض

على الرغم من أن الهدف الأوسع للمشروع هو تطوير أنظمة يمكن أن تنقل النبرة والميزات اللغوية الأخرى في الترجمة الفورية، يعتقد المؤلفون أيضًا أن نظامًا من هذا القبيل يمكن أن يجد جمهورًا أوسع في العالم السمعي.

هناك العديد من المبادرات السابقة في هذا المجال، بما في ذلك مشروع 1983 الذي اقترح نظامًا للترجمة الفورية قد يتضمن التأثيرات الخاصة والألوان والحروف الكبيرة [لتمثيل] المعلومات اللحنية الغنية المحظورة عن الأطفال الصم.

من خلال المقارنة، يمكن للمشروع البرازيلي الاستفادة من النسخ الآلي وتطورات جديدة في التعرف على المشاعر، مما يتيح سير عملًا يمكن استيراد مكوناته من صوتية الصوت وتحليلها.

بعد استخراج السمات النبرية ومعالجتها، يتم映وتها إلى علامات زمنية للكلمات في الكلام، مما ينتج رموزًا يمكن استخدامها لتطبيق قواعد تعديل طباعة الترجمة الفورية (انظر الصورة أعلاه).

يمكن أن يمثل هذا النتيجة بصريًا مدى تقدير سيلابية معينة أو تمديدها أو التأكيد عليها أو احتوائها على معلومات سياقية ستفقد في النسخة الأصلية.

من مرحلة الاختبار للمشروع، انظر كيف تم توسيع المسافة بين الحروف في كلمة لتعكس نطقًا متمددًا.

يوضح المؤلفون أن عملهم لا يهدف إلى المساهمة بشكل مباشر في أبحاث التعرف على المشاعر والتعرف على العواطف، ولكن يهدف إلى تصنيف ميزات الكلام وتمثيلها بطرق بصرية بسيطة ومحدودة.

على الأقل، يوفر النظام الإضافي التأكيد على الجمل حيث قد لا يكون موضوع الفعل واضحًا للمشاهدين الذين لا يستطيعون سماع الصوت (سواء بسبب الإعاقة أو ظروف التشغيل، مثل البيئات الصاخبة).

لأخذ مثال من عام 2017، الذي نظر في كيفية صعوبة فهم أنظمة التعلم الآلي لمعرفة أين يقع موضوع الفعل والفعل في الجملة، من السهل أن نرى مدى تأثير التأكيد على تغيير معنى الجملة البسيطة:

لم أسرق ذلك. (سرق شخص آخر ذلك)
لم أسرق ذلك، (أنفي الاتهام بأنني سرقت ذلك)
لم أسرق ذلك. (أملك ذلك، ولا ينطبق السرقة)
لم أسرق ذلك. (لكن سرقت شيئًا آخر)

من المحتمل أن يكون نظامًا ميكانيكيًا للنبرة>الطباعة مثل الذي يقترحه المؤلفون البرازيليون مفيدًا أيضًا كملحق في تطوير مجموعات بيانات لأبحاث الحوسبة العاطفية، поскольку它 يسهل معالجة البيانات النصية التي تحمل بعض الأبعاد النصية المسبقة.
بالإضافة إلى ذلك، يشير الباحثون إلى أن الحمولة اللغوية الإضافية للنص المتأثر بالنبرة يمكن أن تكون مفيدة في مجموعة من المهام القائمة على معالجة اللغة الطبيعية، بما في ذلك تقييم رضا العملاء والاستدلال على الاكتئاب من المحتوى النصي.

الطباعة المرنة

يوفر الإطار الذي طوّره الباحثون تباينًا في تحويل البaseline، حيث يمكن أن تكون الحرف أعلى أو أقل بالنسبة إلى “الخط الأساسي” الذي يستريح عليه الجملة؛ وKerning، حيث يمكن أن تكون المسافة بين حروف الكلمة مقصورة أو ممتدة؛ وخط الجسامة (الجسامة).

تتمثل هذه ثلاثة أساليب في الخصائص الصوتية المستخرجة التي قام المشروع بتقليص نفسه إليها: على التوالي، الارتفاع، المدة، والمagnitude.

تقدم الأسلوب على جملة. في #1، نرى حدود السيلاب التي تم تحديدها في عملية الاستخراج. في #2، نرى تمثيلًا لكل من ثلاث تعديلات (الmagnitude|الجسامة، وKerning|المدة، و الارتفاع|تحويل البaseline)، تم تطبيقها بشكل منفرد. في #3، نرى تعديلات الطباعة المُحكمة بالكلام المدمجة في الإخراج النهائي، كما تم تقديمها إلى 117 مشاركًا في اختبار النظام.

由于 خطًا واحدًا قد يتطلب خطًا إضافيًا منفصلًا لتنويعات مثل الجسامة والمائلة، استخدم الباحثون تنفيذًا لخط OpenType Inter من جوجل، الذي يدمج مجموعة دقيقة من الأوزان في خط واحد.

من المقال، مخطط يُظهر مدى قدرة глиف OpenType من خط Inter على التعبير عن مجموعة من التأكيدات الجسامة على طول هيكل السpline الأساسي الأدنى.

الاختبار

تم دمج تعبير Kerning و تحويل البaseline في مكون إضافي للمتصفح، مما مكن من إجراء اختبارات على 117 مشاركًا سمعهم سليم.

تم إنشاء مجموعة البيانات للاختبارات خصيصًا للمشروع، من خلال توظيف ممثل قرأ مجموعة من القصائد عدة مرات بنبرة مختلفة في كل مرة، تتوافق مع السمات الثلاث التي يدرسها المشروع. تم اختيار الشعر لأنها تسمح بمجموعة من النبرات (حتى ما وراء نية الشاعر) دون أن يبدو غير طبيعي.

تم تقسيم المشاركين إلى مجموعتين. تم تزويد المجموعة الأولى ب 15 جولة من قراءة الممثل لشطر مع نص مُحكَم بالكلام متزامن ومُحاكات، الذي تم فك شفرته مع صوتيًا.

تسلّم المجموعة الثانية نفس مجموعة المهام، ولكن تم تقديم لهم صورًا ثابتة من النص المُحكَم بالكلام، الذي لم يتغير على الإطلاق خلال تشغيل صوت الممثل.

كان معدل الإجابات الصحيحة متوسطًا غير عشوائي بنسبة 67% للمجموعة الثابتة، و 63% للمجموعة النصية المتحركة. أكدت تعليقات المشاركين التي طلبها الباحثون بعد التجارب نظرية أن حمل التحليل الديناميكي قد ساهم في الدرجات الأقل للتجارب غير الثابتة. ومع ذلك، فإن أنواع الترجمة والرسائل التي سيتم توجيه هذا الإطار إليها عادة ما توفر نصًا مكتملًا افتراضيًا.

كما أشار المشاركون إلى أنه هناك حدود صعبة لاستخدام Kerning لتحديد المدة، حيث لاحظ أحد المشاركين أنه عندما تكون الحروف متباعدة للغاية، يصبح من الصعب تحديد كلمة.

يشير الباحثون أيضًا إلى:

‘شعر بعض المشاركين أن النموذج يجب أن يكون قادرًا على تجسيد تمثيلات أكثر دقة و複雜ة للكلام، وهو ما يجب أن يفعله بمفردة أكثر تعبيرًا ومتغيرًا. على الرغم من أن هذا ليس مهمة بسيطة، إلا أنه منشّئ أن نتخيل كيف يمكن تطبيق أنواع مختلفة من الطباعة المُحكمة بالكلام أن تنتشر مع تطور هذا المجال الجديد.’

نُشر لأول مرة في 24 فبراير 2022.