زاوية Anderson
تساعد تقنية الذكاء الاصطناعي المتحدثين المتوترين في “قراءة الغرفة” خلال المؤتمرات عبر الفيديو

النقاط الرئيسيةيستخدم CalmResponses كاميرا ويب ومتصفحًا فقط لتتبع إيماءات الجمهور ونظراتهم دون الحاجة…
عرض المزيد
- يستخدم CalmResponses كاميرا ويب ومتصفحًا فقط لتتبع إيماءات الجمهور ونظراتهم دون الحاجة إلى أجهزة إضافية.
- قلل النظام من الكلام الحشوي لدى المتحدثين من خلال تصور ردود فعل الجمهور الجماعية أثناء مؤتمرات الفيديو.
- شعر أفراد الجمهور بمزيد من المشاركة عندما تم تجميع حركات رؤوسهم بشكل مجهول للمتحدث.
في عام 2013، وجد استطلاع للخوف من الحديث العام أن احتمال الحديث العام كان أسوأ من موت لمعظم المستطلعين. والمتلازمة المعروفة باسم رهاب التحدث أمام الجمهور (غلوسوفوبيا).
الانتقال الذي دفع إليه كوفيد من اجتماعات “الوجه لوجه” إلى اجتماعات زووم عبر الإنترنت على منصات مثل زووم وغوغل سبايس لم تحسن الوضع على ما يبدو. حيث يحتوي الاجتماع على عدد كبير من المشاركين، فإن قدراتنا الطبيعية لتقييم التهديد معاقة بواسطة صفوف ورموز المشاركين منخفضة الدقة، وصعوبة قراءة الإشارات البصرية الدقيقة لتعابير الوجه واللغة الجسدية. على سبيل المثال، وجد أن سكايب هو منصة سيئة لنقل الدلالات غير اللفظية.
تأثيرات اهتمام الجمهور واستجابته كما يدركهما المتحدث على أداء التحدث أمام الجمهور موثقة جيدًا الآن، ومن الواضح حدسيًا لأغلبنا. يمكن أن يسبب عدم وضوح استجابة الجمهور تردد المتحدثين ولجوءهم إلى كلام ملئ، غير مدركين ما إذا كانت حججهم تلقى موافقة أو استهجان أو عدم اهتمام، مما يجعلهم يعيشون تجربة غير مريحة لكل من المتحدث والمستمعين.
تحت ضغط التحول غير المتوقع نحو المؤتمرات عبر الفيديو التي ألهمتها قيود كوفيد واحتياطاتها، قد تكون المشكلة آخذة في التفاقم، وقد تم اقتراح عدد من أنظمة مساعدة لنقل ردود فعل الجمهور في مجتمعات الرؤية الحاسوبية وأبحاث العواطف على مدى العامين الماضيين.
حلول متجهة إلى الأجهزة
معظم هذه الحلول تتطلب معدات إضافية أو برامج معقدة يمكن أن تثير مشاكل خصوصية أو لوجستية – نهج ذو تكلفة عالية أو مقيد بالموارد قبل جائحة كوفيد. في عام 2001، اقترح معهد ماساتشوستس للتكنولوجيا Galvactivator، وهو جهاز يُرتدى على اليد يُستخدم لاستنتاج الحالة العاطفية لمشارك الجمهور، وتم اختباره خلال يوم من الندوات.

جهاز Galvactivator من MIT عام 2001 يقيس استجابة توصيل الجلد في محاولة لفهم مزاج الجمهور ومشاركته. المصدر: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf
تم تخصيص الكثير من الطاقة الأكاديمية أيضًا لتنفيذ نظام استجابة الجمهور (ARS) باستخدام أجهزة النقر لإرسال الإجابات، وهو مقياس لزيادة المشاركة الفعالة من قبل الجمهور (الذي يزيد تلقائيًا من الانخراط، لأنه يضطر المشاهد إلى دور العقدة التفاعلية)، ولكنه تم تصوره أيضًا كوسيلة لتشجيع المتحدث.
تضمنت محاولات أخرى “لربط” المتحدث والجمهور استخدام مراقبة معدل ضربات القلب، استخدام معدات معقدة متصلة بالجسم للاستفادة من تخطيط كهربية الدماغ، “مقياس التشجيع”، نظام تعرف على العواطف قائم على الرؤية الحاسوبية لعمال المكتب، واستخدام الرموز التعبيرية المرسلة من قبل الجمهور خلال خطاب المتحدث.

EngageMeter عام 2017 مشروع بحثي أكاديمي مشترك بين LMU ميونيخ وجامعة شتوتغارت. المصدر: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf
كجزء من مجال تحليل الجمهور المربح، أبدى القطاع الخاص اهتمامًا خاصًا بتقدير ومتابعة النظر – أنظمة حيث يخضع كل عضو في الجمهور (الذي قد يضطر في دوره ليتحدث)، إلى متابعة العين كدليل على الانخراط والموافقة.
جميع هذه الطرق لها احتكاك كبير. العديد منهم يتطلبون معدات مخصصة، أو بيئات معملية، أو إطارات برمجية مخصصة، أو اشتراكات في واجهات برمجة التطبيقات التجارية باهظة الثمن – أو أي مزيج من هذه العوامل المقيدة.
لذلك أصبحت تطوير أنظمة بسيطة تعتمد على أدوات فيديو مؤتمرات شائعة أمرًا مهتمًا به على مدى الأشهر الثمانية عشر الماضية.
الإبلاغ عن موافقة الجمهور دون إزعاج
بهذا المعنى، يقدم تعاون بحثي جديد بين جامعة طوكيو وجامعة كارنيجي ميلون نظامًا جديدًا يمكنه الركوب على أدوات فيديو مؤتمرات قياسية (مثل زووم) باستخدام موقع ويب ممكّن بواسطة الويب كام فقط، حيث يتم تشغيل برنامج تقدير النظر والوضع الخفيف. بهذه الطريقة، حتى الحاجة إلى إضافات المتصفح المحلية تتجنب.
تُترجم إيماءات الرأس بالإيماء إلى أعلى وأسفل والانتباه المقدر إلى بيانات ممثلة يتم توجيهها مرة أخرى إلى المتحدث، مما يسمح باختبار حية لمدى انخراط المحتوى في الجمهور – وأيضًا على الأقل مؤشر غامض للأوقات التي قد يفقد فيها المتحدث اهتمام الجمهور.

يجمع CalmResponses انتباه المستخدم وإيماءاته بالرأس ضمن ردود فعل الجمهور ويحولها إلى تمثيل بصري يفيد المتحدث. انظر الفيديو المضمن في نهاية المقال للتفاصيل والأمثلة. المصدر: https://www.youtube.com/watch?v=J_PhB4FCzk0
في مواقف أكاديمية عديدة، مثل المحاضرات عبر الإنترنت، قد لا يظهر الطلاب للمتحدث لأنهم لا يريدون إظهار خلفيتهم أو مظهرهم الحالي بالفيديو. يستطيع CalmResponses الإبلاغ عن اتجاه نظرهم وإيماءاتهم بالرأس من دون بث فيديوهاتهم للمشاركين الآخرين. لكن كاميرا الويب تظل ضرورية لالتقاط هذه الحركات محليًا.
المقال بعنوان CalmResponses: عرض ردود فعل الجمهور الجماعية في الاتصالات عن بُعد، وهو عمل مشترك بين باحثين اثنين من جامعة طوكيو وواحد من جامعة كارنيجي ميلون.
يقدم المؤلفون عرضًا تجريبيًا مباشرًا على الويب، وقد أصدروا الكود المصدري على جيثب.
إطار CalmResponses
يعتمد اهتمام CalmResponses بالإيماء بالرأس، بدلاً من أوضاع أخرى للرأس، على بحث (بعضها يعود إلى عصر داروين) يشير إلى أن أكثر من 80٪ من حركات رأس جميع المستمعين يتألف من الإيماء بالرأس (حتى عندما يعبرون عن عدم موافقة). في الوقت نفسه، أظهرت حركات النظر أن تكون دليلًا موثوقًا على الاهتمام أو الانخراط على مدى دراسات عديدة دراسات.
تم تنفيذ CalmResponses باستخدام HTML وCSS وJavaScript، ويتكون من ثلاثة أنظمة فرعية: عميل الجمهور، وعميل المتحدث، والخادم. يمرر عميل الجمهور بيانات حركة العين أو حركة الرأس من كاميرا الويب للمستخدم عبر WebSockets عبر منصة تطبيق السحابة Heroku.

تظهر إيماءات الجمهور في اليمين كحركة متحركة في CalmResponses. وفي هذه الحالة تتاح مشاهدتها للمتحدث والجمهور كله. المصدر: https://arxiv.org/pdf/2204.02308.pdf
في قسم تتبع العين من المشروع، استخدم الباحثون WebGazer، وهو إطار تتبع عين خفيف يعتمد على JavaScript يمكن تشغيله بزمن انتقال منخفض مباشرةً من موقع الويب (انظر الرابط أعلاه لتنفيذ الباحثين الخاص).
لأن سهولة التنفيذ والتعرف التقريبي على الاستجابة المجمعة أهم من الدقة العالية في تقدير النظر ووضع الرأس، تُملَّس بيانات الوضع الداخلة حسب القيم المتوسطة قبل إدراجها في تقدير الاستجابة الكلية.
تُقيَّم حركة الإيماء بالرأس باستخدام مكتبة JavaScript clmtrackr، التي تلائم نماذج الوجه مع الوجوه المكتشفة في الصور أو الفيديو عبر إزاحة المتوسط المنتظمة لنقاط المعالم (regularized landmark mean-shift). ولتوفير الموارد وتقليل زمن الاستجابة، لا يتتبع تنفيذ المؤلفين بفاعلية إلا نقطة المعلم المكتشفة عند الأنف، لأنها تكفي لتتبع الإيماء بالرأس.

تنشئ حركة موضع طرف أنف المستخدم مسارًا يضاف إلى ردود فعل الجمهور المتعلقة بالإيماء بالرأس ويُعرض لجميع المشاركين بصورة مجمعة.
خريطة الحرارة
في حين يتم تمثيل نشاط الإيماء بالرأس بواسطة نقاط ديناميكية متحركة (انظر الصور أعلاه والفيديو في النهاية)، يتم الإبلاغ عن الانتباه البصري بواسطة خريطة حرارة توضح للمتحدث والجمهور مكان التركيز العام للانتباه على شاشة العرض المشتركة أو بيئة المؤتمر عبر الفيديو.

يرى جميع المشاركين موضع التركيز العام للانتباه. ولا توضح الورقة ما إذا كانت الوظيفة متاحة عند رؤية معرض للمشاركين الآخرين، مما قد يكشف تركيزًا ظاهريًا على شخص معين لأسباب مختلفة.
اختبارات
صيغت بيئتا اختبار لCalmResponses على شكل دراسة إزالة مكونات ضمنية (ablation study)، باستخدام ثلاث مجموعات مختلفة من الظروف: في “الشرط ب” (الأساسي)، قام المؤلفون بتمثيل محاضرة طالب عبر الإنترنت نمطية، حيث يحتفظ معظم الطلاب بكاميراتهم مغلقة، ولا يملك المتحدث القدرة على رؤية وجوه الجمهور؛ في “الشرط سي آر-إي”، يمكن للمتحدث رؤية تعليقات النظر (خريطة حرارة)؛ في “الشرط سي آر-إن”، يمكن للمتحدث رؤية كل من نشاط النظر والإيماء بالرأس من الجمهور.
تضمن السيناريو التجريبي الأول الشرط ب والشرط سي آر-إي؛ تضمن السيناريو الثاني الشرط ب والشرط سي آر-إن. تم الحصول على تعليقات من كل من المتحدثين والجمهور.
في كل تجربة، تم تقييم ثلاثة عوامل: التقييم الموضوعي والذاتي للعرض (بما في ذلك استبيان ذاتي من المتحدث بشأن مشاعره حول كيفية سير العرض)؛ عدد أحداث “كلام ملئ”، وهو مؤشر على عدم الأمان والتردد؛ والتعليقات النوعية. هذه المعايير هي معيار شائع لتقييم جودة الكلام وقلق المتحدث.
تألف مجموعة الاختبار من 38 شخصًا تتراوح أعمارهم بين 19 و44 عامًا، بما في ذلك 29 ذكرًا و9 إناث بمتوسط عمر 24.7 عامًا، جميعهم يابانيون أو صينيون، وكلهم يتقنون اللغة اليابانية. تم تقسيمهم عشوائيًا إلى ست مجموعات من 5–7 مشاركين، ولم يكن أي من المشاركين يعرف الآخر شخصيًا.
تم إجراء الاختبارات على منصة زووم، مع خمسة متحدثين يقدمون عروضًا في التجربة الأولى وستة في الثانية.

تُحدد شروط كلام الحشو بمربعات برتقالية. عمومًا تراجع استخدام كلام الحشو بنسبة تقريبية مع ازدياد ردود فعل الجمهور التي يوفرها النظام.
يشير الباحثون إلى أن أحد المتحدثين قل استخدامه لكلمات الحشو بشكل ملحوظ، وأن في “الشرط سي آر-إن”، نادرًا ما ألقى المتحدث عبارات ملء.
ترد النتائج التفصيلية الدقيقة في البحث؛ لكن أبرز النتائج ظهرت في التقييمات الذاتية للمتحدثين وأفراد الجمهور.
شملت تعليقات الجمهور:
«شعرت بأنني مشارك في العروض» [AN2]، «لم أكن متأكدًا من تحسن أداء المتحدثين، لكن تصوّر حركات رؤوس الآخرين أشعرني بنوع من الوحدة» [AN6].
«لم أكن متأكدًا من تحسن أداء المتحدثين، لكن تصوّر حركات رؤوس الآخرين أشعرني بنوع من الوحدة».
يشير الباحثون إلى أن النظام يضيف نوعًا جديدًا من التوقف المصطنع إلى العرض، إذ يميل المتحدث إلى النظر في النظام البصري لتقدير ردود فعل الجمهور قبل المتابعة.
ويشيرون كذلك إلى نوع من تأثير المعطف الأبيض الذي يصعب تجنبه في التجارب؛ إذ شعر بعض المشاركين بالتحفظ بسبب الآثار الأمنية المحتملة لمراقبة بياناتهم البيومترية.
الاستنتاج
من المزايا البارزة في نظام مثل هذا هو أن جميع التقنيات المساعدة غير القياسية اللازمة لهذا النهج تختفي تمامًا بعد انتهاء استخدامها. لا تبقى إضافات متصفح تحتاج إلى إزالة تثبيت أو تثير الشك بشأن إبقائها على أجهزة المشاركين؛ ولا حاجة لتوجيه المستخدمين عبر عملية التثبيت (على الرغم من أن الإطار القائم على الويب يتطلب دقيقة أو دقيقتين من التهيئة الأولية للمستخدم)، أو لمواجهة إمكانية عدم امتلاك المستخدمين للأذونات الكافية لتثبيت البرامج المحلية، بما في ذلك الإضافات القائمة على المتصفح.
على الرغم من أن التحركات الوجهية والبصرية التي تم تقييمها ليست دقيقة كما يمكن أن تكون في ظروف قد يتم فيها استخدام إطارات التعلم الآلي المحلية (مثل سلسلة YOLO)، فإن هذا النهج شبه الخالي من الاحتكاك لتقدير الجمهور يوفر دقة كافية لتحليل المشاعر والمواقف في سيناريوهات المؤتمرات عبر الفيديو النموذجية. وأهم شيء هو أنه رخيص جدًا.
اطلع على الفيديو المرتبط بالمشروع أدناه لمزيد من التفاصيل والأمثلة.
نشر لأول مرة في 11 أبريل 2022.












