تساعد تقنية الذكاء الاصطناعي المتحدثين المتوترين في “قراءة الغرفة” خلال المؤتمرات عبر الفيديو

في عام 2013، وجد استطلاع للخوف من الحديث العام أن احتمال الحديث العام كان أسوأ من موت لمعظم المستطلعين. والمتلازمة المعروفة باسم غلوكوفوبيا.

الهجرة التي دفعها كوفيد من اجتماعات “الوجه لوجه” إلى اجتماعات زووم عبر الإنترنت على منصات مثل زووم وغوغل سبايس لم تحسن الوضع على ما يبدو. حيث يحتوي الاجتماع على عدد كبير من المشاركين، فإن قدراتنا الطبيعية لتقييم التهديد معاقة بواسطة صفوف ورموز المشاركين منخفضة الدقة، وصعوبة قراءة الإشارات البصرية الدقيقة للتعبير Facial واللغة الجسدية. على سبيل المثال، وجد أن سكايب هو منصة سيئة لنقل الدلالات غير اللفظية.

تأثيرات أداء الحديث العام للمتحدثين على الأداء العام للمتحدثين موثقة جيدًا الآن، ومن الواضح بشكل直وري لأغلبنا. يمكن أن يسبب عدم وضوح استجابة الجمهور تردد المتحدثين وتأخيرهم إلى كلام ملئ، غير مدركين ما إذا كانت حججهم تلقى موافقة أو استهجان أو عدم اهتمام، مما يجعلهم يعيشون تجربة غير مريحة لكل من المتحدث والمتحدثين.

تحت ضغط التحول غير المتوقع نحو المؤتمرات عبر الفيديو التي ألهمتها قيود كوفيد واحتياطاتها، يُعتبر المشكلة تزداد سوءًا، وقد تم اقتراح عدد من مخططات تقييم الجمهور العلاجي في مجتمعات الرؤية الحاسوبية وأبحاث التأثير على مدى العامين الماضيين.

حلول متجهة إلى الأجهزة

معظم هذه الحلول تتطلب معدات إضافية أو برامج معقدة يمكن أن تثير مشاكل خصوصية أو логистية – نهج ذو تكلفة عالية أو مقيد بالموارد قبل جائحة كوفيد. في عام 2001، اقترح معهد ماساتشوستس للتكنولوجيا Galvactivator، وهو جهاز يُرتدى على اليد يُستخدم لاستنتاج الحالة العاطفية لمشارك الجمهور، وتم اختباره خلال يوم من الندوات.

تم تخصيص الكثير من الطاقة الأكاديمية أيضًا لتنفيذ نظام استجابة الجمهور (ARS) باستخدام “النقرات”، وهو مقياس لزيادة المشاركة الفعالة من قبل الجمهور (الذي يزيد تلقائيًا من الانخراط، منذ أن يضطر المشاهد إلى دور العقدة التفاعلية)، ولكنه تم تصوره أيضًا كوسيلة لتشجيع المتحدث.

تضمنت محاولات أخرى “لربط” المتحدث والجمهور استخدام مراقبة معدل ضربات القلب، استخدام معدات معقدة متصلة بالجسم للاستفادة من تخطيط كهربية الدماغ، “مقياس التشجيع”، نظام تعرف على العواطف القائم على رؤية الكمبيوتر لعمال المكتب، واستخدام الرموز التعبيرية المرسلة من قبل الجمهور خلال خطاب المتحدث.

كجزء من مجال تحليل الجمهور، أبدت القطاع الخاص اهتمامًا خاصًا بتقدير ومتابعة النظر – أنظمة حيث يخضع كل عضو في الجمهور (الذي قد يضطر في دوره ليتحدث)، إلى متابعة العين كدليل على الانخراط والموافقة.

جميع هذه الطرق لها احتكاك كبير. العديد منهم يتطلبون معدات مخصصة، أو بيئات معملية، أو إطارات برمجية مخصصة، أو اشتراكات في واجهات برمجة التطبيقات التجارية باهظة الثمن – أو أي مزيج من هذه العوامل المقيدة.

لذلك أصبحت تطوير أنظمة بسيطة تعتمد على أدوات فيديو مؤتمرات شائعة أمرًا مهتمًا به على مدى الأشهر الثمانية عشر الماضية.

تقرير موافقة الجمهور بشكل خفي

بهذا المعنى، تقدم сотрудية بحثية جديدة بين جامعة طوكيو وجامعة كارنيجي ميلون نظامًا جديدًا يمكنه الركوب على أدوات فيديو مؤتمرات стандартية (مثل زووم) باستخدام موقع ويب ممكّن بواسطة الويب كام فقط، حيث يتم تشغيل برنامج تقدير النظر والوضع الخفيف. بهذه الطريقة، حتى الحاجة إلى إضافات المتصفح المحلية تتجنب.

تُترجم إيماءات النود والانتباه المقدر إلى بيانات ممثلة يتم توجيهها مرة أخرى إلى المتحدث، مما يسمح باختبار حية لمدى انخراط المحتوى في الجمهور – وأيضًا على الأقل مؤشر غامض للأوقات التي قد يفقد فيها المتحدث اهتمام الجمهور.

في العديد من الحالات الأكاديمية، مثل المحاضرات عبر الإنترنت، قد يكون الطلاب غير مرئيين للمتحدث، لأنهم لم يُturned camerasهم على بسبب خجولهم من خلفيتهم أو مظهرهم الحالي. يمكن أن تتعامل CalmResponses مع هذا العائق الشائك لتقديم反馈 للمتحدث عن طريق الإبلاغ عما يعرفه حول كيفية نظر المتحدث إلى المحتوى، وإذا كانوا يُؤدون، دون الحاجة إلى تفعيل كاميرا المشاهد.

المقال بعنوان استجابات هادئة: عرض ردود فعل الجمهور الجماعية في الاتصالات عن بُعد، وهو عمل مشترك بين两个 باحثين من جامعة طوكيو وواحد من جامعة كارنيجي ميلون.

يقدم المؤلفون عرضًا تجريبيًا مباشرًا على الويب، وقد أصدروا الкод المصدري على جيثب.

إطار استجابات هادئة

تعتمد اهتمام استجابات هادئة بالانحناء، بدلاً من مواقف رأسية أخرى، على بحث (بعضها يعود إلى عصر داروين) يشير إلى أن أكثر من 80٪ من حركات رأس جميع المستمعين يتألف من الانحناء (حتى عندما يعبرون عن عدم موافقة). في الوقت نفسه، أظهرت حركات النظر أن تكون دليلًا موثوقًا على الاهتمام أو الانخراط على مدى دراسات عديدة دراسات.

تم تنفيذ استجابات هادئة باستخدام HTML وCSS وJavaScript، ويتكون من ثلاثة أنظمة فرعية: عميل الجمهور، وعميل المتحدث، والخادم. يمرر عميل الجمهور بيانات حركة العين أو حركة الرأس من كاميرا الويب للمستخدم عبر WebSockets عبر منصة تطبيق السحابة Heroku.

对于 قسم تتبع العين من المشروع، استخدم الباحثون WebGazer، وهو إطار تتبع عين خفيف يعتمد على JavaScript يمكن تشغيله بزمن انتقال منخفض مباشرةً من موقع الويب (انظر الرابط أعلاه لتنفيذ الباحثين الخاص).

由于 الحاجة إلى تنفيذ بسيط واعتراف استجابة مجزئ، يُحسب متوسط قيم بيانات الموضع قبل النظر في تقدير الاستجابة الإجمالية.

تُقيم إجراء الانحناء عبر مكتبة JavaScript clmtrackr، التي تتناسب مع نماذج الوجه على الوجوه المكتشفة في الصور أو مقاطع الفيديو من خلال تحويل معالم منتظم. لأغراض الاقتصاد والزمن المنخفض، يتم مراقبة معلم الأنف فقط بنشاط في تنفيذ المؤلفين، منذ أن يكون ذلك كافياً لتتبع إجراءات الانحناء.

خريطة الحرارة

في حين يتم تمثيل نشاط الانحناء بواسطة نقاط ديناميكية متحركة (انظر الصور أعلاه والفيديو في النهاية)، يتم الإبلاغ عن الانتباه البصري bằng خريطة حرارة توضح للمتحدث والجمهور مكان التركيز العام للانتباه على شاشة العرض المشتركة أو بيئة المؤتمر عبر الفيديو.

اختبارات

تم صياغة两个 بيئة اختبار لاستجابات هادئة على شكل دراسة خفية، باستخدام ثلاث مجموعات مختلفة من الظروف: في “الشرط ب” (الأساسي)، قام المؤلفون بتمثيل محاضرة طالب عبر الإنترنت نمطية، حيث يحتفظ معظم الطلاب بكاميراتهم مغلقة، ولا يملك المتحدث القدرة على رؤية وجوه الجمهور؛ في “الشرط سي آر-إي”، يمكن للمتحدث رؤية تعليقات النظر (خريطة حرارة)؛ في “الشرط سي آر-إن”، يمكن للمتحدث رؤية كل من نشاط النظر والانحناء من الجمهور.

تضمن السيناريو التجريبي الأول الشرط ب والشرط سي آر-إي؛ تضمن السيناريو الثاني الشرط ب والشرط سي آر-إن. تم الحصول على تعليقات من كل من المتحدثين والجمهور.

في كل تجربة، تم تقييم ثلاثة عوامل: التقييم الموضوعي والذاتي للعرض (بما في ذلك استبيان ذاتي من المتحدث بشأن مشاعره حول كيفية سير العرض)؛ عدد أحداث “كلام ملئ”، وهو مؤشر على عدم الأمان والتردد؛ والتعليقات النوعية. هذه المعايير هي معيار شائع لتقييم جودة الكلام وقلق المتحدث.

تألف مجموعة الاختبار من 38 شخصًا تتراوح أعمارهم بين 19 و44 عامًا، بما في ذلك 29 ذكرًا و9 إناث بمتوسط عمر 24.7 عامًا، جميعهم يابانيون أو صينيون، وكلهم يتقنون اللغة اليابانية. تم تقسيمهم عشوائيًا إلى خمس مجموعات من 6-7 مشاركين، ولم يكن أي من المشاركين يعرف الآخر شخصيًا.

تم إجراء الاختبارات على منصة زووم، مع خمسة متحدثين يقدمون عروضًا في التجربة الأولى وستة في الثانية.

يشير الباحثون إلى أن أحد المتحدثين قلل بشكل ملحوظ من تعليقاته، وأن في “الشرط سي آر-إن”، نادرًا ما ألقى المتحدث عبارات ملء.

الاستنتاج

من المزايا البارزة في نظام مثل هذا هو أن جميع التكنولوجيا الإضافية التي لا تتوافق مع هذا النهج تختفي تمامًا بعد انتهاء استخدامها. لا توجد إضافات متصفح متبقية لتنزيلها، أو لاستبعادها من الأنظمة؛ ولا حاجة لتوجيه المستخدمين عبر عملية التثبيت (على الرغم من أن الإطار القائم على الويب يتطلب دقيقة أو دقيقتين من التهيئة الأولية للمستخدم)، أو لمواجهة إمكانية عدم امتلاك المستخدمين للأذونات الكافية لتثبيت البرامج المحلية، بما في ذلك الإضافات القائمة على المتصفح.

على الرغم من أن التحركات الوجهية والبصرية التي تم تقييمها ليست دقيقة كما يمكن أن تكون في ظروف قد يتم فيها استخدام إطارات التعلم الآلي المحلية (مثل سلسلة YOLO)، فإن هذا النهج شبه الخالي من الاحتكاك لتقدير الجمهور يوفر دقة كافية لتحليل الموقف وال态 度 في سيناريوهات المؤتمرات عبر الفيديو النموذجية. وأهم شيء هو أنه رخيص جدًا.

اطلع على الفيديو المرتبط بالمشروع أدناه لمزيد من التفاصيل والأمثلة.

نشر لأول مرة في 11 أبريل 2022.