ืืื ื ืืืืืืชืืช
AI ืืกืืืขืช ืืืืืจืื ืขืฆืื ืื ื’ืงืจืื ืืช ืืืืจ’ ืืืืื ืืืืื ืงืื ืคืจื ืกืืช
בשנת 2013, סקר על פוביות נפוצות קבע כי הפרוספקט של דיבור בפומבי היה גרוע יותר מהפרוספקט של מוות עבור רוב המשיבים. התסמונת ידועה בשם גלוסופוביה.
ההגירה שנגרמה על ידי COVID מ’פגישות אישיות’ לווידאו קונפרנסות מקוונות בפלטפורמות כגון Zoom ו-Google Spaces לא שיפרה, למרבה הפלא, את המצב. כאשר הפגישה כוללת מספר רב של משתתפים, יכולות ההערכה שלנו מופרעות על ידי שורות ברזולוציה נמוכה ואייקונים של משתתפים, והקושי בקריאת אותות ויזואליים עדינים של ביטוי פנים ושפת גוף. Skype, למשל, נמצא כפלטפורמה גרועה להעברת רמזים בלתי מילוליים.
השפעותיהן של הופעות דיבור ציבורי על עניין ותגובה מורגשים היטב, וברורים לרובנו. תגובת קהל לא ברורה יכולה לגרום לדוברים להימנע ולחזור לנאום מלא, ללא ידיעה אם טיעוניהם פוגשים הסכמה, בוז או אדישות, ולעיתים קרובות גורמים לחוויה לא נוחה עבור הדובר והקהל.
תחת לחץ מהמעבר הבלתי צפוי לווידאו קונפרנסות מקוונות שנובע מהגבלות ואמצעי זהירות COVID, הבעיה, במידה רבה, הולכת ומחמירה, ומספר רב של תוכניות משופרות למשוב קהל הוצעו בקהילות מחקר הראייה הממוחשבת וההשפעה במהלך השנתיים האחרונות.
פתרונות המתמקדים בחומרה
רובם, עם זאת, כוללים ציוד נוסף או תוכנה מורכבת שיכולה לעורר בעיות פרטיות או לוגיסטיות – גישות בעלות עלות גבוהה יחסית או אחרות המוגבלות במשאבים, שקדמו למגפה. בשנת 2001, MIT הציע את Galvactivator, התקן נשיאת יד שמנחש את מצבה הרגשי של חבר הקהל, שנבדק במהלך סימפוזיון בן יום.
מ-2001, MIT’s Galvactivator, אשר מדד את תגובת המוליכות החשמלית של העור בניסיון להבין את דעת הקהל ואת המעורבות. מקור: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf
הושקעה הרבה אנרגיה אקדמית גם באפשרות פריסת ‘לחצנים’ כמערכת תגובת קהל (ARS), אמצעי להגברת השתתפות פעילה של קהל (שמגבירה אוטומטית את המעורבות, מכיוון שהיא מאלצת את הצופה לתפקידו של צומת משוב פעיל), אך גם נתפסה כאמצעי לעידוד דוברים.
ניסיונות אחרים ל’חבר’ בין דובר לקהל כללו מעקב אחר קצב לב, השימוש בציוד מורכב הנשיא על הגוף לניצול אלקטרואנצפלוגרפיה, ‘מד תשואות’, הכרה ממוחשבת של רגש לעובדים היושבים בשולחן, והשימוש באמוג’ים שנשלחים על ידי הקהל במהלך נאום הדובר.
מ-2017, EngageMeter, פרויקט מחקר משותף של LMU מינכן ואוניברסיטת שטוטגרט. מקור: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf
כחלק מתחום הרווחי של ניתוח קהל, המגזר הפרטי לקח עניין מיוחד בהערכת מבט ועקיבה – מערכות שבהן כל חבר קהל (שיכול להיות בתורו לדבר) נתון לעקיבת עיניים כאינדיקטור למעורבות ואישור.
כל השיטות האלה הן בעלות חיכוך גבוה. רבות מהן דורשות ציוד מותאם אישית, סביבות מעבדה, מסגרות תוכנה מיוחדות ומותאמות, ומינוי ל-API מסחריות יקרות – או כל שילוב של גורמים מגבילים אלה.
לפיכך, פיתוח מערכות מינימליסטיות המבוססות על כלים רגילים לווידאו קונפרנסים הפך לנושא עניין ב-18 החודשים האחרונים.
דיווח על אישור הקהל באופן דיסקרטי
לשם כך, שיתוף פעולה חדש בין אוניברסיטת טוקיו לאוניברסיטת קרנגי מלון מציע מערכת חדשה שיכולה לרכב על כלים סטנדרטיים לווידאו קונפרנסים (כגון Zoom) באמצעות אתר אינטרנט המאפשר תוכנה קלה להערכת מבט ותנוחה. בדרך זו, אפילו הצורך בתוספים מקומיים לדפדפן מותאם.
ניעות הראש והערכת תשומת הלב של המשתמש מתורגמות לנתונים נציגים שמוצגים בחזרה לדובר, מאפשרים ‘בדיקת ליטמוס חיה’ של המידה בה התוכן מעניין את הקהל – וגם לפחות מעין מחוון של תקופות דיון שבהן הדובר עלול לאבד את עניין הקהל.
עם CalmResponses, תשומת לב המשתמש והנעת הראש נוספים לבריכת משוב קהל ומתורגמים לייצוג חזותי שיכול להיטיב עם הדובר. ראו וידאו מובנה בסוף המאמר לפרטים נוספים ודוגמאות. מקור: https://www.youtube.com/watch?v=J_PhB4FCzk0
במצבים רבים, כגון הרצאות מקוונות, הסטודנטים עלולים להיות בלתי נראים לדובר, מכיוון שהם לא הפעילו את המצלמות שלהם בגלל רגישות עצמית לרקע או מראהם הנוכחי. CalmResponses יכולה לפתור את המכשול הקוצרני הזה למשוב דובר על ידי דיווח על מה שהיא יודעת על כיצד הדובר מסתכל על התוכן, ואם הוא נוטה, ללא צורך בצופה להפעיל את המצלמה.
המאמר כותרת CalmResponses: הצגת תגובות קהל קולקטיביות בתקשורת מרחוק, והוא עבודה משותפת בין שני חוקרים מ-UoT ואחד מ-Carnegie Mellon.
המחברים מציעים הדגמה חיה באינטרנט, ופרסמו את קוד המקור ב-GitHub.
מסגרת CalmResponses
עניינה של CalmResponses בהנעת ראש, בניגוד למצבים אחרים אפשריים של הראש, מבוסס על מחקר (חלקו מתוארך לתקופת דרווין) המצביע על כך שיותר מ-80% מתנועות הראש של כל המאזינים מורכבות מהנעת ראש (אפילו כאשר הם מביעים הסכמה). בו-זמנית, תנועות מבט העיניים הוכחו ב מחקרים רבים להיות מדד אמין לעניין או מעורבות.
CalmResponses מיושמת עם HTML, CSS, ו-JavaScript, וכוללת שלוש מערכות תת-מערכת: לקוח קהל, לקוח דובר, ושרת. לקוח הקהל מעביר נתוני מבט עיניים או תנועת ראש ממצלמת המשתמש דרך WebSockets על פלטפורמת היישום העננתית Heroku.
תנועת הראש של הקהל מוּדָגת בתנועה מונפשת ב-CalmResponses. במקרה זה, הוויזואליזציה של התנועה זמינה לא רק לדובר, אלא לכל הקהל. מקור: https://arxiv.org/pdf/2204.02308.pdf
עבור חלק העקיבה של העיניים בפרויקט, החוקרים השתמשו בWebGazer, מסגרת עקיבת עיניים קלה ומבוססת JavaScript שיכולה לרוץ עם עיכוב נמוך ישירות מאתר אינטרנט (ראו קישור לעיל ליישום האינטרנטי של החוקרים).
מכיוון שהצורך ביישום פשוט ובהכרה גסה של תגובה עולה על הצורך בדיוק גבוה בהערכת מבט ותנוחה, נתוני התנוחה הקלט מחולקים לפי ערכים ממוצעים לפני שנלקחים בחשבון להערכת התגובה הכללית.
פעולת הנעת הראש מוערכת דרך ספריית JavaScript clmtrackr, אשר מתאימה מודלים של פנים לפנים מזוהים בתמונות או וידאו דרך מעבר ממוצע מוסדר. לצורכי כלכלה ועיכוב נמוך, רק הנקודה המזוהה עבור האף נעקבת באופן פעיל ביישום של המחברים, שכן זה מספיק כדי לעקוב אחר פעולות הנעת ראש.
תנועת קצה האף של המשתמש יוצרת שובל שתורם לבריכת משוב קהל הקשורה להנעת ראש, המוּדָגת באופן משולב לכל המשתתפים.
מפת חום
בעוד שפעולת הנעת הראש מיוצגת על ידי נקודות דינאמיות (ראו תמונות לעיל ווידאו בסוף), תשומת הלב החזותית מדווחת במונחים של מפת חום המראה לדובר ולקהל היכן המוקד הכללי של תשומת הלב מתרכז על מסך ההצגה או סביבת הווידאו קונפרנס.
כל המשתתפים יכולים לראות היכן תשומת הלב הכללית מתרכזת. המאמר אינו מזכיר אם תכונה זו זמינה כאשר המשתמש יכול לראות ‘גלריה’ של משתתפים אחרים, שיכולה לחשוף פוקוס מפוברק על משתתף מסוים, מסיבות שונות.
בדיקות
שני סביבות בדיקה נוסדו עבור CalmResponses בצורת מחקר השמטה, באמצעות שלוש סדרות נסיבות שונות: ב’תנאי B’ (בסיס), המחברים שיחזרו הרצאה מקוונת אופיינית, שבה רוב הסטודנטים שובתים את המצלמות שלהם, והדובר אינו יכול לראות את פני הקהל; ב’תנאי CR-E’, הדובר יכול לראות משוב מבט (מפות חום); ב’תנאי CR-N’, הדובר יכול לראות את פעולות הנעת הראש והמבט מהקהל.
התרחיש הניסיוני הראשון כלל את תנאי B ותנאי CR-E; השני כלל את תנאי B ותנאי CR-N. משוב התקבל מהדוברים והקהל.
בכל ניסוי, שלושה גורמים נבדקו: הערכה אובייקטיבית וסובייקטיבית של ההצגה (כולל טופס עצמי-דווח מהדובר לגבי הרגשות שלו לגבי איך ההצגה הלכה); מספר אירועי ‘נאום מלא’, המאינדקס אי-ביטחון רגעי והיסוס; והערות איכותיות. קריטריונים אלה הם נפוצים מעריכים של איכות דיבור וחרדת דובר.
בריכת הבדיקה כללה 38 אנשים בגילאים 19-44, הכוללים 29 גברים ותשע נשים בממוצע גיל 24.7, כולם יפנים או סינים וכולם דוברים יפנית. הם חולקו באופן אקראי לחמישה קבוצות של 6-7 משתתפים, ואף אחד מהנושאים לא הכיר את האחרים.
הבדיקות בוצעו ב-Zoom, עם חמישה דוברים שנתנו הצגות בניסוי הראשון ושישה בשני.
תנאים של ‘נאום מלא’ מסומנים בקופסאות כתומות. בכלל, תוכן ‘נאום מלא’ ירד ביחס סביר לעלייה במשוב קהל מהמערכת.
החוקרים מציינים כי אחד הדוברים חווה ירידה משמעותית ב’נאום מלא’, וכי ב’תנאי CR-N’, הדובר כמעט לא הגה ‘נאום מלא’. ראו את המאמר לתוצאות מפורטות וגרנולריות; עם זאת, התוצאות הבולטות ביותר היו בהערכה סובייקטיבית מהדוברים ומשתתפי הקהל.
הערות מהקהל כללו:
‘הרגשתי שהייתי מעורב בהצגות” [AN2], “לא הייתי בטוח שנאומי הדוברים שופרו, אך הרגשתי תחושת אחדות מתנועות ראש אחרות.’ [AN6]
‘לא הייתי בטוח שנאומי הדוברים שופרו, אך הרגשתי תחושת אחדות מתנועות ראש אחרות.’
החוקרים מציינים כי המערכת מציגה סוג חדש של פאוזה מלאכותית להצגת הדובר, שכן הדובר נוטה להתייחס למערכת הוויזואלית כדי להעריך משוב קהל לפני שהוא ממשיך הלאה.
הם מציינים גם ‘אפקט לבן’, קשה להימנע ממנו בנסיבות ניסיוניות, שבו חלק מהמשתתפים הרגישו מוגבלים על ידי ההשלכות הביטחוניות האפשריות של היותם מנוטרים לגבי נתונים ביומטריים.
מסקנה
יתרון בולט אחד במערכת כזו הוא שכל הטכנולוגיות הנלוות הלא-סטנדרטיות הדרושות לגישה כזו נעלמות לאחר שימושן. אין תוספים לדפדפן לאיתור, או להטיל ספק במוחות המשתתפים האם הם צריכים להישאר על מערכותיהם; ואין צורך להדריך משתמשים דרך תהליך התקנה (אם כי המסגרת המבוססת אינטרנט דורשת דקה או שתיים של כיוונון ראשוני על ידי המשתמש), או לנווט את האפשרות שמשתמשים לא יהיו בעלי הרשאות מספיקות להתקין תוכנה מקומית, כולל תוספים והרחבות לדפדפן.
על אף שהתנועות הפנימיות והעיניים המוערכות אינן מדויקות כפי שהן יכולות להיות בנסיבות שבהן משותפים מסגרות למידת מכונה מקומיות (כגון סדרת YOLO) ישמשו, גישה כמעט חיכוך-חסרה זו להערכת קהל מספקת דיוק מספיק לניתוח השקפה ועמדה בסיטואציות וידאו קונפרנס מקוונות טיפוסיות. מעל הכל, היא זולה מאוד.
ראו את הווידאו המשותף של הפרויקט לפרטים נוספים ודוגמאות.
פורסם לראשונה ב-11 באפריל 2022.
