KI hilft nervösen Rednern, das “Zimmer” während Videokonferenzen zu “lesen”

Im Jahr 2013 ergab eine Umfrage über häufige Phobien, dass die Aussicht auf öffentliches Sprechen für die Mehrheit der Befragten schlimmer war als die Aussicht auf den Tod. Das Syndrom ist als Glossophobie bekannt.

Die durch COVID ausgelöste Migration von “persönlichen” Treffen zu Online-Zoom-Konferenzen auf Plattformen wie Zoom und Google Spaces hat überraschenderweise die Situation nicht verbessert. Wenn die Besprechung eine große Anzahl von Teilnehmern enthält, sind unsere natürlichen Bedrohungsbeurteilungsfähigkeiten durch die niedrige Auflösung der Teilnehmerreihen und -symbole sowie durch die Schwierigkeit, subtile visuelle Signale von Gesichtsausdruck und Körpersprache zu lesen, beeinträchtigt. Skype zum Beispiel wurde als schlechte Plattform für die Übermittlung nonverbaler Hinweise befunden.

Die Auswirkungen auf die Leistung des öffentlichen Sprechens durch wahrgenommene Interesse und Responsivität sind inzwischen gut dokumentiert und intuitiv offensichtlich für die meisten von uns. Opaques Publikumsverhalten kann Redner dazu veranlassen, zu zögern und auf Füllwörter zurückzugreifen, ohne zu wissen, ob ihre Argumente auf Zustimmung, Verachtung oder Desinteresse stoßen, was oft zu einem unangenehmen Erlebnis für sowohl den Redner als auch seine Zuhörer führt.

Unter dem Druck des unerwarteten Wechsels zu Online-Videokonferenzen, inspiriert durch COVID-Beschränkungen und Vorsichtsmaßnahmen, verschlimmert sich das Problem möglicherweise, und eine Reihe von Verbesserungen der Publikumsfeedback-Schemata wurden in den letzten beiden Jahren in den Computer-Vision- und Affect-Forschungsgemeinschaften vorgeschlagen.

Hardware-orientierte Lösungen

Die meisten davon erfordern jedoch zusätzliche Ausrüstung oder komplexe Software, die Datenschutz- oder Logistikprobleme aufwerfen – relativ teure oder anderweitig ressourcenbeschränkte Ansätze, die der Pandemie vorausgehen. Im Jahr 2001 schlug das MIT den Galvactivator vor, ein handgetragenes Gerät, das den emotionalen Zustand des Publikumsteilnehmers ableitet, der während eines eintägigen Symposiums getestet wurde.

Aus dem Jahr 2001, MITs Galvactivator, der die Hautleitfähigkeitsreaktion misst, um Publikumsstimmung und Engagement zu verstehen. Quelle: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

Ein großer Teil akademischer Energie wurde auch der möglichen Einsatz von “Clickern” als Audience-Response-System (ARS) gewidmet, einer Maßnahme, um die aktive Teilnahme des Publikums zu erhöhen (was automatisch die Engagement erhöht, da es den Zuhörer in die Rolle eines aktiven Feedback-Knotens drängt), aber auch als Mittel zur Ermutigung des Redners.

Andere Versuche, Redner und Publikum zu “verbinden”, umfassten Herzfrequenzmessung, den Einsatz komplexer Körpergeräte, um Elektroenzephalographie zu nutzen, “Cheer-Meter”, computer-vision-basierte Emotionserkennung für an ihrem Schreibtisch arbeitende Mitarbeiter und den Einsatz von Publikum gesendeter Emoticons während des Vortrags des Redners.

Aus dem Jahr 2017, der EngageMeter, ein gemeinsames akademisches Forschungsprojekt der LMU München und der Universität Stuttgart. Quelle: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Als Teilbereich des lukrativen Bereichs der Publikumsanalyse hat der private Sektor ein besonderes Interesse an Blickschätzung und -verfolgung – Systeme, bei denen jedes Publikumsmitglied (das möglicherweise selbst sprechen wird) einer Ocular-Tracking-Verfolgung unterzogen wird als Index für Engagement und Zustimmung.

Alle diese Methoden sind ziemlich reibungslos. Viele davon erfordern spezielle Hardware, Laborumgebungen, speziell angefertigte Software-Rahmenwerke und Abonnements für teure kommerzielle APIs – oder eine Kombination dieser einschränkenden Faktoren.

Daher ist die Entwicklung minimalistischer Systeme, die auf wenig mehr als gängigen Videokonferenz-Tools basieren, in den letzten 18 Monaten von Interesse geworden.

Publikumszustimmung diskret melden

Zu diesem Zweck bietet eine neue Forschungszusammenarbeit zwischen der Universität Tokio und der Carnegie Mellon University ein neuartiges System, das auf Standard-Videokonferenz-Tools (wie Zoom) aufsetzen kann, indem es nur eine webkamera-aktivierte Website verwendet, auf der leichte Blick- und Pose-Schätzung-Software läuft. Auf diese Weise wird sogar die Notwendigkeit lokaler Browser-Plugins vermieden.

Die Nicken und geschätzte Augenmerk des Benutzers werden in repräsentative Daten übersetzt, die dem Redner visualisiert werden, um einen “Live”-Litmustest für den Umfang zu ermöglichen, in dem der Inhalt das Publikum anspricht – und auch mindestens einen vagen Hinweis auf Diskursperioden, in denen der Redner das Interesse des Publikums verlieren könnte.

Mit CalmResponses wird die Aufmerksamkeit und das Nicken des Benutzers in einen Pool von Publikumsfeedback aufgenommen und in eine visuelle Darstellung übersetzt, die dem Redner zugute kommen kann. Siehe eingebettetes Video am Ende des Artikels für weitere Details und Beispiele. Quelle: https://www.youtube.com/watch?v=J_PhB4FCzk0

In vielen akademischen Situationen, wie Online-Vorlesungen, können die Studenten möglicherweise für den Redner unsichtbar sein, da sie ihre Kameras nicht eingeschaltet haben, weil sie sich über ihren Hintergrund oder ihr aktuelles Aussehen im Klaren sind. CalmResponses kann dieses Hindernis für Redner-Feedback angehen, indem es meldet, was es über die Art und Weise weiß, wie der Redner den Inhalt ansieht, und ob er nickt, ohne dass der Zuhörer seine Kamera aktivieren muss.

Das Paper ist betitelt CalmResponses: Displaying Collective Audience Reactions in Remote Communication und ist eine gemeinsame Arbeit zwischen zwei Forschern der UoT und einem von der Carnegie Mellon.

Die Autoren bieten eine Live-Web-Demo an und haben den Quellcode auf GitHub veröffentlicht.

Das CalmResponses-Framework

Das Interesse von CalmResponses an Nicken im Gegensatz zu anderen möglichen Kopfhaltungen basiert auf Forschung (einige davon stammen aus der Ära von Darwin), die darauf hinweist, dass mehr als 80 % aller Kopfbewegungen der Zuhörer aus Nicken bestehen (auch wenn sie Uneinigkeit ausdrücken). Gleichzeitig wurde gezeigt, dass Augenbewegungen ein zuverlässiger Index für Interesse oder Engagement sind.

CalmResponses wird mit HTML, CSS und JavaScript implementiert und umfasst drei Subsysteme: einen Publikums-Client, einen Redner-Client und einen Server. Der Publikums-Client übermittelt Blick- oder Kopfbewegungsdaten des Benutzers von der Webcam über WebSockets auf die Cloud-Anwendungsplattform Heroku.

Publikumsnicken wird auf der rechten Seite in einer animierten Bewegung unter CalmResponses visualisiert. In diesem Fall ist die Bewegungsvisualisierung nicht nur für den Redner, sondern für das gesamte Publikum verfügbar. Quelle: https://arxiv.org/pdf/2204.02308.pdf

Für den Blickverfolgungsteil des Projekts verwendeten die Forscher WebGazer, ein leichtes, JavaScript-basiertes Browser-basiertes Blickverfolgungs-Framework, das mit niedriger Latenz direkt von einer Website aus laufen kann (siehe Link oben für die eigene webbasierte Implementierung der Forscher).

Da die Notwendigkeit einer einfachen Implementierung und einer groben, aggregierten Reaktionserkennung die Notwendigkeit hoher Genauigkeit bei Blick- und Pose-Schätzung überwiegt, werden die Eingabedaten vor der Berücksichtigung für die Gesamtreaktionsschätzung gemäß Mittelwerten geglättet.

Die Nickbewegung wird über die JavaScript-Bibliothek clmtrackr ausgewertet, die Gesichtsmodelle auf erkannte Gesichter in Bildern oder Videos durch regulierte Landmarken-Mittelwert-Verfahren anpasst. Aus Gründen der Wirtschaftlichkeit und niedriger Latenz wird in der Implementierung der Autoren nur das erkannte Landmark für die Nase überwacht, da dies ausreicht, um Nickbewegungen zu verfolgen.

Die Bewegung der Nasenspitze des Benutzers erzeugt eine Spur, die zum Pool von Publikumsreaktionen im Zusammenhang mit Nicken beiträgt, die in einer aggregierten Weise für alle Teilnehmer visualisiert wird.

Heatmap

Während die Nickbewegung durch dynamische Punkte dargestellt wird (siehe Bilder oben und Video am Ende), wird die visuelle Aufmerksamkeit in Form einer Heatmap gemeldet, die dem Redner und dem Publikum zeigt, wo der allgemeine Fokus der Aufmerksamkeit auf dem gemeinsamen Präsentationsbildschirm oder der Videokonferenzumgebung liegt.

Alle Teilnehmer können sehen, wo die allgemeine Benutzer-Aufmerksamkeit fokussiert ist. Das Paper erwähnt nicht, ob diese Funktionalität verfügbar ist, wenn der Benutzer eine “Galerie” anderer Teilnehmer sehen kann, was einen scheinbaren Fokus auf einen bestimmten Teilnehmer aus verschiedenen Gründen offenbaren könnte.

Tests

Zwei Testumgebungen wurden für CalmResponses in Form einer stillschweigenden Ablationsstudie formuliert, die drei verschiedene Umstände verwendet: in “Bedingung B” (Basislinie) replizierten die Autoren eine typische Online-Studenten-Vorlesung, in der die meisten Studenten ihre Webkameras ausgeschaltet hatten und der Redner keine Möglichkeit hatte, die Gesichter des Publikums zu sehen; in “Bedingung CR-E” konnte der Redner Blick-Rückmeldungen (Heatmaps) sehen; in “Bedingung CR-N” konnte der Redner sowohl die Nick- als auch die Blick-Aktivität des Publikums sehen.

Das erste experimentelle Szenario umfasste Bedingung B und Bedingung CR-E; das zweite umfasste Bedingung B und Bedingung CR-N. Rückmeldungen wurden von beiden Rednern und dem Publikum erhalten.

In jedem Experiment wurden drei Faktoren ausgewertet: objektive und subjektive Bewertung der Präsentation (einschließlich eines Selbstberichts-Fragebogens des Redners über seine Gefühle darüber, wie die Präsentation verlaufen war); die Anzahl der Ereignisse von “Füllworten”, die auf vorübergehende Unsicherheit und Zögern hinweisen; und qualitative Kommentare. Diese Kriterien sind gängige Schätzer der Sprechqualität und der Rednerangst.

Der Testpool bestand aus 38 Personen im Alter von 19-44 Jahren, darunter 29 Männer und neun Frauen mit einem Durchschnittsalter von 24,7 Jahren, alle japanisch oder chinesisch und alle fließend in Japanisch. Sie wurden zufällig in fünf Gruppen von 6-7 Teilnehmern aufgeteilt, und keiner der Teilnehmer kannte sich persönlich.

Die Tests wurden auf Zoom durchgeführt, mit fünf Rednern, die in dem ersten Experiment und sechs in dem zweiten Experiment Präsentationen hielten.

Füllbedingungen als orangefarbene Kästchen markiert. Im Allgemeinen fiel der Füllinhalt in vernünftigem Verhältnis zu erhöhtem Publikums-Feedback vom System.

Die Forscher bemerken, dass die Füllwörter eines Redners erheblich abnahmen und dass in “Bedingung CR-N” der Redner selten Füllwörter äußerte. Siehe das Paper für die sehr detaillierten und granularen Ergebnisse, die berichtet werden; jedoch waren die auffälligsten Ergebnisse in der subjektiven Bewertung durch die Redner und die Publikumsteilnehmer.

Kommentare des Publikums umfassten:

‘Ich fühlte mich in die Präsentationen einbezogen” [AN2], “Ich war mir nicht sicher, ob die Reden der Redner verbessert wurden, aber ich fühlte eine Art Einheit durch die Visualisierung der Kopfbewegungen der anderen.’ [AN6]

‘Ich war mir nicht sicher, ob die Reden der Redner verbessert wurden, aber ich fühlte eine Art Einheit durch die Visualisierung der Kopfbewegungen der anderen.’

Die Forscher bemerken, dass das System eine neue Art von künstlicher Pause in die Präsentation des Redners einführt, da der Redner geneigt ist, auf die visuelle Systematik zu verweisen, um das Publikums-Feedback zu bewerten, bevor er weitermacht.

Sie bemerken auch eine Art “Weißkittel-Effekt”, der in experimentellen Umständen schwer zu vermeiden ist, bei dem sich einige Teilnehmer durch die möglichen Sicherheitsimplikationen der Erfassung biometrischer Daten eingeschränkt fühlten.

Schlussfolgerung

Ein bemerkenswerter Vorteil in einem System wie diesem ist, dass alle nicht-standardmäßigen Zusatztechnologien, die für einen solchen Ansatz erforderlich sind, nach ihrer Verwendung vollständig verschwinden. Es gibt keine verbleibenden Browser-Plugins, die deinstalliert werden müssen, oder die Zweifel in den Köpfen der Teilnehmer aufkommen lassen, ob sie auf ihren jeweiligen Systemen bleiben sollten; und es gibt keine Notwendigkeit, die Benutzer durch den Prozess der Installation zu führen (obwohl das webbasierte Framework etwa eine Minute oder zwei der initialen Kalibrierung durch den Benutzer erfordert), oder die Möglichkeit zu navigieren, dass Benutzer nicht die erforderlichen Berechtigungen haben, um lokale Software, einschließlich browserbasierter Add-ons und Erweiterungen, zu installieren.

Obwohl die bewerteten Gesichts- und Augenbewegungen nicht so präzise sind, wie sie in Umständen sein könnten, in denen dedizierte lokale Machine-Learning-Frameworks (wie die YOLO-Serie) verwendet werden, bietet dieser fast reibungslose Ansatz für die Publikumsbewertung eine ausreichende Genauigkeit für die breite Stimmungs- und Haltungsanalyse in typischen Videokonferenzszenarien. Vor allem ist es sehr billig.

Schauen Sie sich das zugehörige Projektvideo unten für weitere Details und Beispiele an.

Erstveröffentlichung: 11. April 2022.