Andersonの視点
AIが神経質なスピーカーに「部屋を読む」ことを助ける
Unite.AI を Google の優先ソースに追加
2013年、一般的な恐怖症に関するアンケートでは、多くの回答者にとって、公共の場での話すことの恐怖は、死の恐怖よりもひどいものであった。この症状は、グラスソフォビアとして知られている。
COVID-19によって、対面の会議からオンラインのZoom会議への移行が進んだが、意外にも状況は改善されていない。参加者が多数いる会議では、低解像度の参加者アイコンや顔の表情、ボディランゲージの微妙な視覚的信号を読み取る能力が損なわれる。Skypeは、非言語的な信号を伝えるプラットフォームとしては不適切であることがわかっている。
認識された関心や反応のある聴衆の影響を受ける公共の話すパフォーマンスは、既に十分に文書化されており、多くの人にとっては直感的に明らかである。透明性のない聴衆の反応は、スピーカーが躊躇して、filler speechに戻る原因となり、自分の議論が賛成、軽蔑、または無関心に遭遇しているかどうかを知ることができない。多くの場合、スピーカーとリスナーにとって、不快な経験となる。
COVID-19の制限と予防措置によるオンラインビデオ会議への急速な移行の圧力の下、この問題はさらに悪化し、コンピュータビジョンと感情研究コミュニティでは、過去2年間でいくつかの緩和策が提案されている。
ハードウェアに焦点を当てたソリューション
しかし、これらの多くは、追加の機器や複雑なソフトウェアが必要であり、プライバシーまたはロジスティクス上の問題を引き起こす可能性がある。2001年、MITは、Galvactivatorを提案した。これは、手に装着するデバイスで、聴衆の感情状態を推測し、1日間のシンポジウムでテストされた。
2001年のMITのGalvactivator。聴衆の感情と関心を理解するために、皮膚の導電率反応を測定した。 ソース: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf
また、「クリッカーズ」の導入にも多くの学術的エネルギーが費やされてきた。クリッカーズは、聴衆の参加を増やすための手段としてだけでなく、スピーカーの励ましにもなると考えられている。
スピーカーと聴衆を「接続」する他の試みには、心拍数の測定、複雑な体に装着する機器を使用して脳波を利用すること、顔認識による感情認識、デスクワーカー向けの「チアメーター」、およびスピーカーの演説中に聴衆が送信する絵文字の使用が含まれる。
2017年のミュンヘン大学とシュトゥットガルト大学の共同研究プロジェクト、EngageMeter。 ソース: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf
聴衆分析の分野では、視線推定と追跡に特に興味があり、各聴衆メンバー（誰が最終的に話さなければならないかもしれない）が、眼球追跡の対象となるシステムが開発されている。
これらの方法はすべて比較的高フリクションである。多くの場合、特定のハードウェア、研究室環境、特殊なソフトウェアフレームワーク、または高価な商用APIへのサブスクリプションが必要である。
したがって、ビデオ会議ツールに頼るだけで、専用ハードウェアやソフトウェアを必要としない、最小限のシステムの開発が注目されている。
聴衆の承認を微妙に報告する
この目的のために、東京大学とカーネギーメロン大学の共同研究により、標準のビデオ会議ツール（例：Zoom）に乗っ取り、ウェブカメラが搭載されたウェブサイトで軽量の視線推定と姿勢推定ソフトウェアを実行する新しいシステムが提案された。この方法では、ローカルブラウザープラグインの必要性さえも回避される。
ユーザーの頷きと推定された視線は、スピーカーに視覚化される代表的なデータに変換され、コンテンツが聴衆をどの程度引き付けるかを「生」のリットマス試験を可能にする。
CalmResponsesでは、ユーザーの注意と頷きがプール化され、視覚的な表現に変換され、スピーカーに利益をもたらす。記事の最後に埋め込まれたビデオを参照してください。 ソース: https://www.youtube.com/watch?v=J_PhB4FCzk0
多くの学術的な状況では、オンライン講義のように、学生はスピーカーから見えていない可能性がある。カメラをオンにしていないからである。CalmResponsesは、スピーカーがコンテンツを見ているか、頷いているかを報告することで、この障害に対処できる。
論文のタイトルは、CalmResponses: Displaying Collective Audience Reactions in Remote Communicationで、東京大学とカーネギーメロン大学の2人の研究者による共同研究である。
研究者たちは、ウェブベースのデモを提供し、GitHubでソースコードを公開している。
CalmResponsesフレームワーク
CalmResponsesが他の頭の動きではなく、頷きに注目しているのは、頷きが聴衆の80%以上の頭の動きを占めるという研究（一部はダーウィンの時代に遡る）に基づいている。同時に、視線の動きは、複数の研究で、関心や関与の信頼できる指標であることが示されている。
CalmResponsesは、HTML、CSS、JavaScriptで実装されており、3つのサブシステムで構成されている。オーディエンスクライアント、スピーカークライアント、サーバーである。オーディエンスクライアントは、ユーザーのウェブカメラからの視線や頭の動きのデータを、Herokuのクラウドアプリケーションプラットフォーム経由でWebSocketsで送信する。
オーディエンスの頷きを視覚化したもの。右側のアニメーションで、スピーカーとオーディエンス全員が確認できる。 ソース: https://arxiv.org/pdf/2204.02308.pdf
プロジェクトの眼球追跡部分では、WebGazerという、低遅延でウェブサイトから直接実行できる軽量なJavaScriptベースの眼球追跡フレームワークを使用した。
入力された姿勢データは、平均値に基づいてスムーズ化され、全体的な反応推定に使用される前に、簡略化された集団反応の認識が必要なためである。
頷きの動作は、clmtrackrというJavaScriptライブラリで評価される。これは、画像やビデオ内の顔に顔モデルを当てはめる。正規化されたランドマークの平均シフトを使用して、鼻のランドマークのみを監視することで、頷きの動作を追跡できる。
ユーザーの鼻の動きが、頷きに関連するオーディエンスの反応のプールに貢献する。
ヒートマップ
頷きの動作は、動的な点で表現される（上の画像と記事末のビデオを参照）が、視線は、スピーカーとオーディエンスが、共有プレゼンテーションスクリーンまたはビデオ会議環境で一般的な注意の焦点がどこにあるかを示すヒートマップで表現される。
全参加者が、一般的なユーザーの注意がどこに焦点を当てているかを確認できる。
テスト
CalmResponsesのテスト環境は2つ設定され、3つの異なる状況で、暗黙のablation studyとして実施された。条件B（ベースライン）では、研究者は、学生の大多数がカメラをオフにしている、典型的なオンライン学生講義を再現した。条件CR-Eでは、スピーカーは視線のフィードバック（ヒートマップ）を確認できた。条件CR-Nでは、スピーカーは、オーディエンスからの視線と頷きの両方の動作を確認できた。
最初の実験シナリオは、条件Bと条件CR-Eで構成され、2番目のシナリオは、条件Bと条件CR-Nで構成されていた。スピーカーとオーディエンスの両方からフィードバックが得られた。
各実験では、3つの要素が評価された。プレゼンテーションの客観的および主観的評価（スピーカーによる自己報告式質問紙を含む）。「filler speech」のイベントの数。質的コメント。これらの基準は、一般的 推定値である。
テストプールは、19〜44歳の38人で構成され、29人の男性と9人の女性で、平均年齢は24.7歳で、日本人または中国人であり、日本語を流暢に話すことができた。5〜7人の参加者で構成される5つのグループにランダムに分割され、参加者同士が互いに知り合いではなかった。
テストはZoomで実施され、最初の実験では5人のスピーカーがプレゼンテーションを行い、2番目の実験では6人のスピーカーがプレゼンテーションを行った。
オレンジのボックスで示された「filler」条件。一般的に、「filler」コンテンツは、システムからのオーディエンスのフィードバックの増加に比例して減少した。
研究者は、1人のスピーカーのfillerが著しく減少したこと、また「Condition CR-N」では、スピーカーがfillerフレーズをほとんど発しなかったことを指摘している。詳細な結果は、論文を参照のこと。
オーディエンスからのコメントには以下のようなものがあった。
「私はプレゼンテーションに関与しているような気がした」[AN2]、「スピーカーのスピーチが改善されたかどうかはわかりませんが、他人の頭の動きの視覚化から、団結感を感じた」[AN6]
「スピーカーのスピーチが改善されたかどうかはわかりませんが、他人の頭の動きの視覚化から、団結感を感じた」
研究者は、このシステムがスピーカーに新しい種類の人工的なパウーズをもたらすことを指摘している。スピーカーは、進む前に視覚的なシステムを参照してオーディエンスのフィードバックを評価する傾向にある。
また、参加者の中には、生物学的データを監視される可能性があるという「白いコート効果」に直面していることを指摘している。
結論
このようなシステムの注目すべき利点の1つは、使用が終了すると、非標準の付加的なテクノロジーが完全に消え去ることである。ブラウザープラグインをアンインストールする必要がない。参加者にシステムをインストールするためのガイダンスは不要である。ローカルソフトウェアのインストールやブラウザーベースのアドオン/拡張機能のインストールの許可についての懸念もない。
評価された顔の動きや眼球の動きは、専用のローカルマシンラーニングフレームワーク（例：YOLOシリーズ）を使用した場合と同じくらい正確ではないかもしれないが、このほとんど摩擦のないアプローチは、典型的なビデオ会議のシナリオでの広範な感情や態度の分析に十分な精度を提供する。何よりも、非常に安価である。
詳細や例については、以下のプロジェクトビデオを参照のこと。
初版は2022年4月11日に公開。
