인공지능

AI가 비디오 회의 중에 긴장한 연사에게 ‘방을 읽을’ 수 있도록 도와줍니다

Published April 11, 2022

Updated April 28, 2026

Martin Anderson

2013년 일반적인 공포증에 대한 투표에서는 대부분의 응답자에게서 공포증이 죽음의 공포보다 더 나쁘다는 결과가 나왔습니다. 이 증후군은 glossophobia로 알려져 있습니다.

COVID-19로 인한 ‘대면’ 회의에서 Zoom 및 Google Spaces와 같은 플랫폼上的 온라인 줌 회의로의 이동은 놀랍게도 상황을 개선하지 못했습니다. 많은 참가자가 있는 회의에서는 참가자의 저해상도 행과 아이콘, 그리고 얼굴 표정과 몸 언어의 미묘한 시각적 신호를 읽는 우리의 자연스러운 위협 평가 능력이 손상됩니다. 예를 들어, Skype는 비언어적 단서를 전달하는 데 부적절한 플랫폼으로 밝혀졌습니다.

공개 연사의 수행에 대한 인식된 관심과 반응의 영향은 잘 문서화되어 있으며, 대부분의 사람들에게 직관적으로 명백합니다. 불투명한 청중 반응은 연사가 주저하고 filler speech로 돌아가게 할 수 있으며, 자신의 논리가 동의, 경멸, 또는 무관심을 만나는지 모르는 채로, 종종 연사와 청중 모두에게 불편한 경험을 제공합니다.

COVID-19 제한과 예방 조치에 의한 온라인 비디오 회의로의 예상치 못한 전환으로 인해 문제는 더 나빠지고 있으며, 지난 2년 동안 컴퓨터 비전 및 감정 연구 커뮤니티에서는 여러 가지 완화적 청중 피드백 方案이 제안되었습니다.

하드웨어 중심 솔루션

그러나 이들 대부분은 추가 장비 또는 복잡한 소프트웨어가 필요하여 프라이버시 또는 물류 문제를 일으킬 수 있습니다. 상대적으로 높은 비용 또는 기타 자원 제한된 접근 방식은 전염병 이전에 존재했습니다. 2001년 MIT는 심포지엄 동안 테스트된 청중 참가자의 감정 상태를 추론하는 손목 시계 장치인 Galvactivator를 제안했습니다.

2001년 MIT의 Galvactivator, 청중의 감정 상태와 참여도를 이해하기 위해 피부 전도도 반응을 측정했습니다. 출처: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

학술적 에너지의 상당 부분은 또한 청중의 적극적인 참여를 증가시키기 위한 수단으로서 ‘클릭기’의 배치에 대한 가능한 배치를 위해 투자되었습니다. 이는 또한 연사에게鼓舞를 주는 수단으로서도 구상되었습니다.

연사와 청중을 ‘연결’하려는 다른 시도에는 심박수 모니터링, 복잡한 신체 착용 장비를 사용하여 뇌전도, ‘치어 미터’, 컴퓨터 비전 기반 감정 인식, 그리고 연사의 연설 중에 청중이 보낸 이모티콘이 포함됩니다.

2017년 LMU 뮌헨과 스투트가르트 대학교의 공동 학술 연구 프로젝트인 EngageMeter. 출처: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

청중 분석의 유익한 영역으로서, 민간 부문은 시선 추적 및 추적 시스템에 특별한 관심을 가져왔습니다. 여기서 각 청중 참가자는 시선 추적을 통해 참여도와 승인의 지표로 사용됩니다.

이러한 모든 방법은 비교적 높은 마찰을 일으킵니다. 대부분의 방법은 맞춤형 하드웨어, 실험실 환경, 전문적인 소프트웨어 프레임워크, 그리고 비싼 상업적 API에 대한 구독이 필요합니다. 이러한 제한적인 요인들의 조합입니다.

따라서 일반적인 비디오 회의 도구 이상의 것이 거의 없는 최소한의 시스템의 개발이 지난 18개월 동안 관심을 끌었습니다.

청중의 승인을 미묘하게 보고하는 것

이 목적을 위해, 도쿄 대학교와 카네기 멜런 대학교 간의 새로운 연구 협력은 표준 비디오 회의 도구(예: Zoom)에 부착할 수 있는 새로운 시스템을 제공합니다. 이는 웹캠이 있는 웹 사이트에서 가벼운 시선 및 姿勢 추정 소프트웨어를 실행하는 것만으로 가능합니다. 이렇게 하면 даже 로컬 브라우저 플러그인의 필요성이 피할 수 있습니다.

사용자의 끌기와 추정된 시선 주의는 대표적인 데이터로 번역되어 연사에게 시각화되므로, 콘텐츠가 청중을 얼마나 참여시키고 있는지의 정도에 대한 ‘실시간’ 리투스 테스트를 허용합니다. 또한 연사가 청중의 관심을 잃을 수 있는 담론의 기간에 대한 적어도 모호한 지표를 제공합니다.

CalmResponses에서 사용자의 주의와 끌기가 청중 피드백 풀에 추가되어 연사에게 유익한 시각적 표현으로 번역됩니다. 자세한 내용과 예제는 본文의 끝에 있는 비디오를 참조하십시오. 출처: https://www.youtube.com/watch?v=J_PhB4FCzk0

많은 학술 상황에서, 온라인 강의와 같은 경우, 학생들은 연사에게 보이지 않을 수 있습니다. 왜냐하면 그들은 배경이나 현재 외모에 대한 자의식 때문에 웹캠을 켜지 않았기 때문입니다. CalmResponses는 연사가 콘텐츠를 보고 있는지, 끌고 있는지에 대한 정보를 보고하는 것으로, 이러한 어려운 장애를 해결할 수 있습니다. 이는 뷰어가 카메라를 활성화할 필요가 없습니다.

이 논문은 원격 통신에서 집단 청중 반응 표시라는 제목으로, 도쿄 대학교의 2명과 카네기 멜런 대학교의 1명 연구자 간의 공동 연구입니다.

저자들은 라이브 웹 기반 데모를 제공하며, GitHub에서 소스 코드를 공개했습니다.

CalmResponses 프레임워크

CalmResponses의 끌기 관심은 다른 가능한 머리 姿勢와는 달리, 청중의 80% 이상의 머리 움직임이 끌기에서 구성된다는 연구(일부는 다윈 시대까지 거슬러 올라감)에 기반합니다. 동시에, 시선 움직임은 관심이나 참여도의 신뢰할 수 있는 지표로 밝혀졌습니다.

CalmResponses는 HTML, CSS, 및 JavaScript로 구현되며, 3개의 하위 시스템으로 구성됩니다. 청중 클라이언트, 연사 클라이언트, 및 서버입니다. 청중 클라이언트는 사용자의 웹캠에서 시선 또는 머리 움직임 데이터를 WebSocket을 통해 Heroku 클라우드 애플리케이션 플랫폼으로 전달합니다.