AI, Konuşmacıların Sanal Toplantılar Sırasında ‘Odada Nasıl Olduğunu’ Okumasına Yardımcı Olur

2013 yılında yapılan bir anket, halkın önünde konuşma korkusunun ölüm korkusundan daha kötü olduğunu belirledi. Bu sendrom glossophobia olarak bilinir.

COVID-19 salgını nedeniyle yüz yüze toplantılardan online Zoom konferanslarına geçiş, beklenmedik bir şekilde durumu iyileştirmedi. Büyük sayıda katılımcı olan toplantılarda, düşük çözünürlüklü katılımcı sıraları ve yüz ifadesi ve vücut dilinin ince görsel sinyallerini okumadaki zorluk nedeniyle doğal tehdit değerlendirmemizi engellemektedir. Örneğin, Skype gibi platformlar, sözsüz ipuçlarını iletmek için kötü bir platform olarak bulunmuştur.

Halkın ilgisinin ve tepkisinin konuşmacı performansı üzerindeki etkileri iyi belgelenmiştir ve çoğumuz için açıkça anlaşılırdır. Bulanık halk tepkisi, konuşmacıların tereddüt etmesine ve doldurma konuşmasına neden olabilir, argümanlarının anlaşma, nefret veya ilgisizlikle karşılandığını bilmeyerek, genellikle hem konuşmacı hem de dinleyiciler için rahatsız edici bir deneyim yaratır.

COVID-19 kısıtlamaları ve önlemlerinin etkisiyle online video konferanslara yönelik beklenmedik bir baskı altında, sorun muhtemelen daha da kötüleşmektedir ve son iki yılda bilgisayar vizyonu ve etkileşim araştırmaları toplulukları, çeşitli iyileştirici halk geri bildirim şemaları önermiştir.

Donanım Odaklı Çözümler

Bunların çoğu, ek ekipman veya karmaşık yazılımlar içerir ve gizlilik veya lojistik sorunları gündeme getirebilir – salgından önce ortaya çıkan, nispeten yüksek maliyetli veya başka şekilde kaynak kısıtlı bir yaklaşım tarzı. 2001 yılında MIT, Galvactivator adlı bir eldiven giydirme cihazı önerdi. Bu cihaz, bir gün süren bir sempozyum sırasında test edildi ve katılımcıların duygusal durumunu çıkardı.

2001’den beri MIT’nin Galvactivator’u, halkın sentimentini ve katılımını anlamak için cilt conducitivitesini ölçmeye çalıştı. Kaynak: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

Bilimsel enerji, ayrıca ‘tıklatıcılar’ olarak bilinen bir İzleyici Geri Bildirim Sisteminin (ARS) olası dağıtımı için harcanmıştır. Bu, izleyicilerin aktif katılımını artırmak için bir önlemdir (bu, izleyiciyi otomatik olarak bir geri bildirim düğmesine dönüştürür) ve aynı zamanda konuşmacıları teşvik etmenin bir yolu olarak da düşünülmüştür.

Konuşmacı ve izleyiciyi ‘bağlamak’ için yapılan diğer girişimler arasında kalp atışını izleme, elektroensefalografiyi kullanmak için giyilebilir ekipman, ‘alkış ölçerleri’, masa başında çalışanlar için bilgisayar vizyonu tabanlı duygu tanıma ve konuşmacıların konuşması sırasında izleyici tarafından gönderilen emoticonlar yer almıştır.

2017’den beri LMU Münih ve Stuttgart Üniversitesi’nin ortak akademik araştırma projesi olan EngageMeter. Kaynak: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Audience analizi alanında karlı bir alan olarak, özel sektör, her bir izleyici (sonunda konuşmak zorunda kalabilecek) için göz izleme ve takip sistemlerine özel ilgi göstermiştir – bunlar, katılım ve onay göstergesi olarak bir türdür.

Bunların tümü nispeten yüksek sürtünme içerir. Birçoğu özel donanım, laboratuvar ortamları, özel ve özel olarak yapılan yazılımlar ve pahalı ticari API’lere abonelik gerektirir – veya bu kısıtlayıcı faktörlerin herhangi bir kombinasyonu.

Bu nedenle, son 18 ay içinde video konferans için yalnızca ortak araçlara dayanan minimalist sistemlerin geliştirilmesi ilgi çekmiştir.

Halkın Onayını Gizlice Bildirme

Bu amaçla, Tokyo Üniversitesi ve Carnegie Mellon Üniversitesi arasındaki yeni bir araştırma işbirliği, yalnızca bir web kamerası etkinleştirilmiş web sitesi kullanarak standart video konferans araçlarına (örneğin Zoom) binen yeni bir sistem sunar. Bu şekilde, yerel tarayıcı eklentileri gereksinimi bile ortadan kaldırılır.

Kullanıcının baş sallama ve tahmini göz dikkati, konuşmacıya geri bildirilen temsilcisi verilere dönüştürülür, böylece içeriklerin izleyiciyi ne kadar çekici bulduğunu ‘canlı’ bir asit testi sağlar ve ayrıca konuşmacının izleyici ilgisini kaybedebileceği konuşma noktalarında yaklaşık bir gösterge sağlar.

CalmResponses ile kullanıcı dikkati ve baş sallama, bir havuzda izleyici geri bildirimi olarak dönüştürülür ve konuşmacıya fayda sağlar. Makale sonunda daha fazla ayrıntı ve örnek için gömülü videoyu izleyin. Kaynak: https://www.youtube.com/watch?v=J_PhB4FCzk0

Çok sayıda akademik durumda, chẳng hạn online konferanslar, öğrenciler konuşmacı tarafından tamamen görünmez olabilir, çünkü kameralarını açmaktan dolayı arka plan veya mevcut görünüşleri hakkında kendini bilinçli hissetmiyorlar. CalmResponses, konuşmacının nasıl baktığını ve baş sallayıp sallamadığını bildirmek için, izleyicinin kamerasını etkinleştirmesine gerek kalmadan, bu engeli aşabilir.

Makale CalmResponses: Uzaktan İletişimde Toplu İzleyici Tepkilerini Gösterme olarak adlandırılmıştır ve UoT’den iki araştırmacı ile Carnegie Mellon’dan bir araştırmacı arasında ortak bir çalışmadır.

Araştırmacılar, canlı bir web tabanlı demo sunuyor ve kaynak kodunu GitHub’da yayınladılar.

CalmResponses Çerçevesi

CalmResponses’in, diğer olası baş duruşlarına karşı, baş sallamaya olan ilgisinin, dinleyicilerin %80’den fazlasının baş hareketlerinin Darwin dönemine kadar uzanan araştırmalarla baş sallamadan oluştuğunu gösteren araştırmalara dayandığını belirtmektedir (bunlar anlaşmazlık ifade ediyor olsa bile). Aynı zamanda, göz hareketleri birçok çalışmada ilgi veya katılımın güvenilir bir göstergesi olarak gösterilmiştir.

CalmResponses, HTML, CSS ve JavaScript ile uygulanmıştır ve üç alt sistemden oluşur: izleyici istemcisi, konuşmacı istemcisi ve sunucu. İzleyici istemcisi, kullanıcının web kamerasından göz dikkati veya baş hareketi verilerini WebSockets aracılığıyla bulut uygulaması platformu Heroku’ya iletir.

CalmResponses altında izleyici baş sallama hareketi sağ tarafta animasyonlu bir hareket olarak görselleştirilir. Bu durumda hareket görselleştirilmesi yalnızca konuşmacıya değil, tüm izleyiciye de mevcut olur. Kaynak: https://arxiv.org/pdf/2204.02308.pdf

Proje için göz izleme bölümü, bir web sitesinden doğrudan düşük gecikme ile çalışabilen hafif, JavaScript tabanlı bir tarayıcı tabanlı göz izleme çerçevesi olan WebGazer kullanılarak gerçekleştirilmiştir.

İhtiyaç duyulan basit uygulama ve yaklaşık toplu tepki tanımı, yüksek doğrulukta bakış ve duruş tahmini ihtiyacını aşar, bu nedenle girdi duruş verisi, genel tepki tahmini için dikkate alınmadan önce ortalama değerlere göre düzeltilir.

Baş sallama eylemi, yüzlerdeki tespit edilen yüzleri görüntülere veya videolara uygun yüz modelleri oluşturan clmtrackr adlı JavaScript kütüphanesi ile değerlendirilir. Ekonomi ve düşük gecikme amacıyla, yalnızca burun için aktif olarak izlenen algılanan landmark, konuşmacıların baş sallama eylemlerini izlemek için yeterli olduğundan, yalnızca burun için aktif olarak izlenen algılanan landmark kullanılır.

Kullanıcının burnunun hareketi, baş sallama ile ilgili izleyici tepkisi havuzuna katkıda bulunan bir iz oluşturur ve tüm katılımcılara agregasyonlu bir şekilde görselleştirilir.

Isı Haritası

Baş sallama hareketi, dinamik olarak hareket eden noktalarla temsil edilir (yukarıdaki resim ve videoyu görün), görsel dikkat ise paylaşılan sunum ekranı veya video konferans ortamında genel dikkat odağının odaklandığı yeri gösteren bir ısı haritası olarak raporlanır.

Tüm katılımcılar nerede odaklandıklarını görebilir. Makale, bu işlevin diğer katılımcıları ‘galeri’ olarak görebildikleri durumlarda mevcut olup olmadığını belirtmez, bu da çeşitli nedenlerle belirli bir katılımcıya sahte odaklanma ortaya çıkarmaya neden olabilir.

Testler

CalmResponses için iki test ortamı oluşturuldu: bir tür örtük azaltma çalışması, üç farklı durum kümesiyle: ‘Koşul B’ (başlangıç), yazarlar tipik bir online öğrenci konferansını yeniden oluşturdu, burada většina öğrenciler kameralarını açmadı ve konuşmacı izleyici yüzlerini göremez; ‘Koşul CR-E’, konuşmacı göz geri bildirimi (ısı haritaları) görebilirdi; ‘Koşul CR-N’, konuşmacı hem göz hem de baş hareketi geri bildirimi görebilirdi.

İlk deneysel senaryo, koşul B ve koşul CR-E’yi içeriyordu; ikinci senaryo koşul B ve koşul CR-N’yi içeriyordu. Geri bildirim, hem konuşmacıdan hem de izleyiciden alındı.

Her deneyde üç faktör değerlendirildi: sunumun (konuşmacının sunum hakkında hissettiklerine ilişkin kendi kendine raporlanan anketi de içeren) nesnel ve öznel değerlendirmesi; ‘doldurma’ konuşması olaylarının sayısı, anlık güvensizlik ve tereddütü gösteren; ve nitel yorumlar. Bu kriterler sık konuşmacı kalitesi ve konuşmacı kaygısı tahminleyicisidir.

Test havuzu, 19-44 yaş arasındaki 38 kişiden oluşuyordu, bunlar 29 erkek ve 9 kadındı ve ortalama yaşları 24.7 idi, hepsi Japon veya Çinli ve hepsi Japonca bilen kişilerdi. Rastgele beş ila yedi kişilik beş gruba bölündüler ve hiçbir konu birbirini persönlich olarak tanımıyordu.

Testler Zoom’da yapıldı, ilk deneyde beş konuşmacı sunum yaptı ve ikinci deneyde altı konuşmacı sunum yaptı.

Doldurma koşulları turuncu kutular olarak işaretlenmiştir. Genel olarak, doldurma içeriği sistemden artan izleyici geri bildirimi ile makul bir oranda düştü.

Araştırmacılar, bir konuşmacının doldurma içeriğinin önemli ölçüde azaldığını ve ‘Koşul CR-N’ durumunda konuşmacının nadiren doldurma cümleleri söylediğini belirtiyorlar. Ayrıntılı ve granüler sonuçlar için makaleye bakınız; ancak en belirgin sonuçlar, konuşmacılar ve izleyici katılımcılarından alınan öznel değerlendirmelerde görüldü.

İzleyiciden gelen yorumlar şunları içeriyordu:

‘Sünme katıldığım hissettim’ [AN2], ‘Konuşmacıların konuşmalarının gelişip gelişmediğinden emin değilim, ancak diğerlerinin baş hareketi görselleştirmesinden bir tür birlik hissettim.’ [AN6]

‘Konuşmacıların konuşmalarının gelişip gelişmediğinden emin değilim, ancak diğerlerinin baş hareketi görselleştirmesinden bir tür birlik hissettim.’

Araştırmacılar, sistem konuşmacının sunumuna yeni bir tür yapay mola getirdiğini, konuşmacının ilerlemeye başlamadan önce izleyici geri bildirimi değerlendirmek için visual sistemine başvurmaya eğilimli olduğunu belirtiyorlar.

Araştırmacılar ayrıca, bazı katılımcıların biyometrik verilerin olası güvenlik etkileri nedeniyle kısıtlandığını hissetmelerine neden olan bir ‘beyaz önlük etkisi’ olduğunu, deneysel koşullarda kaçınılmaz olduğunu belirtiyorlar.

SONUÇ

Bu tür bir sistemin önemli bir avantajı, tüm standart dışı ek teknolojilerin, kullanımları bittikten sonra tamamen ortadan kalkmasıdır. Kalan tarayıcı eklentileri yoktur, katılımcıların bunları sistemlerinde bırakıp bırakmamaları konusunda şüphelere neden olmaz ve yerel yazılımların yüklenmesi veya tarayıcı tabanlı eklentiler ve uzantılar için yeterli izinlere sahip olmamaları olasılığına yol açmaz.

Değerlendirilen yüz ve göz hareketleri, yerel makine öğrenimi çerçeveleri (örneğin, YOLO serisi) kullanıldığında olabilecek kadar kesin olmayabilir, ancak bu neredeyse sürtünmesiz yaklaşım, tipik video konferans senaryolarında geniş sentiment ve tutum analizi için yeterli doğruluk sağlar. Her şeyden önce, çok ucuzdur.

Detaylar ve örnekler için aşağıdaki ilgili proje videosunu izleyin.

İlk olarak 11 Nisan 2022’de yayımlanmıştır.