AI Membantu Pembicara yang Gugup untuk ‘Membaca Ruangan’ Selama Video Konferensi

Pada tahun 2013, sebuah survei tentang fobia umum menentukan bahwa prospek berbicara di depan umum lebih buruk daripada prospek kematian bagi sebagian besar responden. Sindrom ini dikenal sebagai glossophobia.

Migrasi yang dipicu oleh COVID dari pertemuan ‘tatap muka’ ke konferensi zoom online di platform seperti Zoom dan Google Spaces, secara mengejutkan, tidak memperbaiki situasi. Di mana pertemuan tersebut melibatkan sejumlah besar peserta, kemampuan penilaian ancaman alami kita terganggu oleh baris dan ikon peserta dengan resolusi rendah, serta kesulitan dalam membaca sinyal visual halus dari ekspresi wajah dan bahasa tubuh. Skype, misalnya, telah terbukti menjadi platform yang buruk untuk menyampaikan petunjuk non-verbal.

Dampak kinerja berbicara di depan umum terhadap minat dan respons yang dirasakan telah didokumentasikan dengan baik sekarang, dan secara intuitif jelas bagi sebagian besar dari kita. Respon audiens yang tidak jelas dapat menyebabkan pembicara ragu-ragu dan kembali ke ucapan pengisi, tidak menyadari apakah argumen mereka bertemu dengan persetujuan, kebencian atau ketidakpedulian, sering membuat pengalaman yang tidak nyaman bagi baik pembicara maupun pendengarnya.

Di bawah tekanan dari pergeseran yang tidak terduga menuju video konferensi online yang dipicu oleh pembatasan dan tindakan pencegahan COVID, masalahnya secara argumentatif semakin parah, dan sejumlah skema umpan balik audiens yang memperbaiki telah diajukan dalam komunitas penelitian visi komputer dan afek selama beberapa tahun terakhir.

Solusi Berfokus pada Perangkat Keras

Sebagian besar dari ini, bagaimanapun, melibatkan peralatan tambahan atau perangkat lunak yang kompleks yang dapat menimbulkan masalah privasi atau logistik – pendekatan yang relatif mahal atau terbatas pada sumber daya yang mendahului pandemi. Pada tahun 2001, MIT mengusulkan Galvactivator, sebuah perangkat yang dikenakan di tangan yang menginferensi keadaan emosional peserta audiens, diuji selama simposium sehari penuh.

Dari 2001, MIT’s Galvactivator, yang mengukur respons konduktivitas kulit dalam upaya untuk memahami sentimen dan keterlibatan audiens. Sumber: https://dam-prod.media.mit.edu/x/files/pub/tech-reports/TR-542.pdf

Banyak energi akademis juga telah dikhususkan untuk kemungkinan penerapan ‘clickers’ sebagai Sistem Respon Audiens (ARS), sebuah ukuran untuk meningkatkan partisipasi aktif oleh audiens (yang secara otomatis meningkatkan keterlibatan, karena itu memaksa pemirsa ke dalam peran node umpan balik aktif), tetapi yang juga telah dianggap sebagai sarana untuk mendorong pembicara.

Upaya lain untuk ‘menghubungkan’ pembicara dan audiens telah termasuk pemantauan denyut nadi, penggunaan peralatan yang dikenakan di tubuh yang kompleks untuk memanfaatkan elektroensefalografi, ‘pengukur sorak’, pengenalan emosi berbasis komputer-vision untuk pekerja meja, dan penggunaan emotikon yang dikirim oleh audiens selama orasi pembicara.

Dari 2017, EngageMeter, sebuah proyek penelitian akademis bersama dari LMU Munich dan University of Stuttgart. Sumber: http://www.mariamhassib.net/pubs/hassib2017CHI_3/hassib2017CHI_3.pdf

Sebagai sub-pursuit dari area yang menguntungkan dari analitik audiens, sektor swasta telah mengambil minat khusus dalam estimasi dan pelacakan pandangan – sistem di mana setiap anggota audiens (yang mungkin pada gilirannya harus berbicara), tunduk pada pelacakan okular sebagai indeks keterlibatan dan persetujuan.

Semua metode ini cukup memiliki friksi tinggi. Banyak dari mereka memerlukan peralatan khusus, lingkungan laboratorium, perangkat lunak khusus, dan langganan API komersial yang mahal – atau kombinasi dari faktor-faktor pembatas ini.

Oleh karena itu, pengembangan sistem minimalistik yang berbasis pada alat umum untuk video konferensi telah menjadi perhatian selama 18 bulan terakhir.

Melaporkan Persetujuan Audiens dengan Tidak Kentara

Untuk tujuan ini, sebuah kolaborasi penelitian baru antara Universitas Tokyo dan Universitas Carnegie Mellon menawarkan sebuah sistem yang dapat memanfaatkan alat video konferensi standar (seperti Zoom) menggunakan hanya situs web yang diaktifkan webcam di mana perangkat lunak estimasi pose dan pandangan ringan berjalan. Dengan cara ini, bahkan kebutuhan untuk plugin browser lokal dihindari.

Anggukan dan perhatian mata pengguna diterjemahkan menjadi data yang diwakili yang divisualisasikan kembali ke pembicara, memungkinkan ‘tes litmus’ langsung tentang seberapa besar konten tersebut menarik perhatian audiens – dan juga setidaknya sebuah indikator samar tentang periode wacana di mana pembicara mungkin kehilangan minat audiens.

Dengan CalmResponses, perhatian pengguna dan anggukan ditambahkan ke dalam kolam umpan balik audiens dan diterjemahkan menjadi representasi visual yang dapat menguntungkan pembicara. Sumber: https://www.youtube.com/watch?v=J_PhB4FCzk0

Di banyak situasi akademis, seperti kuliah online, mahasiswa mungkin tidak terlihat oleh pembicara, karena mereka tidak mengaktifkan kamera mereka karena kesadaran diri tentang latar belakang atau penampilan mereka saat ini. CalmResponses dapat menangani hambatan yang sulit ini dengan melaporkan apa yang diketahui tentang bagaimana pembicara sedang melihat konten, dan jika mereka mengangguk, tanpa kebutuhan bagi pemirsa untuk mengaktifkan kamera mereka.

Makalah ini berjudul CalmResponses: Menampilkan Reaksi Audiens Kollektif dalam Komunikasi Jarak Jauh, dan merupakan karya bersama antara dua peneliti dari UoT dan satu dari Carnegie Mellon.

Penulis menawarkan demo web langsung, dan telah merilis kode sumber di GitHub.

Kerangka CalmResponses

Minat CalmResponses dalam anggukan, sebagai lawan dari disposisi kepala lainnya, didasarkan pada penelitian (sebagian dari itu berasal zaman Darwin) yang menunjukkan bahwa lebih dari 80% dari semua gerakan kepala pendengar terdiri dari anggukan (bahkan ketika mereka mengekspresikan ketidaksetujuan). Pada saat yang sama, gerakan mata telah terbukti melalui berbagai studi untuk menjadi indeks yang dapat diandalkan dari minat atau keterlibatan.

CalmResponses diimplementasikan dengan HTML, CSS, dan JavaScript, dan terdiri dari tiga subsistem: klien audiens, klien pembicara, dan server. Klien audiens mengirimkan data gaze mata atau gerakan kepala dari webcam pengguna melalui WebSockets ke platform aplikasi cloud Heroku.

Anggukan audiens divisualisasikan di sebelah kanan dalam gerakan animasi di bawah CalmResponses. Sumber: https://arxiv.org/pdf/2204.02308.pdf

Untuk bagian pelacakan mata proyek ini, peneliti menggunakan WebGazer, sebuah kerangka kerja pelacakan mata berbasis JavaScript yang ringan yang dapat berjalan dengan latensi rendah langsung dari sebuah situs web (lihat tautan di atas untuk implementasi web-based peneliti).

Karena kebutuhan akan implementasi sederhana dan pengenalan respons agregat kasar lebih besar daripada kebutuhan akan akurasi tinggi dalam estimasi pose dan gaze, data pose input dihaluskan menurut nilai rata-rata sebelum dipertimbangkan untuk estimasi respons keseluruhan.

Aksi anggukan dievaluasi melalui perpustakaan JavaScript clmtrackr, yang memasang model wajah ke wajah yang terdeteksi dalam gambar atau video melalui pergeseran rata-rata titik referensi yang teratur. Untuk tujuan ekonomi dan latensi rendah, hanya landmark yang terdeteksi untuk hidung yang secara aktif dipantau dalam implementasi penulis, karena ini cukup untuk melacak aksi anggukan.

Gerakan ujung hidung pengguna menciptakan jejak yang berkontribusi pada kolam respons audiens terkait dengan anggukan.

Peta Panas

Sementara aktivitas anggukan direpresentasikan oleh titik-titik dinamis yang bergerak (lihat gambar di atas dan video di akhir), perhatian visual dilaporkan dalam bentuk peta panas yang menunjukkan kepada pembicara dan audiens di mana fokus perhatian umum terletak pada layar presentasi atau lingkungan video konferensi yang dibagikan.

Semua peserta dapat melihat di mana perhatian umum terfokus.

Uji Coba

Dua lingkungan uji dibentuk untuk CalmResponses dalam bentuk studi ablasio implisit, menggunakan tiga set keadaan yang bervariasi: dalam ‘Kondisi B’ (baseline), penulis mereplikasi kuliah online yang khas, di mana sebagian besar mahasiswa mematikan kamera mereka, dan pembicara tidak memiliki kemampuan untuk melihat wajah audiens; dalam ‘Kondisi CR-E’, pembicara dapat melihat umpan balik gaze (peta panas); dalam ‘Kondisi CR-N’, pembicara dapat melihat baik aktivitas anggukan dan gaze dari audiens.

Senario uji coba pertama terdiri dari kondisi B dan kondisi CR-E; skenario kedua terdiri dari kondisi B dan kondisi CR-N. Umpan balik diperoleh dari baik pembicara maupun audiens.

Dalam setiap eksperimen, tiga faktor dievaluasi: evaluasi objektif dan subjektif dari presentasi (termasuk kuesioner yang dilaporkan sendiri oleh pembicara tentang perasaan mereka tentang bagaimana presentasi berjalan); jumlah kejadian ‘ucapan pengisi’, yang merupakan indikator ketidakpastian dan keraguan sesaat; dan komentar kualitatif. Kriteria ini adalah umum estimator kualitas berbicara dan kecemasan pembicara.

Kolam uji terdiri dari 38 orang berusia 19-44, yang terdiri dari 29 laki-laki dan sembilan perempuan dengan rata-rata usia 24,7, semua orang Jepang atau Cina, dan semua fasih berbahasa Jepang. Mereka secara acak dibagi menjadi lima kelompok 6-7 peserta, dan tidak ada subjek yang mengenal satu sama lain secara pribadi.

Uji coba dilakukan di Zoom, dengan lima pembicara memberikan presentasi dalam eksperimen pertama dan enam dalam eksperimen kedua.

Kondisi pengisi ditandai dengan kotak oranye.

Peneliti mencatat bahwa filler salah satu pembicara berkurang secara signifikan, dan bahwa dalam ‘Kondisi CR-N’, pembicara jarang mengucapkan kalimat pengisi. Lihat makalah untuk hasil yang sangat terperinci dan granular yang dilaporkan; namun, hasil yang paling mencolok adalah dalam evaluasi subjektif dari pembicara dan peserta audiens.

Komentar dari audiens termasuk:

‘Saya merasa saya terlibat dalam presentasi’, ‘Saya tidak yakin pidato pembicara diperbaiki, tetapi saya merasa kesatuan dari visualisasi gerakan kepala orang lain’.

Peneliti mencatat bahwa sistem ini memperkenalkan jenis jeda buatan baru ke dalam presentasi pembicara, karena pembicara cenderung merujuk pada sistem visual untuk menilai umpan balik audiens sebelum melanjutkan.

Mereka juga mencatat adanya ‘efek jaket putih’, yang sulit dihindari dalam keadaan eksperimental, di mana beberapa peserta merasa terbatas oleh implikasi keamanan yang mungkin dari dipantau untuk data biometrik.

Kesimpulan

Salah satu kelebihan yang mencolok dalam sistem seperti ini adalah semua teknologi pendukung non-standar yang diperlukan untuk pendekatan ini sepenuhnya menghilang setelah penggunaannya selesai. Tidak ada plugin browser yang perlu dicopot, atau yang dapat memunculkan keraguan dalam pikiran peserta tentang apakah mereka harus tetap berada di sistem mereka masing-masing; dan tidak ada kebutuhan untuk memandu pengguna melalui proses instalasi (meskipun kerangka web-based ini memerlukan beberapa menit kalibrasi awal oleh pengguna), atau untuk menavigasi kemungkinan pengguna tidak memiliki izin yang cukup untuk menginstal perangkat lunak lokal, termasuk add-on dan ekstensi berbasis browser.

Walaupun estimasi gerakan wajah dan okular yang dievaluasi tidak seakurat yang mungkin dalam keadaan di mana kerangka kerja pembelajaran mesin lokal yang didedikasikan (seperti seri YOLO) mungkin digunakan, pendekatan hampir tanpa gesekan ini untuk evaluasi audiens memberikan akurasi yang cukup untuk analisis sikap dan posisi umum dalam skenario video konferensi yang khas. Di atas semua itu, ini sangat murah.

Periksa video proyek yang terkait di bawah untuk detail lebih lanjut dan contoh.

First published 11th April 2022.