Mengungkapkan Emosi Melalui Tipografi Dengan AI

Tren dan inovasi saat ini dalam komunikasi teks (termasuk email, pesan, dan sistem caption) harus menegosiasikan jurang afektif antara ucapan tertulis dan lisan dengan cara yang kasar dan aproksimatif.

Sebagai contoh, beberapa tahun terakhir telah membawa alternating caps menjadi mode sebagai meme provokatif dalam perang api di media sosial, sementara penggunaan caps lock yang sangat dibenci (serta efek tipografi yang kasar dan jarring yang diizinkan oleh beberapa platform komentar) terus memicu intervensi dari moderator. Ini adalah metode yang monoton dan hanya secara umum mewakili niat dari kata-kata yang tertulis.

Pada saat yang sama, pertumbuhan popularitas emotikon dan emoji, sebagai konveyor sentimen tekstual/visual hibrida, telah aktif terlibat sektor penelitian Natural Language Processing (NLP) dalam beberapa tahun terakhir, bersama dengan minat pada makna dari animated GIF yang diposting oleh pengguna di thread komentar.

Secara bertahap, bahasa tertulis telah berkembang menjadi dana inovatif dari metode linguistik ‘additif’ ini, yang berusaha untuk memroksi emosi atau membangkitkannya dalam ketiadaan informasi tonal dalam ucapan.

Biasanya, bagaimanapun, kita perlu mengartikan emosi sebaik mungkin dari konteks kata-kata yang tertulis. Pertimbangkan, misalnya, eksklamasi ‘Oh, Oh, Oh!’, pada akhir soliloqui malam Lady Macbeth yang gila, yang secara argumentatif merupakan studi kasus tentang seberapa jauh intonasi dapat mempengaruhi makna.

Dalam sebagian besar adaptasi, ratapan ini berlangsung 2-6 detik; dalam produksi Royal Shakespeare Company 1976 Trevor Nunn dari Macbeth, Judi Dench membawa pembacaan baris ini ke rekor yang tidak tertantang selama 24,45 detik, dalam interpretasi landmark dari peran tersebut.

(Sistem auto-captioning YouTube untuk klip ini menggambarkan ululasi Dench sebagai [MUSIK])

Menerjemahkan Prosodi ke Tipografi

Makalah baru dari Brasil mengusulkan sistem tipografi yang dimodulasi oleh ucapan yang dapat menggabungkan prosodi dan komponen paralinguistik lainnya langsung ke dalam teks yang dicaption, menambahkan dimensi emosi yang tidak tertangkap dengan baik oleh awalan adjectiva seperti [Berseru], atau trik ‘datar’ lainnya yang tersedia untuk konvensi subtitling tertutup.

‘Kami mengusulkan model novel dari Tipografi yang Dimodulasi oleh Ucapan, di mana fitur akustik dari ucapan digunakan untuk memodulasi penampilan visual teks. Ini dapat memungkinkan transkripsi dari suatu ucapan untuk tidak hanya mewakili kata-kata yang diucapkan, tetapi bagaimana mereka diucapkan.

‘Dengan ini, kami berharap untuk menemukan parameter tipografi yang dapat umum dikenali sebagai proksi visual untuk fitur prosodik dari amplitudo, pitch, dan durasi.’

Alur kerja yang menerjemahkan prosodi ke dalam gaya tipografi. Berusaha untuk menghasilkan sistem yang paling serbaguna dan dapat diterapkan secara luas, penulis membatasi diri pada pergeseran baseline, kerning, dan keberanian, yang terakhir disediakan oleh keluwesan font OpenType. Sumber: https://arxiv.org/pdf/2202.10631.pdf

Makalah ini berjudul Hidden bawls, whispers, and yelps: can text be made to sound more than just its words?, dan berasal dari Calua de Lacerda Pataca dan Paula Dornhofer Paro Costa, dua peneliti di Universidade Estadual de Campinas di Brasil.

Kata Tebal

Meskipun tujuan yang lebih luas dari proyek ini adalah untuk mengembangkan sistem yang dapat mengungkapkan prosodi dan fitur bahasa parametri lainnya dalam caption, penulis juga percaya bahwa sistem semacam ini dapat berkembang menjadi audiens yang lebih luas di dunia yang dapat mendengar.

Ada banyak inisiatif sebelumnya dalam ruang ini, termasuk proyek 1983 yang mengusulkan sistem caption yang mungkin termasuk ‘efek khusus, warna, dan huruf besar [untuk] mewakili informasi tonal yang kaya yang ditolak anak-anak tuli[.]’.

Sebaliknya, proyek Brasil ini dapat memanfaatkan transkripsi otomatis dan perkembangan baru dalam pengenalan afek, yang digabungkan untuk memungkinkan alur kerja yang dapat mengimpor dan mengkarakterisasi komponen dalam soundtrack ucapan.

Setelah fitur prosodik diekstrak dan diproses, mereka dipetakan ke waktu dari kata-kata dalam ucapan, menghasilkan token yang dapat digunakan untuk menerapkan modulasi aturan dari tipografi caption (lihat gambar di atas).

Hasil ini dapat secara visual mewakili seberapa jauh suatu suku kata mungkin diperpanjang, dibisikkan, ditekankan, atau memegang informasi kontekstual yang akan hilang dalam transkripsi mentah.

Dari fase uji coba proyek, perhatikan cara kerning (spasi antara huruf dalam sebuah kata) telah diperlebar untuk mencerminkan pengucapan yang diperpanjang.

Penulis menjelaskan bahwa pekerjaan mereka tidak dimaksudkan untuk memberikan kontribusi langsung pada penelitian pengenalan emosi dan pengenalan afek, tetapi mencari untuk mengklasifikasikan fitur ucapan dan mewakilinya dengan rangkaian visual konvensi yang sederhana dan terbatas.

Setidaknya, penekanan tambahan yang disediakan oleh sistem ini membedakan kalimat di mana objek tindakan mungkin tidak jelas bagi penonton yang tidak dapat mendengar suara (baik karena disabilitas atau keadaan pemutaran, seperti lingkungan yang berisik).

Untuk meminjam contoh saya sendiri dari 2017, yang melihat cara sistem pembelajaran mesin dapat juga memiliki kesulitan dalam memahami di mana objek dan tindakan berada dalam sebuah kalimat, mudah untuk melihat seberapa jauh penekanan dapat secara radikal mengubah makna dari bahkan kalimat sederhana:

Saya tidak mencuri itu. (Seseorang lain mencuri itu)
Saya tidak mencuri itu, (Saya menyangkal tuduhan bahwa saya mencuri itu)
Saya tidak mencuri itu. (Saya memiliki itu, pencurian tidak berlaku)
Saya tidak mencuri itu. (Tapi saya mencuri sesuatu yang lain)

Potensial, alur kerja prosodi>tipografi mekanis seperti yang disarankan oleh penulis Brasil juga dapat berguna sebagai bantuan dalam pengembangan dataset untuk penelitian komputasi afek, karena memfasilitasi pemrosesan data teks murni yang masih mengandung beberapa dimensi paralinguistik yang telah diinferensi sebelumnya.

Selain itu, peneliti mencatat, payload linguistik tambahan dari teks yang sadar prosodi dapat berguna dalam berbagai tugas berbasis NLP, termasuk evaluasi kepuasan pelanggan, dan untuk inferensi depresi dari konten teks.

Tipografi Elastis

Kerangka yang dikembangkan oleh peneliti menawarkan variasi dalam pergeseran baseline, di mana sebuah huruf dapat lebih tinggi atau lebih rendah relatif terhadap ‘baseline’ di mana kalimat beristirahat; kerning, di mana spasi antara huruf dalam sebuah kata dapat diperkecil atau diperlebar; dan font-weight (keberanian).

Ketiga gaya ini dipetakan ke fitur ucapan yang diekstrak, yang proyek ini telah batasi diri: masing-masing, pitch, durasi, dan magnitude.

Perkembangan gaya pada sebuah kalimat. Di #1, kita melihat batas suku kata yang telah didefinisikan dalam proses ekstraksi. Di #2, kita melihat representasi dari masing-masing tiga modulasi (magnitude|weight, kerning|durasi, dan pitch|pergeseran baseline), diterapkan secara tunggal. Di #3, kita melihat modulasi tipografi gabungan dalam output akhir, seperti yang disajikan kepada 117 peserta dalam uji coba sistem.

Karena satu jenis huruf dapat memerlukan font tambahan dan terpisah untuk variasi seperti tebal dan miring, peneliti menggunakan implementasi Google Inter dari font OpenType, yang mengintegrasikan rentang bobot yang halus ke dalam satu font.

Dari makalah, grafik yang menjelaskan seberapa jauh glif OpenType dari font Inter dapat mengekspresikan rentang penekanan tebal sepanjang skelton spline minimal.

Pengujian

Ekspresi kerning dan pergeseran baseline dimasukkan ke dalam plugin browser, yang memungkinkan uji coba dilakukan pada 117 peserta yang dapat mendengar.

Dataset untuk uji coba ini dibuat khusus untuk proyek, dengan merekrut seorang aktor yang membaca serangkaian puisi beberapa kali dengan penekanan yang berbeda pada setiap take, sesuai dengan tiga fitur yang dipelajari oleh proyek ini. Puisi dipilih karena memungkinkan rentang penekanan (bahkan di luar niat penyair) tanpa terdengar tidak alami.

Peserta dibagi menjadi dua kelompok. Kelompok pertama diberikan 15 putaran dari pembacaan aktor dari sebuah stanza yang disinkronkan dengan teks yang dimodulasi dan beranimasi, yang terbuka seiring dengan klip audio.

Kelompok kedua menerima tugas yang sama, tetapi disajikan dengan gambar statis dari teks yang dimodulasi, yang tidak berubah selama pemutaran klip audio.

Rata-rata tingkat jawaban yang benar adalah 67% untuk kelompok gambar statis, dan 63% untuk kelompok teks yang beranimasi. Komentar peserta yang diminta oleh peneliti setelah uji coba mengkonfirmasi teori mereka bahwa beban kognitif dari interpretasi dinamis mungkin telah menyumbang skor yang lebih rendah untuk uji coba non-statis. Namun, jenis sistem caption dan pesan yang kerangka seperti ini akan dimaksudkan untuk menyediakan teks yang selesai sebelumnya secara default.

Komentar peserta juga menunjukkan bahwa ada batasan keras untuk penggunaan kerning untuk menunjukkan durasi, dengan salah satu komentator mencatat bahwa ketika huruf dipisahkan terlalu jauh, menjadi sulit untuk membedakan sebuah kata.

Peneliti juga mencatat:

‘[Beberapa] peserta merasa model harus dapat memuat representasi yang lebih nuansa dan kompleks dari ucapan, yang harus dilakukan dengan kosakata visual yang lebih bervariasi dan ekspresif. Meskipun ini bukan tugas yang sederhana, namun cukup menggembirakan untuk membayangkan bagaimana aplikasi yang berbeda dari tipografi yang dimodulasi oleh ucapan dapat berkembang ketika bidang baru ini berkembang.’

Dipublikasikan pertama kali pada 24 Februari 2022.