Duyguyu Yazı Tipi ile İfade Etmek ile Yapay Zeka

Metin iletişimi (e-posta, mesajlaşma ve altyazı sistemleri dahil) alanındaki mevcut trendler ve yenilikler, yazılmış ve konuşulan konuşma arasındaki duygusal boşluğu kaba ve yaklaşık bir şekilde müzakere etmek zorundadır.

Örneğin, son birkaç yıl içinde, sosyal medya alev savaşlarında bir provokatif meme olarak alternating caps modası ortaya çıktı, mientras çok sevilmeyen caps lock kullanımı (bazı yorum platformları tarafından izin verilen diğer çarpıcı tipografik efektler gibi) moderatörlerin müdahalesine neden olmaya devam ediyor. Bunlar, yazılı kelimenin niyetini açıklamak için kullanılan monotone ve sadece yaklaşık yöntemlerdir.

Aynı zamanda, emoticon ve emoji’lerin popülerliğinin artması, Natural Language Processing (NLP) araştırma alanını son yıllarda etkin bir şekilde etkilemiştir ve ayrıca canlı GIF’lerin anlamı üzerine ilgi uyandırmıştır. kullanıcılar bunları yorum iğnesinde yayınlar.

Zamanla, yazılı dil, duyguyu vekillendirmeye veya konuşulan kelimenin tonal bilgilerinin yokluğunda onu uyandırmaya çalışan bu ‘ek’ dilbilimsel yöntemlerin yenilikçi bir fonunu geliştirdi.

Genellikle, jedoch, duyguyu yazılı kelimenin bağlamından mümkün olduğunca iyi bir şekilde.render etmek zorundayız. Örneğin, exclamation ‘Oh, Oh, Oh!’, Lady Macbeth’in delice gece soliloquysinin sonunda, tonun anlamı üzerinde nasıl etkili olabileceğinin bir örnek olabilir.

Çoğu uyarlama, bu acılı ağıt 2-6 saniye sürer; Trevor Nunn’un 1976 Royal Shakespeare Company prodüksiyonunda Macbeth, Judi Dench bu satırı 24.45 saniye boyunca okudu, bu rolün yorumunda belki de eşsiz bir rekor.

(YouTube’un kendi otomatik altyazı sistemi bu klipteki Dench’in ululation’ı [MÜZİK] olarak tanımlar)

Prosodi’yi Yazı Tipine Çevirme

Brezilya’dan bir makale, konuşma-modüle yazı tipi sistemi öneriyor, bu sistem potentially böyle bir prosodi ve diğer paralinguistik bileşenleri, altyazılı konuşmaya doğrudan ekleyebilir ve adjectives gibi [Bağıran] ön eklenmesiyle veya diğer ‘düz’ hilelerle kapalı altyazı alt yazı kurallarına yakalanamayan bir duygu boyutu ekleyebilir.

‘Konuşma-modüle yazı tipi için yeni bir model öneriyoruz, burada konuşmadan akustik özellikler metnin görsel görünümünü modüle etmek için kullanılır. Bu, bir cümlenin transkriptinin sadece söylenen kelimeleri temsil etmesini değil, nasıl söylendiğini de temsil etmesini sağlar.’

‘Bununla, prosodi özelliklerinin görsel vekilleri olarak tanınabilecek tipografik parametreleri keşfetmeyi umuyoruz: genlik, pitch ve süre.’

Prosodi’yi yazı tipine çeviren iş akışı. En esnek ve yaygın olarak dağıtabilir sistemi üretme amacında olan yazarlar, temel kaydırma, harf aralığı ve kalınlık ile sınırlı kaldılar, sonuncusu açık tip yazı tipi tarafından sağlandı. Kaynak: https://arxiv.org/pdf/2202.10631.pdf

Makale Hidden bawls, whispers, and yelps: can text be made to sound more than just its words? başlığını taşır ve Brezilya’daki Universidade Estadual de Campinas’tan iki araştırmacı Calua de Lacerda Pataca ve Paula Dornhofer Paro Costa tarafından yazılmıştır.

Kalın Kelimeler

Projenin daha geniş amacı, altyazıda prosodi ve diğer parametreli dil özelliklerini iletmek için sistemler geliştirmek olsa da, yazarlar bu tür bir sistemin sonunda işitme dünyasında daha geniş bir kitleye ulaşabileceğine inanıyorlar.

Bu alanda birçok önceki girişim var, Örneğin 1983 yılında proposed bir proje altyazı sisteminin ‘özel efektler, renk ve büyük harfler [sağır çocuklara reddedilen] zengin tonal bilgileri temsil etmek için’ içerebileceğini önerdi.

Brezilya projesi, diğer yandan, hem otomatik transkript hem de affect tanınmasında yeni gelişmelerden yararlanabiliyor, bu da bir iş akışı sağlar ki bu, konuşma ses bandındaki bileşenleri ithal edebilir ve karakterize edebilir.

Prosodik özellikler çıkarıldıktan ve işlendikten sonra, konuşmanın zaman damgalarına harflerine eşlenerek, kural tabanlı altyazı tipi modülasyonu için kullanılabilen token’lar üretilir (yukarıdaki resme bakın).

Bu sonuç, bir hecenin uzatılması, fısıldanması, vurgulanması veya başka bir şekilde bağlamsal bilgi taşıması ve ham transkriptte kaybolması açısından görsel olarak temsil edebilir.

Projenin test aşamasından, harf aralığının (bir kelimenin içindeki harfler arasındaki boşluk) bir uzatilmiş telaffuzun phản映 edilmesi için genişletildiğini gösteren bir görüntü.

Yazarlar, çalışmalarının doğrudan duygu tanınması ve affect tanınması araştırmalarına katkıda bulunmayı amaçlamadığını, ancak konuşmanın özelliklerini sınıflandırmak ve bunları basit ve sınırlı bir yeni görsel kurallar kümesi ile temsil etmeyi amaçladıklarını belirtiyorlar.

En azından, sistem sağladığı ek vurgu, görme engelli olan veya gürültülü ortamlarda oynatılan sesli içerik nedeniyle sesi duyamayan izleyiciler için eylemin nesnesi açık olmayabilecek cümleleri açıklık kazandırır.

Kendi 2017 örneğimi ödünç almam, makine öğrenimi sistemlerinin de cümlenin nesnesi ve eylemi nerede olduğunu anlamakta zorlandığını göstermek için, vurgunun bir cümlenin anlamını nasıl radikal bir şekilde değiştirebileceğini görmek kolaydır:

Ben o şeyi çalmadım. (Bir başkası onu çaldı)
Ben o şeyi çalmadım, (Ben onun çaldığını iddia ediyorum)
Ben çalmadım o şeyi. (Onu çalma, benim için geçerli değil)
Ben o şeyi çalmadım. (Ama bir başkasını çaldım)

Potansiyel olarak, Brezilya yazarlarının önerdiği gibi bir mekanik prosodi > yazı tipi iş akışı, affect hesaplama araştırmaları için veri setlerinin geliştirilmesinde de faydalı olabilir, çünkü önceden çıkarılmış paralinguistik boyutları içeren salt metin tabanlı verileri işler.

Elastik Yazı Tipi

Araştırmacılar tarafından geliştirilen çerçeve, temel kaydırma, harf aralığı ve yazı tipi ağırlığında (kalınlık) varyasyon sunar.

Bu üç stil, konuşmadan çıkarılan ve projenin sınırlı olduğu özelliklere eşlenir: sırasıyla pitch, süre ve genlik.

Bir cümlenin stillendirilmesi. #1’de, çıkarılma işleminde tanımlanan hece sınırlarını görüyoruz. #2’de, her birini tek başına uygulanan üç modülasyonun (genlik/ağırlık, harf aralığı/süre ve pitch/temel kaydırma) bir temsilini görüyoruz. #3’te, 117 katılımcıya sunulan nihai çıktı olarak birleştirilmiş tipografik modülasyonları görüyoruz.

Tek bir yazı tipi varyasyonlar için ek bir font gerektirebileceğinden, araştırmacılar bir Google uygulamasını kullandılar. açık tip yazı tipi Inter, granüler bir ağırlık aralığını tek bir fontta entegre eder.

Makaleden, Inter yazı tipinden bir OpenType glifinin, minimal temel spline iskeleti boyunca bir dizi kalın vurguları ifade etme derecesini gösteren bir grafik.

Test

Harf aralığı ve temel kaydırma ifadesi, bir tarayıcı eklentisine entegre edildi ve 117 işitme yeteneğine sahip katılımcı üzerinde testler yapıldı.

Testler için veri kümesi, projenin incelemekte olduğu üç özelliğe karşılık gelen farklı bir vurguyla birkaç kez okunmuş şiirleri okuyan bir aktör tarafından oluşturuldu. Şiir, doğal olmayan olmadan çeşitli vurgulara (şairin niyetinin ötesinde) izin verdiği için seçildi.

Katılımcılar iki gruba ayrıldı. İlk grup, aktörün bir dizenin okunmasına 15 tur eşlik eden, senkronize edilmiş, animasyonlu ve modüle edilmiş metin ile sunuldu, bu metin ses klipline zamanla açıldı.

İkinci grup, aynı görev setini aldı, ancak modüle edilmiş metnin statik görüntüleri verildi, bunlar ses klibinin oynatılması sırasında değişmedi.

Doğru cevapların ortalama oranı, statik görüntü grubunda %67, animasyonlu metin grubunda %63’tü. Araştırmacılar tarafından denemelerin ardından alınan katılımcı yorumları, dinamik yorumun bilişsel yükünün daha düşük puanlara katkıda bulunabileceği teorisini onayladı. Ancak, böyle bir çerçeveyi amaçlayan altyazı ve mesaj sistemleri genellikle önceden tamamlanmış metin sağlar.

Katılımcı yorumları ayrıca, harf aralığının süreyi göstermek için kullanılmasındaki sınırlara işaret etti, bir yorumcu, harflerin çok uzakta olduğunda bir kelimenin bireyselleştirilmesinin zor olduğunu belirtti.

Araştırmacılar ayrıca şunları belirtiyorlar:

‘[Bazı] katılımcılar, modelin konuşmanın daha nüanslı ve karmaşık temsillerini içerebilmelidir, bu da daha çeşitli ve ifade edici bir görsel sözlükle olmalıdır. Bu, basit bir görev olmasa da, konuşma-modüle yazı tipi uygulamalarının bu yeni alan geliştikçe nasıl dallanabileceğini hayal etmek cesaret verici.’

İlk olarak 24 Şubat 2022’de yayınlandı.