Anderson’un Açısı
Yapay zekâ ile tipografi aracılığıyla duygu ifade etmek

Öne çıkan noktalarKonuşma modülasyonlu tipografi, perde süresini ve ses yüksekliğini taban çizgisi…
Daha fazla göster
- Konuşma modülasyonlu tipografi, perde süresini ve ses yüksekliğini taban çizgisi kayması, harf aralığı ve yazı tipi kalınlığı üzerine eşler.
- Dinamik altyazılar, hareketli okuma izleyiciler için bilişsel yük eklediğinden statik olanlardan daha kötü puan aldı.
- Statik modülasyonlu metin, bilişsel yük nedeniyle hareketli metne karşı %63'e kıyasla %67 doğru puan aldı.
Metin iletişimi (e-posta, mesajlaşma ve altyazı sistemleri dahil) alanındaki mevcut trendler ve yenilikler, yazılmış ve konuşulan konuşma arasındaki duygusal boşluğu kaba ve yaklaşık bir şekilde müzakere etmek zorundadır.
Örneğin, son birkaç yıl içinde, sosyal medya alev savaşlarında kışkırtıcı bir internet memi olarak büyük ve küçük harfleri dönüşümlü kullanma modası ortaya çıktı, oysa çok sevilmeyen büyük harf kilidi kullanımı (bazı yorum platformları tarafından izin verilen diğer çarpıcı tipografik efektler gibi) moderatörlerin müdahalesine neden olmaya devam ediyor. Bunlar, yazılı kelimenin niyetini açıklamak için kullanılan tekdüze ve sadece yaklaşık yöntemlerdir.
Aynı zamanda, emoticon ve emoji’lerin popülerliğinin artması, Doğal Dil İşleme (NLP) araştırma alanını son yıllarda etkin bir şekilde etkilemiştir ve ayrıca animasyonlu GIF’lerin anlamı üzerine ilgi uyandırmıştır. Kullanıcılar bunları yorum dizilerinde paylaşır.
Zamanla, yazılı dil, duyguyu vekillendirmeye veya konuşulan kelimenin tonal bilgilerinin yokluğunda onu uyandırmaya çalışan bu ‘ek’ dilbilimsel yöntemlerin yenilikçi bir fonunu geliştirdi.
Genellikle ise duyguyu yazılı sözcüklerin bağlamından elimizden geldiğince çıkarmak zorundayız. Örneğin, ünlemini ‘Oh, Oh, Oh!’, Lady Macbeth’in deliliğe sürüklendiği gece monoloğunun sonunda yer alır ve tonun anlamı ne ölçüde etkileyebileceğine örnek oluşturur.
Çoğu uyarlamada bu acılı ağıt 2-6 saniye sürer; Trevor Nunn’un 1976 Royal Shakespeare Company prodüksiyonunda Macbeth, Judi Dench bu satırı 24.45 saniye boyunca okudu, bu rolün yorumunda belki de eşsiz bir rekor.
(YouTube’un kendi otomatik altyazı sistemi bu klipteki Dench’in feryadını [MÜZİK] olarak tanımlar)
Prosodi’yi Yazı Tipine Çevirme
Brezilya’dan yeni bir makale, konuşmaya göre biçimlendirilen bir tipografi sistemi öneriyor. Bu sistem, prosodi ve diğer dilötesi bileşenleri doğrudan altyazıya aktarabilir. Böylece [Bağırıyor] gibi betimleyici etiketlerin veya alışılmış altyazıların diğer düz yöntemlerinin yeterince yansıtamadığı bir duygu boyutu eklenebilir.
‘Konuşma-modüle yazı tipi için yeni bir model öneriyoruz, burada konuşmadan akustik özellikler metnin görsel görünümünü modüle etmek için kullanılır. Bu, bir cümlenin transkriptinin sadece söylenen kelimeleri temsil etmesini değil, nasıl söylendiğini de temsil etmesini sağlar.’
‘Bununla, prosodi özelliklerinin görsel vekilleri olarak tanınabilecek tipografik parametreleri keşfetmeyi umuyoruz: genlik, ses perdesi ve süre.’

Prosodi’yi yazı tipine çeviren iş akışı. En esnek ve yaygın olarak dağıtabilir sistemi üretme amacında olan yazarlar, taban çizgisi kayması, harf aralığı ve kalınlık ile sınırlı kaldılar, sonuncusu OpenType yazı tiplerinin esnekliğiyle sağlandı. Kaynak: https://arxiv.org/pdf/2202.10631.pdf
Makale makalesi, Hidden bawls, whispers, and yelps: can text be made to sound more than just its words? başlığını taşır ve Brezilya’daki Universidade Estadual de Campinas’tan iki araştırmacı Calua de Lacerda Pataca ve Paula Dornhofer Paro Costa tarafından yazılmıştır.
Kalın Kelimeler
Projenin daha geniş amacı, altyazıda prosodi ve diğer dilötesi özellikleri iletmek için sistemler geliştirmek olsa da, yazarlar bu tür bir sistemin sonunda işitme dünyasında daha geniş bir kitleye ulaşabileceğine inanıyorlar.
Bu alanda birçok önceki girişim var, Örneğin 1983 yılında önerilen bir proje altyazı sisteminin ‘özel efektler, renk ve büyük harfler [sağır çocuklara reddedilen] zengin tonal bilgileri temsil etmek için’ içerebileceğini önerdi.
Brezilya projesi, diğer yandan, hem otomatik transkript hem de duygulanım tanımadaki yeni gelişmelerden yararlanabiliyor, bu da bir iş akışı sağlar ki bu, konuşma ses bandındaki bileşenleri ithal edebilir ve karakterize edebilir.
Prosodik özellikler çıkarıldıktan ve işlendikten sonra, konuşmadaki sözcüklerin zaman damgalarıyla eşleştirilerek, kural tabanlı altyazı tipi modülasyonu için kullanılabilen token’lar üretilir (yukarıdaki resme bakın).
Bu sonuç, bir hecenin uzatılması, fısıldanması, vurgulanması veya başka bir şekilde bağlamsal bilgi taşıması ve ham transkriptte kaybolması açısından görsel olarak temsil edebilir.

Projenin test aşamasından, harf aralığının (bir kelimenin içindeki harfler arasındaki boşluk) bir uzatılmış telaffuzun yansıtılması için genişletildiğini gösteren bir görüntü.
Yazarlar, çalışmalarının doğrudan duygu ve duygulanım tanıma araştırmalarına katkıda bulunmayı amaçlamadığını, ancak konuşmanın özelliklerini sınıflandırmak ve bunları basit ve sınırlı bir yeni görsel kurallar kümesi ile temsil etmeyi amaçladıklarını belirtiyorlar.
En azından, sistemin sağladığı ek vurgu, işitme engeli veya gürültülü ortam gibi oynatma koşulları nedeniyle sesi duyamayan izleyiciler için eylemin nesnesinin belirsiz kaldığı cümlelere açıklık kazandırır.
Kendi 2017 örneğimi ödünç almam, makine öğrenimi sistemlerinin de cümlenin nesnesi ve eylemi nerede olduğunu anlamakta zorlandığını göstermek için, vurgunun bir cümlenin anlamını nasıl radikal bir şekilde değiştirebileceğini görmek kolaydır:
Ben o şeyi çalmadım. (Bir başkası onu çaldı)
Ben o şeyi çalmış değilim. (Onu çaldığım iddiasını reddediyorum)
Ben o şeyi çalmadım. (O zaten benim; hırsızlık söz konusu değil)
Ben o şeyi çalmadım. (Ama başka bir şey çaldım)
Potansiyel olarak, Brezilya yazarlarının önerdiği gibi bir mekanik prosodi > yazı tipi iş akışı, duygulanımsal hesaplama araştırmaları için veri setlerinin geliştirilmesinde de faydalı olabilir, çünkü önceden çıkarılmış paralinguistik boyutları içeren salt metin tabanlı verileri işler.
Araştırmacılar ayrıca, prosodi bilgisi içeren metnin taşıdığı ek dilsel bilginin müşteri memnuniyetini değerlendirme ve metin içeriğinden depresyonu çıkarma gibi çeşitli NLP görevlerinde yararlı olabileceğini belirtiyor.
Esnek Tipografi
Araştırmacıların geliştirdiği çerçeve üç değişikliğe olanak tanır: harfin, cümlenin oturduğu taban çizgisine göre yukarı veya aşağı yerleştirildiği taban çizgisi kayması; sözcükteki harflerin arasındaki boşlukların daraltıldığı veya genişletildiği harf aralığı; ve yazı tipi ağırlığı, yani kalınlık.
Bu üç stil, konuşmadan çıkarılan ve projenin sınırlı olduğu özelliklere eşlenir: sırasıyla ses perdesi, süre ve genlik.

Bir cümlenin stillendirilmesi. #1’de, çıkarılma işleminde tanımlanan hece sınırlarını görüyoruz. #2’de, her birini tek başına uygulanan üç modülasyonun (genlik/ağırlık, harf aralığı/süre ve ses perdesi/taban çizgisi kayması) bir temsilini görüyoruz. #3’te, 117 katılımcıya sunulan nihai çıktı olarak birleştirilmiş tipografik modülasyonları görüyoruz.
Bir yazı ailesi, kalın ve italik gibi çeşitler için ayrı fontlar gerektirebildiğinden araştırmacılar, OpenType yazı tipi Inter için Google’ın bir uygulamasını kullandı. Bu uygulama, ince ayarlanabilir bir kalınlık aralığını tek bir fontta birleştirir.

Makaleden, Inter yazı tipinden bir OpenType glifinin, minimal temel spline iskeleti boyunca bir dizi kalın vurguları ifade etme derecesini gösteren bir grafik.
Test
Harf aralığı ve taban çizgisi kayması ifadesi, bir tarayıcı eklentisine entegre edildi ve 117 işitme yeteneğine sahip katılımcı üzerinde testler yapıldı.
Test veri kümesi projeye özel hazırlandı: ücret karşılığında tutulan bir oyuncu, seçilmiş şiirleri projenin incelediği üç özelliğe karşılık gelecek şekilde her kayıtta farklı bir vurguyla birkaç kez okudu. Şiir, doğal olmayan olmadan çeşitli vurgulara (şairin niyetinin ötesinde) izin verdiği için seçildi.
Katılımcılar iki gruba ayrıldı. İlk gruba, oyuncunun bir kıtayı okuduğu 15 tur sunuldu. Okumaya eşzamanlı, hareketli ve biçimlendirilmiş metin eşlik ediyor, metin ses kaydıyla aynı anda açılıyordu.
İkinci grup, aynı görev setini aldı, ancak modüle edilmiş metnin statik görüntüleri verildi, bunlar ses klibinin oynatılması sırasında değişmedi.
Doğru cevapların ortalama oranı, statik görüntü grubunda rastlantısal olmayan %67, animasyonlu metin grubunda %63’tü. Araştırmacılar tarafından denemelerin ardından alınan katılımcı yorumları, dinamik yorumun bilişsel yükünün hareketli metin testlerindeki daha düşük puanlara katkıda bulunabileceği teorisini onayladı. Ancak, böyle bir çerçeveyi amaçlayan altyazı ve mesaj sistemleri genellikle önceden tamamlanmış metin sağlar.
Katılımcı yorumları ayrıca, harf aralığının süreyi göstermek için kullanılmasındaki sınırlara işaret etti, bir yorumcu, harflerin çok uzakta olduğunda bir sözcüğün ayırt edilmesinin zor olduğunu belirtti.
Araştırmacılar ayrıca şunları belirtiyorlar:
‘[Bazı] katılımcılar, modelin konuşmanın daha nüanslı ve karmaşık temsillerini içerebilmelidir, bu da daha çeşitli ve ifade edici bir görsel sözlükle olmalıdır. Bu, basit bir görev olmasa da, konuşma-modüle yazı tipi uygulamalarının bu yeni alan geliştikçe nasıl dallanabileceğini hayal etmek cesaret verici.’
İlk olarak 24 Şubat 2022’de yayınlandı.












