Tunteiden ilmaisu typografiaan keinotekoisella älyllä

Nykyiset trendit ja innovaatiot tekstiviestinnässä (mukaan lukien sähköposti, viestintä ja tekstitys) joutuvat neuvottelemaan affektiivisen kuilun kirjoitetun ja puhutun puheen välillä karkeasti ja approksimatiivisesti.

Esimerkiksi viime vuosina on tullut muotiin vaihtelevat kirjaimet provokaationa somessa, kun taas vihamielinen käyttö isoja kirjaimia (sekä muita typografisia vaikutuksia, joita joitain kommentointialustoja sallii) jatkaa provokaatiota moderointipaneeleissa. Nämä ovat yksioikoisia ja vain laajasti edustavia keinoja selventää kirjoitetun sanan tarkoitusta.

Samaan aikaan tunteiden ja emojien kasvava suosio, jotka toimivat hybridi-tekstuaalisina ja visuaalisina mielipiteen välittäjinä, on aktiivisesti osallistunut luonnollisen kielen prosessointitutkimukseen viime vuosina, sekä kiinnostukseen animoitujen GIF-kuva merkinnyksistä, joita käyttäjät lähettävät kommenttiwikkeleissä.

Ajan myötä kirjoitettu kieli on kehittänyt innovatiivisen varastoja näistä “lisä” -kielitieteellisistä menetelmistä, jotka yrittävät joko edustaa tunteita tai herättää niitä puuttuvan sävyn tiedon puutteessa puhutussa sanassa.

Yleensä kuitenkin meidän on pyrittävä ilmaisemaan tunteen parhaamme mukaan kirjoitetun sanan kontekstista. Käydä esimerkiksi huudahduksesta ‘Oh, Oh, Oh!’, joka on Lady Macbethin sekopäisen yöllisen monologin lopussa, kiistatta tapaus, jossa sävy vaikuttaa merkitykseen.

Useimmissa sovituksissa tämä tuskainen valitus kestää 2-6 sekuntia; Trevor Nunnin 1976 Royal Shakespeare Company -tuotannossa Macbethista Judi Dench otti tämän rivin ehkä haastamattomaan ennätykseen 24,45 sekuntia, merkittävässä tulkinnassa roolista.

(YouTuben oma automaattinen tekstitysjärjestelmä kuvailee Denchin ulvontaa [MUSIIKKI])

Prosodian kääntäminen typografiaan

Brazilialainen tutkimusryhmä on ehdottanut äänen moduloidun typografian järjestelmää, joka voisi sisältää tällaisen prosodian ja muita paralingvistisiä komponentteja suoraan tekstitykseen, lisäten tunteen ulottuvuuden, jota huonosti havaitaan esimerkiksi etuliitteillä kuten [Huutaminen] tai muilla “tasaisilla” trikeillä, joita suljettujen tekstitysten konventiot tarjoavat.

‘Ehdotamme uudenlaista puheen moduloidun typografian mallia, jossa puheen akustiset ominaisuudet käytetään tekstin visuaalisen ulkonäön määritykseen. Tämä mahdollistaisi annetun lauseen transkription edustamisen sanoin, mutta myös siinä, miten ne sanottiin.

‘Täten toivomme löytävämme typografiset parametri, jotka voidaan yleisesti tunnistaa visuaalisina edustajina puheen prosodisen ominaisuuksille, kuten amplitudille, sävelkorkeudelle ja kestolle.’

Työprosessi, joka kääntää prosodian typografiseen tyyliin. Pyrkimyksenä on tuottaa kaikkein monipuolisin ja laajimmin käytettävissä oleva järjestelmä, tutkijat rajoittivat itseään perusviivaan, sanaväliin ja painotuksiin, joista viimeksi mainittu toteutettiin avoimen fontin joustavuuden ansiosta. Lähde: https://arxiv.org/pdf/2202.10631.pdf

Tutkimus tutkimus on otsikoitu Hidden bawls, whispers, and yelps: can text be made to sound more than just its words?, ja se on Calua de Lacerda Patacan ja Paula Dornhofer Paro Costa, jotka ovat tutkijoita Universidade Estadual de Campinasissa Brasiliassa.

Lihavoidut sanat

Vaikka hankkeen laajempi tavoite on kehittää järjestelmiä, jotka voivat välittää prosodian ja muita parametrillisiä kielipiirteitä tekstityksessä, tutkijat uskovat myös, että tällainen järjestelmä voisi lopulta kehittää laajemman yleisön kuulovaisissa maailmoissa.

On olemassa useita aiempia aloitteita tässä tilassa, mukaan lukien 1983 projekti, joka ehdotti tekstitysjärjestelmää, joka saattaisi sisältää ‘erityisiä efektejä, värejä ja isoja kirjaimia [edustamaan] rikasta sävyinformaatiota, jota kuuroille lapsille evätään[.]’.

Toisin sanoen brasilialainen projekti pystyy hyödyntämään sekä automaattista transkriptiota että uusia kehityksiä affektiivisen tunnistamisessa, jotka yhdistyvät työprosessiksi, joka voi tuoda ja luokitella ääniraidan komponentit.

Kun prosodiset ominaisuudet on poistettu ja prosessoidaan, ne kootaan puheen sanojen aikaleimoihin, tuottaen tokeneja, joita voidaan käyttää sääntöpohjaisen modulaation tekstityypografiaan (ks. yllä oleva kuva).

Tämä tulos voi visuaalisesti edustaa sitä, kuinka paljon tietty tavu voi olla venytetty, kuiskattu, korostettu tai muulla tavoin sisältää kontekstuaalista tietoa, joka menetetään raakakäännöksessä.

Kokeen vaiheesta, huomaa, miten sanaväli (kirjainten välinen tila sanassa) on laajennettu heijastamaan venytettyä ääntämystä.

Tutkijat toteavat selvästi, että heidän työnsä ei ole tarkoitettu vaikuttamaan suoraan tunne- ja affektiiviseen tunnistamiseen, vaan pyrkivät luokittelemaan puheen ominaisuuksia ja edustamaan niitä yksinkertaisella ja rajoitetulla joukolla uusia visuaalisia konventioita.

Tutkijat toteavat myös, että

‘[Jotkut] osallistujat kokivat, että malli pitäisi pystyä kehittämään monipuolisempia ja kompleksisempia puheen edustuksia, joita pitäisi tehdä monipuolisemmalla ja ilmaisuvoimaisemmalla visuaalisella sanastolla. Vaikka tämä ei ole yksinkertainen tehtävä, on rohkaisevaa kuvitella, miten erilaiset sovellukset puheen moduloidusta typografiasta voivat kehittyä, kun tämä uusi ala kehittyy.’

Julkaistu ensimmäisen kerran 24. helmikuuta 2022.