Andersonin kulma

Tunteiden ilmaiseminen typografian avulla tekoälyä käyttäen

Martin Anderson
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa

Nykyiset trendit ja innovaatiot tekstiviestinnässä (mukaan lukien sähköposti, viestintä ja tekstitys) joutuvat neuvottelemaan affektiivisen kuilun kirjoitetun ja puhutun puheen välillä karkeasti ja approksimatiivisesti.

Esimerkiksi viime vuosina on tullut muotiin vuorottelevat isot ja pienet kirjaimet provokaationa somessa, kun taas vihattu suuraakkosten käyttö sekä lihavointi ja muut joidenkin kommentointialustojen sallimat typografiset tehokeinot aiheuttavat edelleen provosoivia tilanteita moderoinnissa. Nämä ovat yksioikoisia ja vain laajasti edustavia keinoja selventää kirjoitetun sanan tarkoitusta.

Samaan aikaan hymiöt ja emojit ovat kasvattaneet suosiotaan tekstuaalisina ja visuaalisina mielialan välittäjinä. Ne ovat viime vuosina nousseet aktiivisesti esiin luonnollisen kielen käsittelyn tutkimuksessa. Myös käyttäjien kommenttiketjuihin lähettämien animoitujen GIF-kuvien merkitys kiinnostaa tutkijoita.

Kirjoitettuun kieleen on ajan mittaan kehittynyt kekseliäitä paralingvistisiä keinoja, jotka pyrkivät kuvaamaan tai herättämään tunteita silloin, kun puhutun kielen sävytieto puuttuu.

Yleensä meidän on kuitenkin pääteltävä tunnetila parhaamme mukaan kirjoitetun tekstin asiayhteydestä. Esimerkiksi käy huudahduksesta ‘Oh, Oh, Oh!’, joka on Lady Macbethin sekopäisen yöllisen monologin lopussa, kiistatta tapaus, jossa sävy vaikuttaa merkitykseen.

Useimmissa sovituksissa tämä tuskainen valitus kestää 2-6 sekuntia; Trevor Nunnin 1976 Royal Shakespeare Company -tuotannossa Macbethista Judi Dench otti tämän rivin ehkä haastamattomaan ennätykseen 24,45 sekuntia, merkittävässä tulkinnassa roolista.

(YouTuben oma automaattinen tekstitysjärjestelmä kuvailee Denchin ulvontaa [MUSIIKKI])

Prosodian kääntäminen typografiaan

Brasilialaisessa tutkimuksessa on ehdotettu puheen mukaan muokattavan typografian järjestelmää, joka voisi sisältää tällaisen prosodian ja muita paralingvistisiä komponentteja suoraan tekstitykseen, Se lisäisi tunneulottuvuuden, jota on vaikea välittää esimerkiksi tekstitysmerkinnöillä kuten [Huutaminen] tai muilla “tasaisilla” keinoilla, joita suljettujen tekstitysten konventiot tarjoavat.

‘Ehdotamme uudenlaista puheen moduloidun typografian mallia, jossa puheen akustisia ominaisuuksia käytetään tekstin visuaalisen ulkonäön määritykseen. Tämä mahdollistaisi annetun lauseen litteroinnin esittämisen paitsi sanoina myös sen mukaan, miten ne lausuttiin.

‘Täten toivomme löytävämme typografiset parametrit, jotka voidaan yleisesti tunnistaa puheen prosodisten ominaisuuksien visuaalisiksi vastineiksi, kuten amplitudille, sävelkorkeudelle ja kestolle.’

Työprosessi, joka kääntää prosodian typografiseen tyyliin. Pyrkimyksenä on tuottaa kaikkein monipuolisin ja laajimmin käytettävissä oleva järjestelmä, tutkijat rajoittivat itseään perusviivan siirtymään, kirjainvälistykseen ja kirjasimen vahvuuteen. Viimeksi mainittu toteutettiin OpenType-fonttien joustavuuden avulla. Lähde: https://arxiv.org/pdf/2202.10631.pdf

Työprosessi, joka kääntää prosodian typografiseen tyyliin. Pyrkimyksenä on tuottaa kaikkein monipuolisin ja laajimmin käytettävissä oleva järjestelmä, tutkijat rajoittivat itseään perusviivan siirtymään, kirjainvälistykseen ja kirjasimen vahvuuteen. Viimeksi mainittu toteutettiin OpenType-fonttien joustavuuden avulla. Lähde: https://arxiv.org/pdf/2202.10631.pdf

Tutkimuksen otsikko on Hidden bawls, whispers, and yelps: can text be made to sound more than just its words?, Sen kirjoittajat ovat Calua de Lacerda Pataca ja Paula Dornhofer Paro Costa, jotka työskentelevät tutkijoina Universidade Estadual de Campinasissa Brasiliassa.

Lihavoidut sanat

Vaikka hankkeen laajempi tavoite on kehittää järjestelmiä, jotka voivat välittää prosodiaa ja muita paralingvistisiä piirteitä tekstityksessä, tutkijat uskovat myös, että tällainen järjestelmä voisi lopulta saada laajemman yleisön myös kuulevien keskuudessa.

On olemassa useita aiempia aloitteita tässä tilassa, mukaan lukien 1983 projekti, joka ehdotti tekstitysjärjestelmää, joka saattaisi sisältää ‘erityisiä efektejä, värejä ja isoja kirjaimia [edustamaan] rikasta sävyinformaatiota, jota kuuroille lapsille evätään[.]’.

Toisaalta brasilialainen projekti pystyy hyödyntämään sekä automaattista transkriptiota että tunnetilojen tunnistamisen uusia kehitysaskeleita, jotka yhdistyvät työprosessiksi, joka voi tuoda ja luokitella ääniraidan komponentit.

Kun prosodiset ominaisuudet on erotettu ja käsitelty, ne liitetään puheen sanojen aikaleimoihin. Näin syntyvien tokenien avulla tekstityksen typografiaa voidaan muokata sääntöpohjaisesti (ks. yllä oleva kuva).

Tämä tulos voi visuaalisesti edustaa sitä, kuinka paljon tietty tavu voi olla venytetty, kuiskattu, korostettu tai muulla tavoin sisältää kontekstuaalista tietoa, joka menetetään pelkässä litteroinnissa.

Kokeen vaiheesta, huomaa, miten kirjainvälistys (sanan kirjainten väliset etäisyydet) on laajennettu heijastamaan venytettyä ääntämystä.

Kokeen vaiheesta, huomaa, miten kirjainvälistys (sanan kirjainten väliset etäisyydet) on laajennettu heijastamaan venytettyä ääntämystä.

Tutkijat toteavat selvästi, että heidän työnsä ei ole tarkoitettu vaikuttamaan suoraan tunne- ja affektiiviseen tunnistamiseen, vaan pyrkivät luokittelemaan puheen ominaisuuksia ja edustamaan niitä yksinkertaisella ja rajoitetulla joukolla uusia visuaalisia konventioita.

Järjestelmän tuoma lisäpainotus vähintäänkin selventää lauseita, joissa toiminnan kohde saattaa jäädä epäselväksi katsojille, jotka eivät kuule ääntä esimerkiksi vamman tai meluisan katseluympäristön vuoksi.

Oma esimerkkini vuodelta 2017 käsitteli sitä, miten myös koneoppimisjärjestelmillä voi olla vaikeuksia ymmärtää, mikä lauseessa on toiminnan kohde ja mikä itse toiminta. Esimerkki havainnollistaa, kuinka painotus voi muuttaa yksinkertaisenkin lauseen merkitystä ratkaisevasti:

Minä en varastanut sitä. (Joku muu varasti sen)
Minä en varastanut sitä. (Kiistän väitteen, että varastin sen)
Minä en varastanut sitä. (Omistan sen, joten kyse ei ole varkaudesta)
Minä en varastanut sitä. (Mutta varastin jotakin muuta)

Brasilialaistutkijoiden ehdottama mekaaninen prosodian muuntaminen typografiaksi voisi tukea myös affektiivisen laskennan tutkimusaineistojen kehittämistä. Se helpottaa pelkästään tekstipohjaisen aineiston käsittelyä niin, että mukana säilyy ennalta pääteltyä paralingvististä tietoa.

Tutkijat huomauttavat lisäksi, että prosodiatietoisen tekstin sisältämä ylimääräinen kielellinen tieto voisi hyödyttää monia luonnollisen kielen käsittelyn tehtäviä, kuten asiakastyytyväisyyden arviointia ja masennuksen päättelemistä tekstisisällöstä.

Joustava typografia

Tutkijoiden kehittämässä järjestelmässä voidaan muuttaa perusviivan siirtymää, jolloin kirjain sijoittuu ylemmäs tai alemmas suhteessa lauseen perusviivaan; kirjainvälistystä, jolloin sanan kirjainten välisiä etäisyyksiä pienennetään tai suurennetaan; sekä kirjasimen vahvuutta eli lihavuutta.

Nämä kolme muotoilutapaa vastaavat hankkeessa tarkasteltuja puheesta erotettuja ominaisuuksia, samassa järjestyksessä: sävelkorkeutta, kestoaja amplitudia.

Lauseen muotoilun eteneminen. Kohdassa 1 näkyvät ominaisuuksien erottelussa määritetyt tavurajat. Kohdassa 2 kukin kolmesta muunnoksesta esitetään erikseen: amplitudi ja kirjasimen vahvuus, kirjainvälistys ja kesto sekä sävelkorkeus ja perusviivan siirtymä. Kohdassa 3 muunnokset yhdistyvät lopulliseksi typografiaksi, joka esitettiin järjestelmän kokeiluun osallistuneille 117 henkilölle.

Lauseen muotoilun eteneminen. Kohdassa 1 näkyvät ominaisuuksien erottelussa määritetyt tavurajat. Kohdassa 2 kukin kolmesta muunnoksesta esitetään erikseen: amplitudi ja kirjasimen vahvuus, kirjainvälistys ja kesto sekä sävelkorkeus ja perusviivan siirtymä. Kohdassa 3 muunnokset yhdistyvät lopulliseksi typografiaksi, joka esitettiin järjestelmän kokeiluun osallistuneille 117 henkilölle.

Koska kirjasintyyppi saattaa edellyttää erillisiä fontteja esimerkiksi lihavointia ja kursivointia varten, tutkijat käyttivät Googlen toteutusta OpenType-fontista Inter. Siinä yhteen fonttiin on yhdistetty laaja valikoima hienosäädettäviä vahvuuksia.

Tutkimusjulkaisun kaavio havainnollistaa, miten Inter-fontin OpenType-glyyfin lihavuutta voidaan muuttaa sen minimaalisen perusspliinin muodostaman rungon varrella.

Tutkimusjulkaisun kaavio havainnollistaa, miten Inter-fontin OpenType-glyyfin lihavuutta voidaan muuttaa sen minimaalisen perusspliinin muodostaman rungon varrella.

Testaus

Kirjainvälistyksen ja perusviivan siirtymän esittäminen toteutettiin selainlaajennuksessa. Sen avulla järjestelmää testattiin 117 kuulevalla osallistujalla.

Testiaineisto luotiin tätä hanketta varten palkkaamalla näyttelijä lukemaan valikoituja runoja useita kertoja. Kussakin otossa käytettiin erilaista painotusta, joka vastasi yhtä kolmesta tutkitusta ominaisuudesta. Runous valittiin siksi, että se sallii monenlaisia painotuksia, jopa runoilijan tarkoittamien ulkopuolelta, kuulostamatta keinotekoiselta.

Osallistujat jaettiin kahteen ryhmään. Ensimmäinen ryhmä kuunteli 15 kierrosta näyttelijän lukemia säkeistöjä. Lukua säesti synkronoitu, animoitu ja muunnettu teksti, joka avautui äänikatkelman tahdissa.

Toinen ryhmä sai täsmälleen samat tehtävät, mutta sille näytettiin muokatusta tekstistä staattisia kuvia, jotka eivät muuttuneet näyttelijän lukemisen aikana.

Staattisten kuvien ryhmässä oikeiden vastausten keskimääräinen osuus oli sattumatasosta poikkeava 67 prosenttia ja animoidun tekstin ryhmässä 63 prosenttia. Kokeiden jälkeen kerätyt kommentit tukivat tutkijoiden oletusta, että dynaamisen esityksen tulkinnan vaatima kognitiivinen kuormitus saattoi heikentää tuloksia liikkuvan tekstin kokeissa. Tällaisen järjestelmän mahdolliset tekstitys- ja viestintäsovellukset esittävät kuitenkin tavallisesti oletusarvoisesti valmiin tekstin.

Osallistujien kommenteista kävi myös ilmi, että kirjainvälistyksen käytöllä keston kuvaamiseen on selvät rajat. Yksi osallistuja totesi, että jos kirjaimet ovat liian kaukana toisistaan, sanaa on vaikea hahmottaa.

Tutkijat toteavat myös, että

‘[Jotkut] osallistujat kokivat, että mallin pitäisi pystyä kehittämään monipuolisempia ja kompleksisempia puheen edustuksia, joita pitäisi tehdä monipuolisemmalla ja ilmaisuvoimaisemmalla visuaalisella sanastolla. Vaikka tämä ei ole yksinkertainen tehtävä, on rohkaisevaa kuvitella, miten erilaiset sovellukset puheen moduloidusta typografiasta voivat kehittyä, kun tämä uusi ala kehittyy.’

 

 

Julkaistu ensimmäisen kerran 24. helmikuuta 2022.

Kirjoittaja koneoppimisen parissa, ihmisiä esittävien kuvien synteesin asiantuntija. Entinen tutkimussisällön johtaja Metaphysic.ai:ssa, kunnes se sulautui DNEG:n Brahma.ai:hin.
Verkkosivu: martinanderson.ai
Yhteystiedot: martin@martinanderson.ai