Emotie uitdrukken door middel van typografie met AI

Huidige trends en innovaties in tekstcommunicatie (inclusief e-mail, messaging en ondertitelingssystemen) moeten de affectieve kloof tussen geschreven en gesproken taal op een grove en benaderende manier overbruggen.

Om bijvoorbeeld de laatste jaren hebben wisselende hoofdletters het als een provocerend meme in sociale media-vlammenoorlogen populair gemaakt, terwijl het veel gehate gebruik van hoofdlettertoetsen (evenals bold en schokkende typografische effecten die door sommige commentaarplatforms worden toegestaan) blijft ingrijpen door moderators. Dit zijn monotone en alleen breed vertegenwoordigde methoden voor het verduidelijken van de bedoeling van het geschreven woord.

Tegelijkertijd heeft de groei van populariteit van emoticons en emojis, als een hybride tekstuele/visuele sentimentoverbrenger, de Natuurlijke Taalverwerking (NLP) onderzoekssector in recente jaren actief betrokken, evenals interesse in de betekenis van geanimeerde GIFs die gebruikers in commentaargedachten plaatsen.

In de loop van de tijd heeft de geschreven taal een innovatief fonds van deze ‘additieve’ linguïstische methoden ontwikkeld, die proberen om emotie te benaderen of op te roepen in de afwezigheid van de tooninformatie in het gesproken woord.

Meestal moeten we de emotie zo goed mogelijk weergeven uit de context van het geschreven woord. Overweeg bijvoorbeeld de uitroep ‘Oh, Oh, Oh!’, aan het einde van Lady Macbeths verwarde nachtelijke soliloquy, een voorbeeld van de mate waarin intonatie de betekenis kan beïnvloeden.

In de meeste adaptaties duurt deze smartelijke klaagzang 2-6 seconden; in Trevor Nunns 1976 Royal Shakespeare Company-productie van Macbeth, nam Judi Dench de lezing van deze regel tot een ongeëvenaard record van 24,45 seconden, in een baanbrekende interpretatie van de rol.

(YouTube’s eigen ondertitelingssysteem voor deze clip beschrijft Dench’s ululatie als [MUSIC])

Prosodie naar typografie vertalen

Een recent artikel uit Brazilië stelt een systeem van spraak-gemoduleerde typografie voor dat dergelijke prosodie en andere paralinguïstische componenten rechtstreeks in ondertitelde spraak kan incorporeren, waardoor een dimensie van emotie wordt toegevoegd die slecht wordt vastgelegd door het voorafgaan van bijvoeglijke naamwoorden zoals [Schreeuwen], of de andere ‘platte’ trucs die beschikbaar zijn voor gesloten ondertitelingconventies.

‘We stellen een nieuw model van spraak-gemoduleerde typografie voor, waarbij akoestische kenmerken uit spraak worden gebruikt om de visuele verschijning van tekst te moduleren. Dit kan ervoor zorgen dat de transcriptie van een bepaalde uitspraak niet alleen de woorden weergeeft die worden gezegd, maar ook hoe ze werden gezegd.

‘Met dit doel hopen we typografische parameters te ontdekken die algemeen kunnen worden erkend als visuele proxys voor de prosodische kenmerken van amplitude, toonhoogte en duur.’

De workflow die prosodie in typografische stijl omzet. Door te streven naar het meest veelzijdige en breed inzetbare systeem mogelijk, beperkten de auteurs zich tot baseline shift, kerning en boldness, waarvan de laatste werd geboden door de veelzijdigheid van een open type font. Bron: https://arxiv.org/pdf/2202.10631.pdf

Het artikel heeft de titel Verborgen kreten, gefluister en janken: kan tekst meer doen dan alleen maar zijn woorden?, en komt van Calua de Lacerda Pataca en Paula Dornhofer Paro Costa, twee onderzoekers aan de Universidade Estadual de Campinas in Brazilië.

Vette woorden

Hoewel het bredere doel van het project is om systemen te ontwikkelen die prosodie en andere parametrische taalkenmerken in ondertiteling kunnen overbrengen, geloven de auteurs ook dat een systeem van deze aard uiteindelijk een bredere doelgroep in de horende wereld kan bereiken.

Er zijn veel eerdere initiatieven in deze ruimte, waaronder een 1983-project dat een ondertitelingssysteem voorstelde dat ‘speciale effecten, kleur en hoofdletters [zou kunnen gebruiken om] de rijke tooninformatie te vertegenwoordigen die doofstomme kinderen wordt ontzegd[.]’.

In tegenstelling tot het Braziliaanse project, kan men profiteren van zowel geautomatiseerde transcriptie als nieuwe ontwikkelingen in affectherkenning, die samen een workflow mogelijk maken die de componenten in een spraak soundtrack kan importeren en karakteriseren.

Nadat de prosodische kenmerken zijn geëxtraheerd en verwerkt, worden ze toegewezen aan de tijdstempels van de woorden in de spraak, waardoor tokens worden gegenereerd die kunnen worden gebruikt om regelgebaseerde modulatie van de ondertiteltypografie toe te passen (zie bovenstaande afbeelding).

Dit resultaat kan visueel de mate waarin een bepaalde lettergreep kan worden uitgerekt, gefluisterd, benadrukt of anderszins contextinformatie kan bevatten die verloren zou gaan in een ruwe transcriptie.

Uit de testfase van het project, let op de manier waarop de spatiëring (de ruimte tussen letters in een woord) is verbreed om een uitgerekt uitspreken weer te geven.

De auteurs maken duidelijk dat hun werk niet bedoeld is om direct bij te dragen aan emotieherkenning en affectherkenning, maar zoekt om de kenmerken van spraak te classificeren en weer te geven met een eenvoudige en beperkte reeks nieuwe visuele conventies.

Op zijn minst biedt het extra benadrukt dat het systeem levert, zinnen waarin het object van actie niet duidelijk is voor kijkers die de geluiden niet kunnen horen (ofwel door een handicap of de omstandigheden van afspelen, zoals lawaaierige omgevingen).

Om mijn eigen voorbeeld uit 2017 te lenen, dat keek naar de manier waarop machine learning-systemen ook moeite kunnen hebben om te begrijpen waar het object en de actie liggen in een zin, is het gemakkelijk om de mate waarin benadrukking de betekenis van een eenvoudige zin kan veranderen te zien:

I heb dat niet gestolen. (Iemand anders heeft het gestolen)
I heb dat niet gestolen, (Ik ontkennen de beschuldiging dat ik het heb gestolen)
I heb dat niet gestolen. (Maar ik heb iets anders gestolen)

Potentieel kan een mechanistische prosodie>typografie-workflow zoals de Braziliaanse auteurs suggereren ook nuttig zijn als een hulpmiddel bij de ontwikkeling van datasets voor affectcomputingonderzoek, aangezien het de verwerking van zuiver tekstgebaseerde gegevens mogelijk maakt die niettemin enkele vooraf afgeleide paralinguïstische dimensies bevatten.

Bovendien merken de onderzoekers op dat de extra linguïstische lading van prosodie-bewuste tekst nuttig kan zijn in een reeks NLP-gebaseerde taken, waaronder de evaluatie van klanttevredenheid en de afleiding van depressie uit tekstinhoud.

Elastische typografie

Het door de onderzoekers ontwikkelde kader biedt variatie in baseline shift, waarbij een letter hoger of lager kan zijn ten opzichte van de ‘baseline’ waarop de zin rust; spatiëring, waarbij de ruimte tussen de letters van een woord kan worden samengeperst of uitgerekt; en lettergewicht (boldness).

Deze drie stijlen worden toegewezen aan de geëxtraheerde kenmerken van spraak waaraan het project zich heeft beperkt: respectievelijk toonhoogte, duur en amplitude.

De voortgang van stijl op een zin. In #1 zien we de lettergrenzen die zijn gedefinieerd in het extractieproces. In #2 zien we een weergave van elk van de drie modulaties (amplitude|gewicht, spatiëring|duur en toonhoogte|baseline shift), toegepast afzonderlijk. In #3 zien we de gecombineerde typografische modulaties in de definitieve uitvoer, zoals deze aan de 117 deelnemers in een proef van het systeem is gepresenteerd.

Aangezien een enkel lettertype mogelijk een extra en afzonderlijk lettertype voor variaties zoals bold en italic kan vereisen, gebruikten de onderzoekers een Google implementatie van het OpenType lettertype Inter, dat een granulaire reeks gewichten in een enkel lettertype integreert.

Uit het artikel, een grafiek waarin de mate wordt weergegeven waarin een OpenType-glyf van het lettertype Inter een reeks van bold benadrukkingen kan uitdrukken langs de skelet van de minimale basis-spline.

Testen

De expressie van spatiëring en baseline shift werd opgenomen in een browser-plugin, waardoor tests konden worden uitgevoerd op 117 deelnemers met gehoor.

De dataset voor de tests werd specifiek voor het project gemaakt door een acteur in te huren die een selectie van gedichten meerdere keren las met een verschillende nadruk op elke take, overeenkomend met de drie kenmerken die het project bestudeert. Poëzie werd gekozen omdat het een reeks van nadrukken toelaat (zelfs buiten de bedoeling van de dichter) zonder kunstmatig te klinken.

De deelnemers werden opgedeeld in twee groepen. De eerste kregen 15 ronden van de acteur die een stanza las, vergezeld van gesynchroniseerde, geanimeerde en gemoduleerde tekst, die zich ontrolde in de tijd met het audioklip.

De tweede groep kreeg exact dezelfde set taken, maar kregen statische afbeeldingen van de gemoduleerde tekst, die niet veranderden tijdens de afspelen van de acteur.

De gemiddelde score van correcte antwoorden was 67% voor de statische afbeeldingsgroep en 63% voor de geanimeerde tekstgroep. Opmerkingen van deelnemers die door de onderzoekers na de proeven werden opgevraagd, bevestigden hun theorie dat de cognitieve belasting van dynamische interpretatie kan hebben bijgedragen aan de lagere scores voor de niet-statische tests. Echter, het soort ondertiteling en berichtsystemen waarvoor een dergelijk kader zou zijn bedoeld, biedt per voltooide tekst standaard.

Opmerkingen van deelnemers gaven ook aan dat er harde limieten zijn voor het gebruik van spatiëring om duur aan te geven, waarbij een commentator opmerkte dat wanneer letters te ver uit elkaar staan, het moeilijk wordt om een woord te onderscheiden.

De onderzoekers merken ook op:

‘[Sommige] deelnemers vonden dat het model meer nuances en complexe voorstellingen van spraak zou moeten kunnen incorporeren, wat het zou moeten doen met een meer gevarieerd en expressief visueel vocabulaire. Hoewel dit geen eenvoudige taak is, is het toch bemoedigend om te overwegen hoe verschillende toepassingen van spraak-gemoduleerde typografie kunnen uitbreiden naarmate dit nieuwe veld zich ontwikkelt.’

Publicatie op 24 februari 2022.