Uttrycka känslor genom typografi med AI

Nuvarande trender och innovationer inom textkommunikation (inklusive e-post, meddelanden och undertextningssystem) måste förhandla den affektiva klyftan mellan skriven och talad språk på ett grovt och approximativt sätt.

Till exempel har de senaste åren lett till växlande versaler som en provokativ meme i sociala medier-flamkrig, medan den mycket hatade användningen av versalerna (samt andra typografiska effekter som tillåts av vissa kommentarsplattformar) fortsätter att provocera ingripande från moderatorer. Dessa är monotona och endast grovt representativa metoder för att förtydliga avsikten med det skrivna ordet.

Samtidigt har populariteten för emotikoner och emojis, som en hybrid textuell/visuell sentimentbärare, aktivt engagerat den naturliga språkbehandlingsforskningen (NLP) under de senaste åren, tillsammans med intresse för betydelsen av animerade GIF:er som användare publicerar i kommentarstrådar.

Över tiden har det skrivna språket utvecklat en innovativ fond av dessa “additiva” lingvistiska metoder, som antingen försöker proxiera känslor eller framkalla dem i avsaknad av den tonala informationen i det talade ordet.

Vanligtvis måste vi dock återge känslan så gott vi kan från sammanhanget i det skrivna ordet. Till exempel kan man betrakta utropet ‘Oh, Oh, Oh!’, i slutet av Lady Macbeths förvirrade nattliga monolog, som ett fallstudie av den utsträckning till vilken intonation kan påverka betydelsen.

I de flesta adaptationer varar denna plågade klagan i 2-6 sekunder; i Trevor Nunns 1976 Royal Shakespeare Company-produktion av Macbeth tog Judi Dench läsningen av denna rad till en möjligtvis ouppnådd rekord på 24,45 sekunder, i en banbrytande tolkning av rollen.

(YouTube’s eget auto-undertextningssystem för denna klipp beskriver Denchs ululation som [MUSIK])

Översättning av prosodi till typografi

En nyligen publicerad artikel från Brasilien föreslår ett system för talmodulerad typografi som potentiellt kan inkorporera sådan prosodi och andra paralingvistiska komponenter direkt i undertextad tal, och lägga till en dimension av känslor som dåligt fångas av förordet av adjektiv som [Skrikande], eller andra “platta” trick som finns tillgängliga för stängd undertextning.

‘Vi föreslår en ny modell för talmodulerad typografi, där akustiska egenskaper från tal används för att modulera den visuella utseendet på texten. Detta kan tillåta en given yttrands transkription att inte bara representera de ord som sägs, utan hur de sades.

‘Med detta hoppas vi att avslöja typografiska parametrar som kan allmänt erkännas som visuella proxier för de prosodiska egenskaperna av amplitud, tonhöjd och varaktighet.’

Arbetsflödet som translittererar prosodi till typografisk stil. I syfte att producera det mest mångsidiga och bredast distribuerbara systemet möjligt, begränsade författarna sig till baslinjeförskjutning, teckenavstånd och fetstil, den senare tillhandahålls av den öppna typens teckensnitts flexibilitet. Källa: https://arxiv.org/pdf/2202.10631.pdf

Artikeln är titlad Dolda skrik, viskningar och ylande: kan text göras att låta mer än bara dess ord? och kommer från Calua de Lacerda Pataca och Paula Dornhofer Paro Costa, två forskare vid Universidade Estadual de Campinas i Brasilien.

Feta ord

Även om det bredare målet med projektet är att utveckla system som kan förmedla prosodi och andra parametriska språkegenskaper i undertextning, tror författarna också att ett system av detta slag potentiellt kan utveckla en bredare publik i den hörande världen.

Det finns många tidigare initiativ inom detta område, inklusive ett 1983-projekt som föreslog ett undertextningssystem som kunde inkludera ‘specialeffekter, färg och versaler [för att representera] den rika tonala informationen som förnekas döva barn[.]’.

Till skillnad från det brasilianska projektet kan detta ta till vara både automatiserad transkription och nya utvecklingar inom affekterkänningsområdet, som kombineras för att möjliggöra ett arbetsflöde som kan importera och karakterisera komponenterna i en talbakgrund.

Efter att de prosodiska egenskaperna har extraherats och bearbetats, mappas de till tidsstämplarna för orden i talet, vilket producerar token som sedan kan användas för att tillämpa regelbaserad modulering av undertextens typografi (se bild ovan).

Detta resultat kan visuellt representera den utsträckning till vilken en viss stavelse kan vara förlängd, viskad, betonad eller på annat sätt innehålla kontextuell information som skulle gå förlorad i en rå transkription.

Stilens utveckling i en mening. I #1 ser vi de stavelsegränser som har definierats i extraheringsprocessen. I #2 ser vi en representation av var och en av de tre moduleringarna (amplitud/vikt, teckenavstånd/varaktighet och tonhöjd/baslinjeförskjutning), som appliceras enskilt. I #3 ser vi de kombinerade typografiska moduleringarna i den slutliga utmatningen, som presenterades för 117 deltagare i en test av systemet.

Eftersom ett enda teckensnitt kan kräva ett extra och separat teckensnitt för variationer som fetstil och kursiv, använde forskarna en Google implementering av det öppna teckensnittet Inter, som integrerar en granulär serie vikter i ett enda teckensnitt.

Från artikeln, en tabell som detaljerar den utsträckning till vilken ett öppet teckensnitt från Inter-teckensnittet kan uttrycka en serie feta betoningar längs skelettet av den minimala bas-spline.

Testning

Uttrycket av teckenavstånd och baslinjeförskjutning inkorporerades i en webbläsartillägg, som möjliggjorde tester som genomfördes på 117 deltagare med hörsel.

Dataset för testerna skapades specifikt för projektet, genom att anställa en skådespelare som läste en samling dikter flera gånger med olika betoning på varje tagning, motsvarande de tre egenskaper som projektet studerar. Poesi valdes eftersom det tillåter en rad betoningar (även utöver poetens avsikt) utan att låta konstgjort.

Deltagarna delades in i två grupper. Den första gruppen fick 15 omgångar av skådespelarens läsning av en strof, åtföljd av synkroniserad, animerad och modulerad text, som rullades ut i takt med ljudklippet.

Den andra gruppen fick exakt samma uppgift, men presenterades med statiska bilder av den modulerade texten, som inte ändrades alls under uppspelningen av skådespelarens läsning.

Genomsnittliga rätt svar var 67% för den statiska bildgruppen och 63% för den animerade textgruppen. Deltagarnas kommentarer, som forskarna sammanställde efter testerna, bekräftade deras teori att den kognitiva belastningen av dynamisk tolkning kan ha bidragit till de lägre poängerna för de icke-statiska testerna. Men de slags undertextningssystem som ett sådant ramverk skulle vara avsett för tillhandahåller vanligtvis färdig text som standard.

Deltagarnas kommentarer indikerade också att det finns hårda gränser för användningen av teckenavstånd för att indikera varaktighet, med en kommentar som noterade att när bokstäver är för långt ifrån varandra, blir det svårt att individuera ett ord.

Forskarna noterar också:

‘[Vissa] deltagare kände att modellen borde kunna inkorporera mer nyanserade och komplexa representationer av tal, som den borde göra med en mer varierad och uttrycksfull visuell vokabulär. Medan detta inte är en enkel uppgift, är det ändå uppmuntrande att föreställa sig hur olika tillämpningar av talmodulerad typografi kunde utvecklas när detta nya fält utvecklas.’

Publicerad första gången den 24 februari 2022.