Uttrykk av emosjon gjennom typografi med AI

Aktuelle trender og innovasjoner i tekstkommunikasjon (inkludert e-post, meldinger og undertekstsystemer) må forhandle den affektive kløften mellom skrevet og talt språk på en grov og approksimativ måte.

For eksempel har de siste årene ført til alternativ caps som en provokativ meme i sosiale medier, mens den mye hatet bruk av caps lock (samt andre typografiske effekter tillatt av noen kommentarplattformer) fortsatt provoserer inngripen fra moderatorer. Disse er monotone og bare bredt representative metoder for å klargjøre intensjonen bak det skrevne ordet.

Sammen med dette har veksten av populariteten av emotikoner og emojis, som en hybrid tekst/visuell sentiment-bærer, aktivt engasjert den naturlige språkbehandling (NLP) forskningssektoren i de senere årene, sammen med interesse for betydningen av animerte GIF-er som brukere poster i kommentartråder.

Over tid har det skrevne språket utviklet en innovativ fond av disse ‘additive’ lingvistiske metodene, som forsøker å proxy eller å vekke emosjon i fravær av den tonale informasjonen i det talte ordet.

Vanligvis må vi likevel fremstille emosjonen så godt vi kan fra konteksten av det skrevne ordet. Betrakter for eksempel utropet ‘Oh, Oh, Oh!’, ved slutten av Lady Macbeths forvirrede natlige soliloqi, et tydelig eksempel på hvor mye intonasjon kan påvirke mening.

I de fleste tilpasninger varer denne pinefulle klagen i 2-6 sekunder; i Trevor Nunn’s 1976 Royal Shakespeare Company-produksjon av Macbeth, tok Judi Dench lesningen av denne linjen til en kanskje uutfordret rekord på 24.45 sekunder, i en banebrytende tolkning av rollen.

(YouTube’s egen auto-undertekstningssystem for denne klippet beskriver Dench’s ululasjon som [MUSIC])

Oversettelse av prosodi til typografi

En nylig artikkel fra Brasil foreslår et system for tale-modulert typografi som potensielt kan inkorporere slike prosodi og andre paralingvistiske komponenter direkte i undertekstet tale, og legge til en dimensjon av emosjon som dårlig fanget av forheng av adjektiver som [Ropende], eller andre ‘flate’ triks tilgjengelig for lukket undertekst-konvensjoner.

‘Vi foreslår en ny modell for tale-modulert typografi, der akustiske egenskaper fra tale brukes til å modulere det visuelle utseendet av tekst. Dette kan tillate at en gitt uttalelses transkripsjon ikke bare representerer ord som blir sagt, men hvordan de ble sagt.

‘Med dette håper vi å avdekke typografiske parametre som kan generelt gjenkjennes som visuelle proxyer for de prosodiske egenskapene av amplitude, pitch og varighet.’

Arbeidsflyten som translittererer prosodi til typografisk styling. Med mål om å produsere det mest varierte og bredt distribuerte systemet mulig, begrenset forfatterne seg til baseline-skift, kerning og boldness, det siste ble gjort mulig av åpne typografiske fonter. Kilde: https://arxiv.org/pdf/2202.10631.pdf

Artikkelen hefter tittelen Skjulte bålskrik, viskninger og ypper: kan tekst bli gjort til å høres mer enn bare ordene?, og kommer fra Calua de Lacerda Pataca og Paula Dornhofer Paro Costa, to forskere ved Universidade Estadual de Campinas i Brasil.

Fedme ord

Tross det bredere målet med prosjektet er å utvikle systemer som kan overføre prosodi og andre parametrisk språkfunksjoner i underteksting, mener forfatterne også at et system av denne typen kunne potensielt utvikle en bredere publikum i den hørende verden.

Det er mange tidligere initiativer i dette området, inkludert et 1983-prosjekt som foreslo et undertekstsystem som kunne inkludere ‘spesialeffekter, farge og store bokstaver [for å representere] den rike tonale informasjonen som er nektet døve barn[.]’.

I motsetning til dette kan det brasilianske prosjektet dra nytte av både automatisert transkripsjon og nye utviklinger i affekterkjennelse, som kombinerer for å muliggjøre en arbeidsflyt som kan importere og karakterisere komponentene i en tale-lydspor.

Etter at prosodiske egenskaper er trukket ut og prosessert, blir de kartlagt til tidsstempelene for ordene i tale, og produserer token som kan brukes til å anvende regelbasert modulering av undertekst-typografi (se bilde over).

Dette resultatet kan visuelt representere hvor mye en bestemt stavelse kan være forlenget, visket, betont eller på annen måte inneholde kontekstuell informasjon som ville bli tapt i en rå transkripsjon.

Fra testfasen av prosjektet, merk hvordan kerning (avstanden mellom bokstaver i et ord) har blitt utvidet for å reflektere en forlenget uttale.

Forfatterne gjør det klart at deres arbeid ikke er ment å bidra direkte til gjenkjennelse av emosjoner og affekter, men søker heller å klassifisere egenskapene til tale og representere dem med en enkel og begrenset rekke nye visuelle konvensjoner.

Minst av alt gir det ekstra betoningen systemet gir, og klargjør setninger hvor objektet for handlingen kanskje ikke er klart for seere som ikke kan høre lyden (enten på grunn av funksjonsnedsettelse eller omstendighetene ved avspilling, som støyende miljøer).

For å låne mitt eget eksempel fra 2017, som tok en titt på hvordan maskinlæringsystemer også kan ha vanskeligheter med å forstå hvor objektet og handlingen ligger i en setning, er det lett å se hvor mye betoning kan radikalt endre mening av selv en enkel setning:

Jeg stjal ikke det. (Noen andre stjal det)
Jeg stjal ikke det, (Jeg negerte påstandene om at jeg stjal det)
Jeg stjal ikke det. (Jeg eier det, tyveri gjelder ikke)
Jeg stjal ikke det. (Men jeg stjal noe annet)

Potensielt kunne et mekanisk prosodi>typografi-arbeidsflyt som de brasilianske forfatterne foreslår også være nyttig som et hjelpemiddel i utviklingen av datasett for affekt-datamaskin-forskning, ettersom det muliggjør prosessering av ren tekstbasert data som likevel inkorporerer noen forhåndsantatte paralingvistiske dimensjoner.

I tillegg merker forskerne at den ekstra lingvistiske lasten av prosodi-bevisst tekst kunne være nyttig i en rekke NLP-baserte oppgaver, inkludert kundetilfredshetsvurdering og for inferens av depresjon fra tekstinnhold.

Elastisk typografi

Rammeverket utviklet av forskerne tilbyr variasjon i baseline-skift, hvor en bokstav kan være høyere eller lavere relativt til ‘baseline’ som setningen hviler på; kerning, hvor avstanden mellom bokstavene i et ord kan være kontrahert eller utvidet; og font-vekt (fedme).

Disse tre stilene kartlegges til de trukkede ut egenskapene til tale som prosjektet har begrenset seg til: henholdsvis pitch, varighet og amplitude.

Fremgangen av styling på en setning. I #1 ser vi stavelsesgrensene som er definert i uttrekksprosessen. I #2 ser vi en representasjon av hver av de tre modulasjonene (amplitude|vekt, kerning|varighet og pitch|baseline-skift), anvendt enkeltvis. I #3 ser vi de kombinerede typografiske modulasjonene i den endelige utdata, som ble presentert for de 117 deltakerne i en prøve av systemet.

Siden en enkelt fonotype kan kreve en ekstra og separat font for variasjoner som fedme og kursiv, brukte forskerne en Google implementasjon av den åpne typografiske fonten Inter, som integrerer en granulert rekke vekter i en enkelt font.

Fra artikkelen, en graf som detaljerer hvor mye en åpen typografisk glyf fra Inter-fonten kan uttrykke en rekke fede betoner langs skjelettet av den minimale basis-splinen.

Testing

Uttrykket av kerning og baseline-skift ble inkorporert i en nettleser-utvidelse, som muliggjorde tester utført på 117 hørselsaktive deltakere.

Datasettet for testene ble skapt spesifikt for prosjektet, ved å ansette en skuespiller som leste en rekke dikt flere ganger med en annen betoning hver gang, korrespondert til de tre egenskapene prosjektet studerer. Dikt ble valgt fordi det tillater en rekke betoninger (også utenfor poetens intensjon) uten å høres kunstig.

Deltakerne ble delt i to grupper. Den første fikk 15 runder av skuespillerens lesning av en strofe akkompagnert av synkronisert, animert og modulert tekst, som rullet ut i takt med lydklippet.

Den andre gruppen fikk eksakt det samme settet av oppgaver, men ble presentert med statiske bilder av den modulerte teksten, som ikke endret seg i det hele tatt under avspillingen av skuespillerens lesninger.

Gjennomsnittlig riktig svarprosent var 67% for den statiske bildegruppen, og 63% for den animerte tekstgruppen. Deltakernes kommentarer innhentet av forskerne etter prøvene bekreftet deres teori om at den kognitive belastningen av dynamisk tolkning kan ha bidratt til de lavere poengene for de ikke-statisk testene. Imidlertid er det vanlig at slike undertekst- og meldingssystemer som et slikt rammeverk ville være ment for å tilby fullført tekst som standard.

Deltakernes kommentarer indikerte også at det er harde grenser for bruk av kerning til å indikere varighet, med en kommentar som noterte at når bokstaver er plassert for langt fra hverandre, blir det vanskelig å individuere et ord.

Forskerne noterer også:

‘[Noen] deltakere følte at modellen burde kunne inkorporere mer nuanserte og komplekse representasjoner av tale, som den burde gjøre med en mer variert og uttrykksfull visuell vokabular. Mens dette ikke er en enkel oppgave, er det likevel oppmuntrende å forestille seg hvordan forskjellige anvendelser av tale-modulert typografi kunne utvikle seg når dette nye feltet utvikles.’

Først publisert 24. februar 2022.