Udtryk af Emotion gennem Typografi med AI

Nuværende tendenser og innovationer i tekstkommunikation (herunder e-mail, beskeder og undertekstsystemer) må forhandle den affektive kløft mellem skreven og talt sprog på en grov og approksimativ måde.

For eksempel har de sidste par år bragt alternativ caps i mode som en provokerende meme i sociale medier-flamme krige, mens hadet brug af caps lock (samt bold og chokerende typografiske effekter tilladt af visse kommentarplatforme) fortsat provokerer indgriben fra moderatorer. Disse er monotone og kun bredt repræsentative metoder til at klargøre intentionen bag det skrevne ord.

Sammen med dette har væksten af popularitet af emotikoner og emojis, som en hybrid tekst/visuel sentiment-bærer, aktivt engageret den naturlige sprogbehandling (NLP) forskningssektor i de seneste år, sammen med interesse i betydningen af animerede GIF’er, som brugere poster i kommentartråde.

Over tid har det skrevne sprog udviklet en innovativ fond af disse ‘additive’ lingvistiske metoder, som enten forsøger at proxy emotion eller at fremkalde den i fravær af den tonale information i det talte ord.

Normalt skal vi dog bedst gøres for at gengive emotionen fra konteksten af det skrevne ord. Overvej for eksempel udbruddet ‘Oh, Oh, Oh!’ i slutningen af Lady Macbeths forvirrede natlige soliloqi, som kan være et eksempel på, hvor langt intonation kan påvirke betydning.

I de fleste tilpasninger varer denne smertefulde klage 2-6 sekunder; i Trevor Nunns 1976 Royal Shakespeare Company-produktion af Macbeth tog Judi Dench læsningen af denne linje til en måske-utchallenged rekord på 24,45 sekunder, i en banebrydende fortolkning af rollen.

(YouTubes egen auto-undertekstningssystem for dette klip beskriver Denchs ululation som [MUSIC])

Oversættelse af Prosodi til Typografi

En nyeste artikel fra Brasilien foreslår et system af tale-moduleret typografi, der potentielt kan inkorporere sådanne prosodi og andre paralingvistiske komponenter direkte i undertekstet tale, og tilføjer en dimension af emotion, der dårligt er fanget af forlægning af adjektiver som [Råber], eller andre ‘flade’ tricks tilgængelige for lukkede undertekstkonventioner.

‘Vi foreslår en ny model af Tale-Moduleret Typografi, hvor akustiske funktioner fra tale bruges til at modulere den visuelle fremtoning af tekst. Dette kunne tillade, at en given udtalelses transskription ikke kun repræsenterer ord, der siges, men også, hvordan de blev sagt.

‘Med dette håber vi at afsløre typografiske parametre, der kan generelt erkendes som visuelle proxier for de prosodiske funktioner af amplitude, tonehøjde og varighed.’

Arbejdsgangen, der translittererer prosodi til typografisk styling. Med målet om at producere det mest fleksible og bredt anvendelige system, begrænsede forfatterne sig selv til baseline-skift, kerning og fedhed, sidstnævnte blev leveret af åbent typografi-font. Kilde: https://arxiv.org/pdf/2202.10631.pdf

Artiklen hefter titlen Skjulte brøl, hvisken og gøen: Kan tekst gøres til at lyde mere end blot ord? og kommer fra Calua de Lacerda Pataca og Paula Dornhofer Paro Costa, to forskere ved Universidade Estadual de Campinas i Brasilien.

Fedte Ord

Selv om det bredere mål med projektet er at udvikle systemer, der kan overføre prosodi og andre parametrisk sprogfunktioner i undertekstning, mener forfatterne også, at et system af denne art kunne udvikle en bredere publikum i den hørende verden.

Der er mange tidligere initiativer i dette område, herunder et 1983-projekt, der foreslog et undertekstsystem, der kunne inkludere ‘specielle effekter, farver og store bogstaver [for at repræsentere] den rige tonale information, der nægtes dovne børn[.]’.

I modsætning hertil kan det brasilianske projekt udnytte både automatiseret transkription og nye udviklinger i affektgenkendelse, som kombinerer for at enable en arbejdsgang, der kan importere og karakterisere komponenterne i en tale-lydspor.

Efter at prosodifunktionerne er ekstraheret og behandlet, bliver de tilknyttet tidsstempel for ordene i tale, og producerer tokens, der kan bruges til at anvende regelbaseret modulation af underteksttypografi (se billedet ovenfor).

Dette resultat kan visuelt repræsentere, i hvilken udstrækning en bestemt stavelse kan være forlænget, hvisket, betonet eller på anden måde indeholde kontekstuel information, der ville gå tabt i en rå transkription.

Fra testfasen af projektet, bemærk måden, hvorpå kerning (afstanden mellem bogstaver i et ord) er udvidet for at reflektere en forlænget udtale.

Forfatterne gør det klart, at deres arbejde ikke er ment til at bidrage direkte til emotion-genkendelse og affekt-genkendelse-forskning, men i stedet søger at klassificere talefunktioner og repræsentere dem med en enkel og begrænset række af nye visuelle konventioner.

Da mindst, giver det ekstra fokus, systemet tilbyder, disambiguerer sætninger, hvor objektet for handlingen ikke er klart for seere, der ikke kan høre lyden (enten på grund af handicap eller omstændighederne ved afspilning, såsom støjende miljøer).

For at låne mit eget eksempel fra 2017, der kiggede på, hvordan maskinlærings-systemer også kan have svært ved at forstå, hvor objektet og handlingen ligger i en sætning, er det let at se, i hvilken udstrækning fokus kan radikalt ændre betydningen af selv en simpel sætning:

Jeg stjal ikke det. (Nogen andre stjal det)
Jeg stjal ikke det, (Jeg negationen af beskyldningen om, at jeg stjal det)
Jeg stjal ikke det. (Jeg ejer det, tyveri gælder ikke)
Jeg stjal ikke det. (Men jeg stjal noget andet)

Potentielt kunne et mekanisk prosodi>typografi-arbejdsgang, såsom de brasilianske forfattere foreslår, også være nyttigt som et hjælpeværktøj i udviklingen af datasæt for affekt-computing-forskning, da det faciliterer behandlingen af rent tekstbaseret data, der alligevel inkorporerer nogle forudgående paralingvistiske dimensioner.

Derudover bemærker forskerne, at den ekstra lingvistiske last af prosodi-bevidst tekst kunne være nyttig i en række NLP-baserede opgaver, herunder kunde-tilfredsheds-evaluering og for inference af depression fra tekstindhold.

Elastisk Typografi

Rammeværket udviklet af forskerne tilbyder variation i baseline-skift, hvor et bogstav kan være højere eller lavere i forhold til ‘baseline’, som sætningen hviler på; kerning, hvor afstanden mellem bogstaverne i et ord kan kontraheres eller udvides; og font-vægt (fedhed).

Disse tre stilinger korrelerer med de ekstraherede funktioner af tale, som projektet har begrænsninger til: henholdsvis tonehøjde, varighed og størrelse.

Fremgangen af styling på en sætning. I #1 ser vi stavelsesgrænserne, der er defineret i ekstraktionsprocessen. I #2 ser vi en repræsentation af hver af de tre moduleringer (størrelse|vægt, kerning|varighed og tonehøjde|baseline-skift), anvendt enkeltvis. I #3 ser vi de kombinerede typografiske moduleringer i den endelige output, som præsenteres for de 117 deltagere i en prøve af systemet.

Da en enkelt type kan kræve en ekstra og separat font for variationer som fed og kursiv, brugte forskerne en Google implementering af den åbne typefont Inter, som integrerer en granuleret række af vægte i en enkelt font.

Fra artiklen, en tabel, der detaljerer, i hvilken udstrækning en åben type-glyf fra Inter-fonten kan udtrykke en række af fedde betoninger langs skelettet af den minimale basis-spline.

Test

Udtrykket af kerning og baseline-skift blev inkorporeret i en browser-tilføjelse, der muliggjorde tests udført på 117 hørende deltagere.

Datasættet for testene blev skabt specifikt for projektet ved at hyre en skuespiller, der læste en række digte flere gange med forskellig betoning på hver optagelse, svarende til de tre funktioner, som projektet studerer. Poesi blev valgt, fordi det tillader en række af betoninger (selv ud over digterens intention) uden at lyde kunstigt.

Deltagerne blev delt i to grupper. Den første gruppe fik 15 runder af skuespillerens læsning af en stanza akkompagneret af synkroniseret, animeret og moduleret tekst, der rullede i takt med lydklippet.

Den anden gruppe fik præcis det samme sæt af opgaver, men blev præsenteret med statiske billeder af den modulerede tekst, der ikke ændrede sig under afspilningen af skuespillerens læsninger.

Gennemsnitsraten af korrekte svar var en ikke-tilfældig 67% for den statiske billedgruppe og 63% for den animerede tekstgruppe. Deltagernes kommentarer, som forskerne indhentede efter testene, bekræftede deres teori om, at den kognitive belastning af dynamisk fortolkning kan have bidraget til de lavere score for de ikke-statisk test.

Deltagernes kommentarer angav også, at der er hårde grænser for brugen af kerning til at indikere varighed, med en kommentar, der bemærkede, at når bogstaver er placeret for langt fra hinanden, bliver det svært at individuere et ord.

Forskernes bemærkninger lyder:

‘[Nogle] deltagere følte, at modellen skulle kunne inkorporere mere nuancerede og komplekse repræsentationer af tale, som den burde gøre med en mere varieret og udtryksfuld visuel vokabular. Selv om dette ikke er en enkel opgave, er det dog opmuntrende at forestille sig, hvordan forskellige anvendelser af tale-moduleret typografi kunne udvikle sig, når dette nye felt udvikler sig.’

Offentliggjort første gang den 24. februar 2022.