Exprimarea emoțiilor prin tipografie cu ajutorul inteligenței artificiale

Tendințele și inovațiile actuale în comunicarea text (inclusiv e-mail, mesagerie și sisteme de subtitrare) trebuie să negocieze hiatusul afectiv dintre vorbirea scrisă și cea vorbită în moduri crude și aproximative.

De exemplu, ultimii ani au adus literele alternante în vogă ca o provocare în războaiele de flăcări de pe rețelele sociale, în timp ce folosirea urâtă a blocului de caps (precum și a efectelor tipografice îndrăznețe și zgomotoase permise de unele platforme de comentarii) continuă să provoace intervenții din partea moderatorilor. Acestea sunt metode monotone și doar vag reprezentative pentru clarificarea intenției cuvântului scris.

În același timp, creșterea popularității emoticonurilor și a emoji-urilor, ca și a sentimentului hibrid textual/vizual, a angajat activ sectorul de cercetare NLP (Procesare a limbajului natural) în ultimii ani, alături de interesul pentru înțelesul GIF-urilor animate pe care utilizatorii le postează în firele de comentarii.

De-a lungul timpului, limba scrisă a evoluat un fond inovator de metode lingvistice “aditive”, care încearcă să proxy-eze emoția sau să o evoce în absența informației tonale din cuvântul vorbit.

De obicei, totuși, trebuie să redăm emoția cât mai bine din contextul cuvântului scris. Să considerăm, de exemplu, exclamația ‘Oh, Oh, Oh!’, la sfârșitul solilocviei nocturne a Doamnei Macbeth, un caz de studiu al gradului în care intonația poate afecta înțelesul.

În majoritatea adaptărilor, această lamentație durerosă durează 2-6 secunde; în producția Royal Shakespeare Company din 1976 a lui Macbeth, Judi Dench a citit această linie într-o interpretare de poate neegalată a rolului, cu o durată de 24,45 secunde.

(Sistemul de subtitrare automată al YouTube pentru acest clip descrie ululația lui Dench ca [MUSIC])

Traducerea prosodiei în tipografie

Un articol recent din Brazilia propune un sistem de tipografie modulată de vorbire care ar putea încorpora astfel de prozodii și alte componente paralingvistice direct în textul subtitrat, adăugând o dimensiune a emoției care este slab capturată de prefixarea adjectivelor, cum ar fi [Strigând], sau de alte trucuri “plate” disponibile convențiilor de subtitrare închisă.

‘Propunem un model nou de tipografie modulată de vorbire, în care caracteristicile acustice ale vorbirii sunt utilizate pentru a modula aspectul vizual al textului. Acest lucru ar putea permite ca o anumită enunțare să nu numai să reprezinte cuvintele spuse, ci și modul în care au fost spuse. ‘

‘Cu acesta, sperăm să descoperim parametri tipografici care pot fi recunoscuți în general ca proxy-uri vizuale pentru caracteristicile prozodice ale amplitudinii, înălțimii și duratei.’

Fluxul de lucru care transliterează prosodia în stil tipografic. Având ca scop producerea celui mai versatil și mai larg răspândit sistem posibil, autorii s-au limitat la deplasarea bazală, kerning și boldness, ultimul fiind oferit de versatilitatea unui font de tip deschis. Sursă: https://arxiv.org/pdf/2202.10631.pdf

Articolul este intitulat ‘Strigăte ascunse, șoapte și lătrături: poate fi textul făcut să sune mai mult decât doar cuvintele sale?’ , și provine de la Calua de Lacerda Pataca și Paula Dornhofer Paro Costa, doi cercetători de la Universitatea Estadual de Campinas din Brazilia.

Cuvinte îngroșate

Deși scopul mai larg al proiectului este de a dezvolta sisteme care pot transmite prosodia și alte caracteristici parametrice ale limbajului în subtitrare, autorii cred, de asemenea, că un sistem de acest fel ar putea, în cele din urmă, să-și găsească un public mai larg în lumea auzitoare.

Există multe inițiative anterioare în acest spațiu, inclusiv un proiect din 1983 care a propus un sistem de subtitrare care ar putea include ‘efecte speciale, culori și litere mari [pentru a reprezenta] informația tonală bogată refuzată copiilor surzi[.]’.

În schimb, proiectul brazilian poate profita atât de transcrierea automată, cât și de noile dezvoltări în recunoașterea afectului, care combină pentru a permite un flux de lucru care poate importa și caracteriza componentele dintr-o banda sonoră.

După ce caracteristicile prozodice sunt extrase și procesate, ele sunt mapate la timpii cuvintelor din vorbire, producând tokeni care pot fi, apoi, utilizați pentru a aplica o modulare bazată pe reguli a tipografiei subtitrării (vezi imaginea de mai sus).

Acest rezultat poate reprezenta vizual gradul în care o silabă anumită ar putea fi prelungită, șoptită, accentuată sau altfel conține informații contextuale care ar fi pierdute într-o transcriere brută.

Din faza de testare a proiectului, observați modul în care kerningul (spațiul dintre literele unui cuvânt) a fost lărgit pentru a reflecta o pronunție prelungită.

Autorii fac clar că munca lor nu este destinată să contribuie direct la cercetarea recunoașterii emoțiilor și a afectului, ci, mai degrabă, să clasifice caracteristicile vorbirii și să le reprezinte cu un set simplu și limitat de convenții vizuale noi.

În orice caz, accentul suplimentar pe care îl oferă sistemul disambiguizează propoziții în care obiectul acțiunii nu ar fi clar pentru spectatorii care nu pot auzi sunetul (fie prin dizabilitate, fie prin circumstanțele de redare, cum ar fi medii zgomotoase).

Pentru a împrumuta propriul meu exemplu din 2017, care a examinat modul în care sistemele de învățare automată pot avea, de asemenea, dificultăți în înțelegerea unde se află obiectul și acțiunea într-o propoziție, este ușor de văzut gradul în care accentul poate schimba radical înțelesul unei simple propoziții:

Eu nu am furat asta. (Cineva altcineva a furat-o)
Eu nu am furat asta, (Negez acuzația că am furat-o)
Eu nu am furat asta. (O posed, furtul nu se aplică)
Eu nu am furat asta. (Dar am furat altceva)

Potențial, un flux de lucru mecanic prosodie>tipografie, cum sugerează autorii brazilieni, ar putea fi, de asemenea, util ca un ajutor în dezvoltarea seturilor de date pentru cercetarea calculului afectului, deoarece facilitează procesarea datelor pur text care, totuși, incorporează unele dimensiuni paralingvistice pre-inferate.

În plus, cercetătorii notează că încărcătura lingvistică suplimentară a textului conștient de prosodie ar putea fi utilă într-o serie de sarcini bazate pe NLP, inclusiv evaluarea satisfacției clienților și inferența depresiei din conținutul textului.

Tipografie elastică

Cadrul dezvoltat de cercetători oferă variații în deplasarea bazală, unde o literă poate fi mai înaltă sau mai joasă relativ la “baza” pe care se sprijină propoziția; kerning, unde spațiul dintre literele unui cuvânt poate fi contractat sau extins; și greutatea fontului (îngroșarea).

Aceste trei stilizări se mapăază la caracteristicile extrase ale vorbirii la care s-a limitat proiectul: respectiv, înălțime, durată și amplitudine.

Progresia stilizării pe o propoziție. În #1, vedem granițele silabelor definite în procesul de extragere. În #2, vedem o reprezentare a fiecăreia dintre cele trei modulări (amplitudine|greutate, kerning|durată și înălțime|deplasare bazală), aplicate individual. În #3, vedem modulările tipografice combinate în ieșirea finală, prezentată celor 117 de participanți la un test al sistemului.

Deoarece un singur font poate necesita un font suplimentar și separat pentru variații precum îngroșarea și italicele, cercetătorii au utilizat o implementare Google Inter a fontului de tip deschis Inter, care integrează o gamă granulară de greutăți într-un singur font.

Din articol, o diagramă care detaliază gradul în care un glif OpenType din fontul Inter poate exprima o gamă de accentuări îngroșate de-a lungul scheletului splinei de bază minimale.

Testare

Exprimarea kerningului și a deplasării bazale a fost încorporată într-un plugin de browser, care a permis testarea efectuată pe 117 participanți cu auz.

Setul de date pentru test a fost creat special pentru proiect, prin angajarea unui actor care a citit o selecție de poezii de mai multe ori cu accent diferit pe fiecare reluare, corespunzător celor trei caracteristici pe care le studiază proiectul. Poezia a fost aleasă pentru că permite o varietate de accente (chiar dincolo de intenția poetului) fără a suna artificial.

Participanții au fost împărțiți în două grupuri. Primul grup a primit 15 runde de citire a actorului a unei strofe, însoțită de text animat și modulat, care s-a desfășurat în timp cu clipul audio.

Al doilea grup a primit exact aceleași seturi de sarcini, dar a fost prezentat cu imagini statice ale textului modulat, care nu s-a schimbat deloc în timpul redării clipului audio al actorului.

Rata medie de răspunsuri corecte a fost de 67% pentru grupul cu imagine statică și 63% pentru grupul cu text animat. Comentariile participanților, solicitate de cercetători după teste, au confirmat teoria lor că încărcătura cognitivă a interpretării dinamice ar fi putut contribui la scorurile mai mici pentru testele non-statice. Cu toate acestea, tipul de subtitrare și sisteme de mesaje la care ar fi destinat un astfel de cadru este, de obicei, oferit text pre-completat, în mod implicit.

Comentariile participanților au indicat, de asemenea, că există limite stricte pentru utilizarea kerningului pentru a indica durata, unul dintre comentatori notând că, atunci când literele sunt spațiate prea departe, devine dificil să individuați un cuvânt.

Cercetătorii notează, de asemenea:

‘[Unii] participanți au simțit că modelul ar trebui să poată încarna reprezentări mai nuanțate și complexe ale vorbirii, ceea ce ar trebui să facă cu un vocabular vizual mai variat și mai expresiv. Deși acesta nu este un task simplu, este, totuși, încurajator să ne imaginăm cum diferitele aplicații ale tipografiei modulate de vorbire ar putea ramifica pe măsură ce acest nou domeniu se dezvoltă.’

Publicat pentru prima dată pe 24 februarie 2022.