Esprimere Emozione Attraverso La Tipografia Con Intelligenza Artificiale

Le tendenze e le innovazioni attuali nelle comunicazioni testuali (inclusi email, messaggi e sistemi di didascalia) devono negoziare il divario affettivo tra discorso scritto e parlato in modi crudi e approssimativi.

Ad esempio, gli ultimi anni hanno portato in voga l’uso di caratteri maiuscoli alternati come un meme provocatorio nelle guerre di fiamme dei social media, mentre l’uso molto odiato della tastiera maiuscola (nonché di effetti tipografici audaci e jarring consentiti da alcune piattaforme di commento) continua a provocare l’intervento dei moderatori. Questi sono metodi monotoni e solo vagamente rappresentativi per chiarire l’intento della parola scritta.

Allo stesso tempo, la crescita di popolarità degli emoticon e degli emoji, come un veicolo di sentimento testuale/visivo ibrido, ha attivamente coinvolto il settore di ricerca del Natural Language Processing (NLP) negli ultimi anni, insieme all’interesse per il significato dei GIF animati che gli utenti pubblicano nei thread dei commenti.

Nel tempo, il linguaggio scritto ha evoluto un fondo innovativo di questi metodi linguistici “additivi”, che tentano di proxy l’emozione o di evocarla in assenza delle informazioni tonali della parola parlata.

Di solito, tuttavia, dobbiamo rendere l’emozione come meglio possiamo dal contesto della parola scritta. Consideriamo, ad esempio, l’esclamazione ‘Oh, Oh, Oh!’, alla conclusione della soliloquia notturna di Lady Macbeth, argomento di studio dell’estensione in cui l’intonazione può influenzare il significato.

Nella maggior parte delle adattamenti, questo lamento doloroso dura 2-6 secondi; nella produzione del 1976 della Royal Shakespeare Company di Macbeth, diretta da Trevor Nunn, Judi Dench ha portato la lettura di questa linea a un tempo forse ineguagliato di 24,45 secondi, in un’interpretazione epocale del ruolo.

(Il sistema di didascalia automatica di YouTube per questo clip descrive l’ululato di Dench come [MUSICA])

Tradurre La Prosodia In Tipografia

Un recente articolo del Brasile propone un sistema di tipografia modulata dal discorso che potrebbe potenzialmente incorporare tale prosodia, e altri componenti paralinguistici, direttamente nella didascalia del discorso, aggiungendo una dimensione di emozione che è catturata in modo insufficiente dall’aggiunta di aggettivi come [Urlando], o dagli altri “trucchi piatti” disponibili per le convenzioni di sottotitolo chiuso.

‘Proponiamo un modello innovativo di Tipografia Modulata dal Discorso, in cui le caratteristiche acustiche del discorso sono utilizzate per modulare l’aspetto visivo del testo. Ciò potrebbe consentire a una trascrizione di un’enunciazione di non rappresentare solo le parole pronunciate, ma anche come sono state pronunciate.

‘Con questo, speriamo di scoprire parametri tipografici che possano essere generalmente riconosciuti come proxy visivi per le caratteristiche prosodiche di ampiezza, pitch e durata.’

Il flusso di lavoro che traslitera la prosodia in stile tipografico. Mirando a produrre il sistema più versatile e ampiamente utilizzabile possibile, gli autori si sono limitati a spostamento della baseline, kerning e grassetto, quest’ultimo fornito dalla versatilità di un font OpenType. Fonte: https://arxiv.org/pdf/2202.10631.pdf

L’articolo si intitola Urla nascoste, sussurri e latrati: può il testo essere reso più che solo le sue parole?, e proviene da Calua de Lacerda Pataca e Paula Dornhofer Paro Costa, due ricercatori dell’Universidade Estadual de Campinas in Brasile.

Parole Grasse

Sebbene l’obiettivo più ampio del progetto sia quello di sviluppare sistemi che possano trasmettere prosodia e altre caratteristiche linguistiche parametriche nella didascalia, gli autori ritengono anche che un sistema di questo tipo potrebbe eventualmente sviluppare un pubblico più ampio nel mondo che ode.

Esistono molte iniziative precedenti in questo spazio, tra cui un progetto del 1983 che ha proposto un sistema di didascalia che potrebbe includere ‘effetti speciali, colore e lettere maiuscole [per rappresentare] le ricche informazioni tonali negate ai bambini sordi[.]’.

A differenza di ciò, il progetto brasiliano può avvalersi sia della trascrizione automatizzata che dei nuovi sviluppi nel riconoscimento degli affetti, che si combinano per consentire un flusso di lavoro che può importare e caratterizzare i componenti in una colonna sonora del discorso.

Dopo che le caratteristiche prosodiche sono state estratte e elaborate, vengono mappate sui timestamp delle parole nel discorso, producendo token che possono essere utilizzati per applicare la modulazione basata su regole della tipografia della didascalia (vedi immagine sopra).

Questo risultato può rappresentare visivamente l’estensione in cui una particolare sillaba potrebbe essere prolungata, sussurrata, enfatizzata o altrimenti contenere informazioni contestuali che sarebbero perse in una trascrizione grezza.

Dalla fase di test del progetto, si nota il modo in cui il kerning (lo spazio tra le lettere di una parola) è stato allargato per riflettere una pronuncia prolungata.

Gli autori chiariscono che il loro lavoro non è destinato a contribuire direttamente alla ricerca sul riconoscimento dell’emozione e del sentimento, ma cerca invece di classificare le caratteristiche del discorso e rappresentarle con un insieme semplice e limitato di convenzioni visive nuove.

Almeno, l’enfasi aggiuntiva che il sistema fornisce disambigua le frasi in cui l’oggetto dell’azione potrebbe non essere chiaro per gli spettatori che non possono sentire il suono (sia a causa di una disabilità che a causa delle circostanze di riproduzione, come ambienti rumorosi).

Per prendere il mio stesso esempio del 2017, che ha esaminato il modo in cui i sistemi di apprendimento automatico possono avere difficoltà a capire dove si trova l’oggetto e l’azione in una frase, è facile vedere l’estensione in cui l’enfasi può radicalmente cambiare il significato di una frase anche semplice:

I non ho rubato quello. (Qualcun altro lo ha rubato)
I non ho rubato quello, (Negativo l’accusa che io lo abbia rubato)
I non ho rubato quello. (Lo possiedo, il furto non si applica)
I non ho rubato quello. (Ma ho rubato qualcos’altro)

Potenzialmente, un flusso di lavoro meccanico come quello suggerito dagli autori brasiliani potrebbe essere utile anche come strumento ausiliario nello sviluppo di set di dati per la ricerca sul calcolo degli affetti, poiché facilita l’elaborazione di dati testuali puramente basati su testo che incorporano alcune dimensioni paralinguistiche pre-inferite.

Inoltre, gli ricercatori notano, il carico linguistico extra della prosodia consapevole del testo potrebbe essere utile in una serie di compiti basati sul NLP, tra cui la valutazione della soddisfazione del cliente e per l’inferenza della depressione dal contenuto testuale.

Tipografia Elastica

Il framework sviluppato dai ricercatori offre variazioni nello spostamento della baseline, dove una lettera può essere più alta o più bassa rispetto alla “baseline” sulla quale si trova la frase; kerning, dove lo spazio tra le lettere di una parola può essere contratto o esteso; e peso del font (grassetto).

Questi tre stili sono mappati alle caratteristiche estratte del discorso a cui il progetto si è limitato: rispettivamente, pitch, durata e ampiezza.

La progressione dello stile su una frase. Nel #1, vediamo i confini delle sillabe che sono stati definiti nel processo di estrazione. Nel #2, vediamo una rappresentazione di ciascuna delle tre modulazioni (ampiezza|peso, kerning|durata e pitch|spostamento della baseline), applicate singolarmente. Nel #3, vediamo le modulazioni tipografiche combinate nel output finale, come presentato ai 117 partecipanti in un trial del sistema.

Poiché un singolo carattere tipografico può richiedere un font aggiuntivo e separato per variazioni come il grassetto e il corsivo, i ricercatori hanno utilizzato un’implementazione di Google Inter del font OpenType, che integra una gamma granulare di pesi in un singolo font.

Dall’articolo, un grafico che dettaglia l’estensione in cui un glifo OpenType dal font Inter può esprimere una gamma di enfasi in grassetto lungo lo scheletro della spline di base minima.

Test

L’espressione del kerning e dello spostamento della baseline è stata incorporata in un plugin del browser, che ha consentito test condotti su 117 partecipanti con udito abilitato.

Il set di dati per i test è stato creato appositamente per il progetto, assumendo un attore che ha letto una selezione di poesie più volte con un’enfasi diversa in ogni take, corrispondente alle tre caratteristiche che il progetto sta studiando. La poesia è stata scelta perché consente una gamma di enfasi (anche al di là dell’intento del poeta) senza suonare artificiale.

I partecipanti sono stati divisi in due gruppi. Il primo gruppo ha ricevuto 15 round della lettura dell’attore di una strofa accompagnata da testo animato e modulato sincronizzato, che si è svolto in tempo con il clip audio.

Il secondo gruppo ha ricevuto esattamente lo stesso set di compiti, ma è stato presentato con immagini statiche del testo modulato, che non cambiavano durante la riproduzione del clip audio dell’attore.

La media dei punteggi corretti è stata del 67% per il gruppo con immagini statiche e del 63% per il gruppo con testo animato. I commenti dei partecipanti sollecitati dai ricercatori dopo i trial hanno confermato la loro teoria che il carico cognitivo dell’interpretazione dinamica potrebbe aver contribuito ai punteggi più bassi per i test non statici. Tuttavia, il tipo di sistema di didascalia e messaggistica per cui questo framework sarebbe destinato fornisce generalmente testo completato per impostazione predefinita.

I commenti dei partecipanti hanno anche indicato che esistono limiti rigorosi all’uso del kerning per indicare la durata, con un commentatore che ha notato che quando le lettere sono troppo distanziate, diventa difficile individuare una parola.

I ricercatori notano anche:

‘[Alcuni] partecipanti hanno sentito che il modello dovrebbe essere in grado di incorporare rappresentazioni più sottili e complesse del discorso, che dovrebbe fare con un vocabolario visivo più vario e espressivo. Sebbene non sia un compito semplice, è comunque incoraggiante immaginare come diverse applicazioni della tipografia modulata dal discorso potrebbero ramificarsi man mano che questo nuovo campo si sviluppa.’

Pubblicato per la prima volta il 24 febbraio 2022.