Vyjádření emocí prostřednictvím typografie s pomocí umělé inteligence

Aktuální trendy a inovace v textové komunikaci (včetně e-mailu, zpráv a systémů pro přidávání popisků) musí řešit emocionální propast mezi psaným a mluveným jazykem hrubým a aproximativním způsobem.

Například v posledních letech se staly střídání velkých a malých písmen módním jevem jako provokativní meme ve vášnivých debatách na sociálních médiích, zatímco velmi nenáviděné používání velkých písmen (stejně jako tučné a rušivé typografické efekty povolené některými platformami pro komentáře) stále vyvolává zásahy moderátorů. Tyto jsou monotónní a pouze hrubě reprezentativní metody pro objasnění záměru psaného slova.

Ve stejnou dobu vzrostla popularity emotikonů a emojis jako hybridního textového/obrazového prostředku pro vyjadřování emocí, což aktivně zapojilo sektor výzkumu zpracování přirozeného jazyka (NLP) v posledních letech, spolu s zájmem o význam animovaných GIFů, které uživatelé zveřejňují v diskusích.

V průběhu času se psaný jazyk vyvinul v inovativní fond těchto “aditivních” lingvistických metod, které se snaží buď proxyovat emoce nebo vyvolat je v nepřítomnosti tonální informace v mluveném slově.

Obvykle však musíme vykreslit emoce tak dobře, jak to jde, z kontextu psaného slova. Zvažte například výkřik ‘Oh, Oh, Oh!’ na konci noci Lady Macbeth, který je zřejmě případovou studií rozsahu, do kterého intonace může ovlivnit význam.

V meisten adaptacích tato bolestivá lamentace trvá 2-6 sekund; v Trevoru Nunnově produkci Macbeth z roku 1976 Royal Shakespeare Company Judi Dench vzala čtení této řádky na možná nezpochybnitelný rekord 24,45 sekund, v průlomové interpretaci role.

(Vlastní systém automatického titulkování YouTube pro tento klip popisuje Denchův úlek jako [MUSIC])

Překlad prosodie do typografie

Nedávná studie z Brazílie navrhuje systém speech-modulované typografie, který by mohl potenciálně zahrnout takové prosodie a další paralingvistické komponenty přímo do titulků, přidávající rozměr emocí, který je špatně zachycen předponou adjektiv, jako je [Křik], nebo jinými “plochými” triky dostupnými konvencím titulků.

‘Navrhujeme novou model Speech-Modulované Typografie, kde akustické funkce z řeči jsou použity k modulaci vizuálního vzhledu textu. To by mohlo umožnit, aby transkripce určitého výroku nejen reprezentovala slova, která jsou řečena, ale také to, jak jsou řečena.

‘S tím doufáme odhalit typografické parametry, které mohou být obecně uznány jako vizuální proxy pro prosodické funkce amplitudy, tónu a délky.’

Pracovní postup, který transliteruje prosodii do typografického stylu. Cílem je vytvořit nejvíce všestranný a široce nasaditelný systém, autoři se omezili na posunutí základny, kerning a tučnost, poslední je poskytována otevřeným typem písma. Zdroj: https://arxiv.org/pdf/2202.10631.pdf

Článek článku se jmenuje Skrývané výkřiky, šepoty a výrazy: může být text učiněn tak, aby zněl více než jen jeho slova? a pochází od Caluy de Lacerda Patacy a Pauli Dornhofer Paro Costy, dvou výzkumníků z Universidade Estadual de Campinas v Brazílii.

Tučná slova

Ačkoli širším cílem projektu je vyvinout systémy, které mohou přenášet prosodii a další parametrické jazykové funkce v titulkování, autoři také věří, že systém tohoto typu by mohl nakonec najít širší publikum ve světě slyšících.

Existuje mnoho předchozích iniciativ v tomto prostoru, včetně projektu z roku 1983, který navrhl systém titulkování, který by mohl zahrnovat ‘speciální efekty, barvy a velká písmena [k reprezentaci] bohaté tonální informace, která je odepřena neslyšícím dětem[.]’.

Naproti tomu brazilský projekt může využít automatizované přepisy a nové vývojové poznatky v oblasti rozpoznávání emocí, které kombinují, aby ermögňovaly pracovní postup, který může importovat a charakterizovat komponenty v zvukové stopě.

Po extrahování a zpracování prosodických funkcí jsou mapovány na časové razítko slov v řeči, což produkuje tokeny, které lze použít pro aplikaci pravidel modulace typografie titulků (viz obrázek výše).

Tohoto výsledku lze vizuálně reprezentovat rozsah, v jakém určitá slabika může být prodloužena, šepotána, zdůrazněna nebo jinak držet kontextuální informace, které by byly ztraceny v surové transkripci.

Z testovací fáze projektu, poznamenejte si, jak je kerning (prostor mezi písmeny ve slově) rozšířen, aby odrážel prodlouženou výslovnost.

Autoři zdůrazňují, že jejich práce není určena k přímému přispění do výzkumu rozpoznávání emocí a emocí, ale spíše k klasifikaci funkcí řeči a reprezentaci nich pomocí jednoduchého a omezeného rozsahu novátorských vizuálních konvencí.

Autoři také poznamenávají:

‘[Někteří] účastníci cítili, že model by měl být schopen ztělesnit jemnější a komplexnější reprezentace řeči, které by měly být provedeny s více variabilním a expresivním vizuálním slovníkem. Ačkoli to není jednoduchý úkol, je povzbudivé si představit, jak různé aplikace speech-modulované typografie by mohly rozvinout, jak se toto nové pole vyvíjí.’

Poprvé zveřejněno 24. února 2022.