Wyrażanie emocji za pomocą typografii z użyciem sztucznej inteligencji

Obecne trendy i innowacje w komunikacji tekstowej (w tym e-mail, wiadomości i systemy podpisów) muszą negocjować afektywną przepaść między pisanym a mówionym językiem w sposób gruby i przybliżony.

Na przykład, ostatnie lata przyniosły przemienne litery jako prowokacyjny mem w wojnach na portalach społecznościowych, podczas gdy nienawidziane użycie przycisku Caps Lock (oraz inne efektowne efekty typograficzne dozwolone przez niektóre platformy komentarzy) nadal wywołuje interwencje moderatorów. Są to metody monotonne i tylko ogólnie reprezentatywne dla wyjaśnienia intencji napisanego słowa.

Jednocześnie, wzrost popularności emotikonów i emoji jako hybrydowego nośnika tekstu i wizualnego przekazu emocji, aktywnie zaangażował sektor badań Natural Language Processing (NLP) w ostatnich latach, wraz z zainteresowaniem znaczeniem animowanych GIF-ów, które użytkownicy publikują w wątkach komentarzy.

W czasie, język pisany ewoluował innowacyjny fundusz tych “dodatkowych” metod językowych, które próbują albo udawać emocje, albo wywoływać je w braku informacji tonalnej w mówionym słowie.

Zazwyczaj jednak musimy wyrazić emocje najlepiej, jak potrafimy, z kontekstu napisanego słowa. Rozważmy na przykład wykrzyknienie ‘Och, och, och!’, na końcu szalonej nocnej soliloquii Lady Makbet, być może studium zakresu, w jakim intonacja może wpływać na znaczenie.

W większości adaptacji, to bolesne lamentowanie trwa 2-6 sekund; w produkcji Royal Shakespeare Company z 1976 roku Makbeta, Judi Dench wzięła czytanie tej linii do niezagrożonego rekordu 24,45 sekund, w przełomowej interpretacji roli.

(Własny system automatycznego podpisu YouTube dla tego klipu opisuje ululację Dench jako [MUSIC])

Tłumaczenie prozodii na typografię

Niedawny artykuł z Brazylii proponuje system typografii modulowanej mową, który mógłby potencjalnie uwzględnić taką prozodię i inne składniki parajęzykowe, bezpośrednio w napisach i podpisach, dodając wymiar emocji, który jest słabo uchwycony przez dodawanie przymiotników, takich jak [Krzyk], lub inne “płaskie” sztuczki dostępne w konwencjach podpisów.

‘Proponujemy nowy model typografii modulowanej mową, w którym cechy akustyczne z mowy są używane do modulowania wyglądu wizualnego tekstu. To mogłoby pozwolić na to, aby transkrypcja danej wypowiedzi nie tylko reprezentowała słowa, ale także to, jak zostały one wypowiedziane.

‘Z tym, mamy nadzieję odkryć parametry typograficzne, które mogą być ogólnie rozpoznawane jako wizualne substytuty cech prozodycznych amplitudy, wysokości i trwania.’

Przepływ pracy, który transliteruje prozodię na stylizację typograficzną. Dążąc do wytworzenia najbardziej wszechstronnego i szeroko stosowanego systemu, autorzy ograniczyli się do przesunięcia podstawowego, kerningu i grubości, ostatnia z nich została zapewniona przez wszechstronność fontu OpenType. Źródło: https://arxiv.org/pdf/2202.10631.pdf

Artykuł ten nosi tytuł Ukryte krzyki, szepty i wyje, i pochodzi od Calua de Lacerda Pataca i Pauli Dornhofer Paro Costa, dwóch badaczy z Universidade Estadual de Campinas w Brazylii.

Pogrubione słowa

Chociaż szerszy cel projektu jest rozwijanie systemów, które mogą przekazywać prozodię i inne parametryczne cechy języka w podpisach, autorzy uważają również, że system tego rodzaju mógłby ostatecznie rozwinąć szerszą publiczność w świecie słyszącym.

Istnieje wiele wcześniejszych inicjatyw w tym zakresie, w tym projekt z 1983 roku, który zaproponował system podpisów, który mógłby zawierać ‘specjalne efekty, kolor i litery wielkie [aby reprezentować] bogatą informację tonalną odmówioną głuchym dzieciom[.]’.

W przeciwieństwie do tego, brazylijski projekt może skorzystać zarówno z automatycznej transkrypcji, jak i nowych rozwojów w rozpoznawaniu emocji, które łączą się, aby umożliwić przepływ pracy, który może importować i charakteryzować składniki w nagraniu dźwiękowym.

Po wyodrębnieniu i przetworzeniu cech prozodycznych, są one mapowane na znaczniki czasowe słów w mowie, wytwarzając tokeny, które mogą być następnie użyte do zastosowania reguł opartych na modulacji typografii podpisów (patrz powyżej).

Rezultat ten może wizualnie reprezentować stopień, w jakim sylaba może być wydłużona, szeptana, podkreślona lub w inny sposób zawierać informacje kontekstowe, które zostałyby utracone w surowej transkrypcji.

Z fazy testowej projektu, zwróć uwagę na sposób, w jaki kerning (odległość między literami w słowie) został rozszerzony, aby odzwierciedlić wydłużoną wymowę.

Autorzy wyjaśniają, że ich praca nie jest przeznaczona do bezpośredniego wkładu w badania rozpoznawania emocji i rozpoznawania afektu, ale raczej do klasyfikacji cech mowy i reprezentowania ich prostym i ograniczonym zakresem nowych konwencji wizualnych.

Co najmniej, dodatkowy nacisk, jaki system zapewnia, wyjaśnia zdania, w których obiekt działania może nie być jasny dla widzów, którzy nie mogą usłyszeć dźwięku (albo z powodu niepełnosprawności, albo z powodu okoliczności odtwarzania, takich jak głośne środowiska).

Aby zaadaptować mój własny przykład z 2017 roku, który obejrzał sposób, w jaki systemy machine learning mogą również mieć trudności w zrozumieniu, gdzie leży obiekt i działanie w zdaniu, łatwo zobaczyć, w jakim stopniu nacisk może radykalnie zmienić znaczenie nawet prostego zdania:

Ja nie ukradłem tego. (Ktoś inny ukradł to)
Ja nie ukradłem tego, (Neguję oskarżenie, że ukradłem to)
Ja nie ukradłem tego. (Posiadam to, kradzież nie ma zastosowania)
Ja nie ukradłem tego. (Ale ukradłem coś innego)

Potencjalnie, mechanistyczny przepływ pracy prozodia>typografia, taki jak ten, który sugerują brazylijscy autorzy, mógłby być również przydatny jako pomocniczy w rozwoju zbiorów danych do badań nad obliczeniową afektywą, ponieważ ułatwia przetwarzanie danych opartych wyłącznie na tekście, które jednak zawierają pewne wstępnie wnioskowane wymiary parajęzykowe.

Dodatkowo, badacze zauważają, że dodatkowy ładunek językowy prozodii świadomego tekstu mógłby być przydatny w szeregu zadań opartych na NLP, w tym oceny satysfakcji klienta i wnioskowania depresji z zawartości tekstu.

Elastyczna typografia

Ramowy system opracowany przez badaczy oferuje zmiany w przesunięciu podstawowym, gdzie litera może być wyższa lub niższa w stosunku do “podstawy”, na której spoczywa zdanie; kerning, gdzie odległość między literami w słowie może być skurczona lub rozszerzona; i grubość fontu (pogrubienie).

Te trzy stylizacje mapują na wyodrębnione cechy mowy, do których projekt ograniczył się: odpowiednio, wysokość, trwanie i wielkość.

Postęp stylizacji w zdaniu. W #1, widzimy granice sylab, które zostały zdefiniowane w procesie wyodrębniania. W #2, widzimy reprezentację każdej z trzech modulacji (wielkość|grubość, kerning|trwanie i wysokość|przesunięcie podstawowe), zastosowanych pojedynczo. W #3, widzimy połączone modulacje typograficzne w ostatecznym wyjściu, przedstawionym 117 uczestnikom w teście systemu.

Ponieważ jeden font może wymagać dodatkowego i oddzielnego fontu dla wariacji, takich jak pogrubienie i kursywa, badacze użyli implementacji Google Inter, fontu OpenType, który integruje zakres wag w jednym fontu.

Z artykułu, wykres szczegółowo przedstawiający stopień, w jakim glyfy OpenType z fontu Inter mogą wyrazić zakres grubości wzdłuż minimalnej krzywej podstawowej.

Testowanie

Wydrukowanie kerningu i przesunięcia podstawowego zostało uwzględnione w wtyczce przeglądarki, co umożliwiło przeprowadzenie testów na 117 uczestnikach z możliwością słyszenia.

Zestaw danych do testów został stworzony specjalnie dla projektu, poprzez zatrudnienie aktora, który odczytał wybór wierszy kilka razy z różnym naciskiem na każdym podejściu, odpowiadającym trzem cechom, które projekt bada.

Uczestnicy zostali podzieleni na dwie grupy. Pierwsza otrzymała 15 rund odczytywania wiersza przez aktora, za którym towarzyszył zsynchronizowany, animowany i zmodyfikowany tekst, który rozwijał się w czasie z klipem audio.

Druga grupa otrzymała dokładnie ten sam zestaw zadań, ale została przedstawiona statycznymi obrazami zmodyfikowanego tekstu, które w ogóle nie zmieniały się podczas odtwarzania nagrania aktora.

Średni wskaźnik poprawnych odpowiedzi wyniósł 67% dla grupy ze statycznymi obrazami i 63% dla grupy z animowanym tekstem. Komentarze uczestników zebrane przez badaczy po testach potwierdziły ich teorię, że obciążenie poznawcze dynamicznej interpretacji mogło przyczynić się do niższych wyników w testach nie-statycznych. Jednakże, rodzaj systemów podpisów i wiadomości, dla których taki framework byłby przeznaczony, zwykle zapewnia gotowy tekst domyślnie.

Komentarze uczestników wskazały również, że istnieją twarde ograniczenia użycia kerningu do wskazywania trwania, z jednym komentatorem zauważającym, że gdy litery są zbyt oddalone, staje się trudno rozpoznać słowo.

Badacze zauważają również:

‘[Niektórzy] uczestnicy uważali, że model powinien być w stanie uwzględnić bardziej nuansowane i złożone reprezentacje mowy, które powinny być wykonywane z bardziej zróżnicowanym i wyrazistym słownictwem wizualnym. Chociaż nie jest to proste zadanie, jest to jednak zachęcające, aby wyobrazić sobie, jak różne zastosowania typografii modulowanej mową mogą rozgałęziać się, gdy ta nowa dziedzina się rozwija.’

Opublikowane po raz pierwszy 24 lutego 2022.