Kąt Andersona

Wyrażanie emocji za pomocą typografii z użyciem sztucznej inteligencji

Martin Anderson
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyTypografia modulowana mową odwzorowuje wysokość, czas trwania i głośność na…
Zobacz więcej
  • Typografia modulowana mową odwzorowuje wysokość, czas trwania i głośność na przesunięcie linii bazowej, kerning i grubość fontu.
  • Dynamiczne napisy wypadły gorzej niż statyczne, ponieważ animowane czytanie zwiększa obciążenie poznawcze widzów.
  • Tekst uwzględniający prozodię mógłby wzbogacić zbiory danych i zadania w obszarze informatyki afektywnej, takie jak wnioskowanie o satysfakcji klienta lub depresji.

Obecne trendy i innowacje w komunikacji tekstowej (w tym e-mail, wiadomości i systemy napisów) muszą negocjować afektywną przepaść między pisanym a mówionym językiem w sposób gruby i przybliżony.

Na przykład, ostatnie lata przyniosły naprzemienne wielkie i małe litery jako prowokacyjny mem w wojnach na portalach społecznościowych, podczas gdy nienawidziane użycie przycisku Caps Lock (oraz efekty typograficzne z pogrubieniem i krzykliwymi wyróżnieniami dozwolone przez niektóre platformy komentarzy) nadal wywołuje interwencje moderatorów. Są to metody monotonne i tylko ogólnie reprezentatywne dla wyjaśnienia intencji napisanego słowa.

Jednocześnie, wzrost popularności emotikonów i emoji jako hybrydowego nośnika tekstu i wizualnego przekazu emocji, aktywnie zaangażował sektor badań Natural Language Processing (NLP) w ostatnich latach, wraz z zainteresowaniem znaczeniem animowanych GIF-ów, które użytkownicy publikują w wątkach komentarzy.

Z czasem język pisany rozwinął innowacyjny repertuar tych “dodatkowych” metod językowych, które próbują albo reprezentować emocje, albo wywoływać je w braku informacji tonalnej w mówionym słowie.

Zazwyczaj jednak musimy wyrazić emocje najlepiej, jak potrafimy, z kontekstu napisanego słowa. Rozważmy na przykład wykrzyknienie ‘Och, och, och!’, na końcu szalonej nocnej monologu Lady Makbet, być może studium zakresu, w jakim intonacja może wpływać na znaczenie.

W większości adaptacji, to bolesne lamentowanie trwa 2-6 sekund; w inscenizacji Royal Shakespeare Company z 1976 roku w reżyserii Trevora Nunna Makbeta, Judi Dench wydłużyła tę kwestię do być może niepobitego rekordu 24,45 sekund, w przełomowej interpretacji roli.

(Własny system automatycznego napisów YouTube dla tego klipu opisuje ululację Dench jako [MUSIC])

Tłumaczenie prozodii na typografię

Niedawny artykuł z Brazylii proponuje system typografii modulowanej mową, który mógłby potencjalnie uwzględnić taką prozodię i inne składniki parajęzykowe, bezpośrednio w napisach i napisach, dodając wymiar emocji, który jest słabo uchwycony przez dodawanie przymiotników, takich jak [Krzyk], lub inne “płaskie” sztuczki dostępne w konwencjach napisów.

‘Proponujemy nowy model typografii modulowanej mową, w którym cechy akustyczne z mowy są używane do modulowania wyglądu wizualnego tekstu. To mogłoby pozwolić na to, aby transkrypcja danej wypowiedzi nie tylko reprezentowała słowa, ale także to, jak zostały one wypowiedziane.

‘Z tym, mamy nadzieję odkryć parametry typograficzne, które mogą być ogólnie rozpoznawane jako wizualne substytuty cech prozodycznych amplitudy, wysokości i trwania.’

Przepływ pracy, który transliteruje prozodię na stylizację typograficzną. Dążąc do wytworzenia najbardziej wszechstronnego i szeroko stosowanego systemu, autorzy ograniczyli się do przesunięcia linii bazowej, kerningu i grubości, ostatnia z nich została zapewniona przez wszechstronność fontu OpenType. Źródło: https://arxiv.org/pdf/2202.10631.pdf

Przepływ pracy, który transliteruje prozodię na stylizację typograficzną. Dążąc do wytworzenia najbardziej wszechstronnego i szeroko stosowanego systemu, autorzy ograniczyli się do przesunięcia linii bazowej, kerningu i grubości, ostatnia z nich została zapewniona przez wszechstronność fontu OpenType. Źródło: https://arxiv.org/pdf/2202.10631.pdf

Artykuł ten nosi tytuł Hidden bawls, whispers, and yelps: can text be made to sound more than just its words?, i pochodzi od Calua de Lacerda Pataca i Pauli Dornhofer Paro Costa, dwóch badaczy z Universidade Estadual de Campinas w Brazylii.

Pogrubione słowa

Chociaż szerszy cel projektu jest rozwijanie systemów, które mogą przekazywać prozodię i inne parametryczne cechy języka w napisach, autorzy uważają również, że system tego rodzaju mógłby ostatecznie rozwinąć szerszą publiczność w świecie słyszącym.

Istnieje wiele wcześniejszych inicjatyw w tym zakresie, w tym projekt z 1983 roku, który zaproponował system napisów, który mógłby zawierać ‘specjalne efekty, kolor i litery wielkie [aby reprezentować] bogatą informację tonalną odmówioną głuchym dzieciom[.]’.

W przeciwieństwie do tego, brazylijski projekt może skorzystać zarówno z automatycznej transkrypcji, jak i nowych osiągnięć w rozpoznawaniu emocji, które łączą się, aby umożliwić przepływ pracy, który może importować i charakteryzować składniki w nagraniu dźwiękowym.

Po wyodrębnieniu i przetworzeniu cech prozodycznych, są one mapowane na znaczniki czasowe słów w mowie, wytwarzając tokeny, które mogą być następnie użyte do zastosowania modulacji typografii napisów opartej na regułach (patrz powyżej).

Rezultat ten może wizualnie reprezentować stopień, w jakim sylaba może być wydłużona, szeptana, podkreślona lub w inny sposób zawierać informacje kontekstowe, które zostałyby utracone w surowej transkrypcji.

Z fazy testowej projektu, zwróć uwagę na sposób, w jaki kerning (odległość między literami w słowie) został rozszerzony, aby odzwierciedlić wydłużoną wymowę.

Z fazy testowej projektu, zwróć uwagę na sposób, w jaki kerning (odległość między literami w słowie) został rozszerzony, aby odzwierciedlić wydłużoną wymowę.

Autorzy wyjaśniają, że ich praca nie jest przeznaczona do bezpośredniego wkładu w badania rozpoznawania emocji i rozpoznawania afektu, ale raczej do klasyfikacji cech mowy i reprezentowania ich prostym i ograniczonym zakresem nowych konwencji wizualnych.

Co najmniej, dodatkowy nacisk, jaki system zapewnia, wyjaśnia zdania, w których obiekt działania może nie być jasny dla widzów, którzy nie mogą usłyszeć dźwięku (albo z powodu niepełnosprawności, albo z powodu okoliczności odtwarzania, takich jak głośne środowiska).

Aby zaadaptować mój własny przykład z 2017 roku, który analizował sposób, w jaki systemy machine learning mogą również mieć trudności w zrozumieniu, gdzie leży obiekt i działanie w zdaniu, łatwo zobaczyć, w jakim stopniu nacisk może radykalnie zmienić znaczenie nawet prostego zdania:

Ja nie ukradłem tego. (Ktoś inny ukradł to)
Ja nie ukradłem tego, (Neguję oskarżenie, że ukradłem to)
Ja nie ukradłem tego. (Posiadam to, kradzież nie ma zastosowania)
Ja nie ukradłem tego. (Ale ukradłem coś innego)

Potencjalnie, mechanistyczny przepływ pracy prozodia>typografia, taki jak ten, który sugerują brazylijscy autorzy, mógłby być również przydatny jako pomocniczy w rozwoju zbiorów danych do badań nad afektywnymi systemami obliczeniowymi, ponieważ ułatwia przetwarzanie danych opartych wyłącznie na tekście, które jednak zawierają pewne wstępnie wnioskowane wymiary parajęzykowe.

Dodatkowo, badacze zauważają, że dodatkowy ładunek językowy tekstu uwzględniającego prozodię mógłby być przydatny w szeregu zadań opartych na NLP, w tym oceny satysfakcji klienta i wnioskowania depresji z zawartości tekstu.

Elastyczna typografia

Ramowy system opracowany przez badaczy oferuje zmiany w przesunięciu linii bazowej, gdzie litera może być wyższa lub niższa w stosunku do „linii bazowej”, na której spoczywa zdanie; kerning, gdzie odległość między literami w słowie może być skurczona lub rozszerzona; i grubość fontu (pogrubienie).

Te trzy stylizacje mapują na wyodrębnione cechy mowy, do których projekt ograniczył się: odpowiednio, wysokość, trwanie i amplituda.

Postęp stylizacji w zdaniu. W #1, widzimy granice sylab, które zostały zdefiniowane w procesie wyodrębniania. W #2, widzimy reprezentację każdej z trzech modulacji (amplituda|grubość pisma, kerning|trwanie i wysokość|przesunięcie linii bazowej), zastosowanych pojedynczo. W #3, widzimy połączone modulacje typograficzne w ostatecznym wyjściu, przedstawionym 117 uczestnikom w teście systemu.

Postęp stylizacji w zdaniu. W #1, widzimy granice sylab, które zostały zdefiniowane w procesie wyodrębniania. W #2, widzimy reprezentację każdej z trzech modulacji (amplituda|grubość pisma, kerning|trwanie i wysokość|przesunięcie linii bazowej), zastosowanych pojedynczo. W #3, widzimy połączone modulacje typograficzne w ostatecznym wyjściu, przedstawionym 117 uczestnikom w teście systemu.

Ponieważ jeden font może wymagać dodatkowego i oddzielnego fontu dla wariacji, takich jak pogrubienie i kursywa, badacze użyli implementacji Google fontu OpenType Inter, który integruje zakres wag w jednym foncie.

Z artykułu, wykres szczegółowo przedstawiający stopień, w jakim glify OpenType z fontu Inter mogą wyrazić zakres grubości wzdłuż szkieletu minimalnej bazowej krzywej sklejanej.

Z artykułu, wykres szczegółowo przedstawiający stopień, w jakim glify OpenType z fontu Inter mogą wyrazić zakres grubości wzdłuż szkieletu minimalnej bazowej krzywej sklejanej.

Testowanie

Odwzorowanie kerningu i przesunięcia linii bazowej zostało uwzględnione we wtyczce przeglądarki, co umożliwiło przeprowadzenie testów na 117 uczestnikach z możliwością słyszenia.

Zestaw danych do testów został stworzony specjalnie dla projektu, poprzez zatrudnienie aktora, który odczytał wybór wierszy kilka razy z różnym naciskiem na każdym podejściu, odpowiadającym trzem cechom, które projekt bada. Wybrano poezję, ponieważ pozwala na różnorodne akcentowanie, nawet wykraczające poza zamiar poety, bez sztucznego brzmienia.

Uczestnicy zostali podzieleni na dwie grupy. Pierwsza otrzymała 15 rund odczytywania strofy przez aktora, któremu towarzyszył zsynchronizowany, animowany i zmodyfikowany tekst, który rozwijał się w synchronizacji z nagraniem audio.

Druga grupa otrzymała dokładnie ten sam zestaw zadań, ale została przedstawiona statycznymi obrazami zmodyfikowanego tekstu, które w ogóle nie zmieniały się podczas odtwarzania nagrania aktora.

Średni wskaźnik poprawnych odpowiedzi wyniósł nieprzypadkowe 67 % dla grupy ze statycznymi obrazami i 63% dla grupy z animowanym tekstem. Komentarze uczestników zebrane przez badaczy po testach potwierdziły ich teorię, że obciążenie poznawcze dynamicznej interpretacji mogło przyczynić się do niższych wyników w testach nie-statycznych. Jednakże, rodzaj systemów napisów i wiadomości, dla których taki framework byłby przeznaczony, zwykle zapewnia gotowy tekst domyślnie.

Komentarze uczestników wskazały również, że istnieją twarde ograniczenia użycia kerningu do wskazywania trwania, z jednym komentatorem zauważającym, że gdy litery są zbyt oddalone, staje się trudno rozpoznać słowo.

Badacze zauważają również:

‘[Niektórzy] uczestnicy uważali, że model powinien być w stanie uwzględnić bardziej nuansowane i złożone reprezentacje mowy, które powinny być wykonywane z bardziej zróżnicowanym i wyrazistym słownictwem wizualnym. Chociaż nie jest to proste zadanie, jest to jednak zachęcające, aby wyobrazić sobie, jak różne zastosowania typografii modulowanej mową mogą rozgałęziać się, gdy ta nowa dziedzina się rozwija.’

 

 

Opublikowane po raz pierwszy 24 lutego 2022.

Pisarz zajmujący się uczeniem maszynowym, specjalista w dziedzinie syntezy ludzkich obrazów. Były szef ds. treści badawczych w Metaphysic.ai, aż do jej rozwiązania w Brahma.ai firmy DNEG.
Strona internetowa: martinanderson.ai
Kontakt: martin@martinanderson.ai