Вираження емоцій через типографіку з використанням штучного інтелекту

Поточні тенденції та інновації у сфері текстових комунікацій (у тому числі електронної пошти, систем повідомлень та підписів) повинні вирішувати проблему емоційного розриву між письмовою та усною мовою грубими та приблизними способами.

Наприклад, за останні кілька років у соціальних мережах набули популярності чергування великих і малих літер як провокаційний мем у полеміках, тоді як ненависне використання великих літер (а також інших типографічних ефектів, які дозволяють деякі платформи для коментарів) продовжує викликати втручання модераторів. Це монотонні та лише загально представницькі методи для уточнення намірів письмового слова.

У той же час зростання популярності емодзі та смайликів як гібридного текстово- візуального засобу передачі почуттів активно залучило сектор дослідження природної мови (NLP) за останні роки, поряд з інтересом до значення анімованих GIF-образів, які користувачі публікують у коментарях.

У процесі розвитку письмова мова створила інноваційний фонд цих “додаткових” лінгвістичних методів, які намагаються або апроксимувати емоції, або викликати їх у відсутності тональної інформації в усній мові.

Зазвичай, однак, нам потрібно якнайкраще передати емоції з контексту письмового слова. Наприклад, розгляньте викрик ‘О, о, о!’ на завершення нічної сольної сцени леді Макбет, яку можна вважати прикладом того, наскільки інтонація може впливати на значення.

У більшості адаптацій ця болюча ламентація триває 2-6 секунд; у виставі Тревора Нанна 1976 року Королівської шекспірівської компанії “Макбет” Джуді Денч прочитала цю фразу за 24,45 секунди, створивши знакову інтерпретацію ролі.

(Система автоматичного підпису YouTube для цього кліпу описує улюлюкання Денч як [MUSIC])

Переклад просодії у типографіку

Нещодавня робота бразильських дослідників пропонує систему типографіки, модульованої мовленням, яка потенційно може включати такі просодичні особливості та інші паралінгвістичні компоненти прямо у підписи, додаючи вимір емоцій, який погано захоплюється попереднім додаванням прикметників, таких як [Крик], або іншими “плоскими” трюками, доступними для конвенцій закритого підпису.

‘Ми пропонуємо нову модель типографіки, модульованої мовленням, де акустичні особливості мови використовуються для модуляції візуального вигляду тексту. Це дозволить транскрипції даного висловлювання не тільки представляти слова, які були сказані, але й те, як вони були сказані.’

‘З цим ми сподіваємося виявити типографічні параметри, які можуть бути загально визнані як візуальні замінники просодичних особливостей амплітуди, висоти та тривалості.’

Робочий процес, який перекладає просодію у типографічний стиль. Метою було створити найбільш універсальну та широко застосовувану систему, тому автори обмежили себе зміщенням базової лінії, кернінгом та жирністю, остання з яких забезпечується гнучкістю відкритого шрифту. Джерело: https://arxiv.org/pdf/2202.10631.pdf

Стаття стаття називається Приховані крики, шепоти та виття: чи можна зробити текст таким, щоб він звучав більше, ніж просто слова? і була написана Калуєю де Ласерда Патакою та Полою Дорнхофер Паро Костою, двома дослідниками з Universidade Estadual de Campinas у Бразилії.

Жирні слова

Хоча основною метою проекту є розробка систем, які можуть передавати просодію та інші параметричні мовні особливості у підписах, автори також вважають, що така система могла б знайти ширше застосування у світі, який чує.

Є багато попередніх ініціатив у цій сфері, включаючи проект 1983 року, який пропонував систему підписів, яка могла б включати ‘спеціальні ефекти, кольори та великі літери [для представлення] багатої тональної інформації, якої позбавлені глухі діти[.]’.

На відміну від цього, бразильський проект може скористатися як автоматичною транскрипцією, так і новими розробками у сфері розпізнавання емоцій, які разом дозволяють створити робочий процес, який може імпортувати та характеризувати компоненти фонограми мови.

Після того, як просодичні особливості витягнуті та оброблені, вони відображаються на часових мітках слів мови, створюючи токени, які можна використовувати для застосування правил модуляції типографіки підписів (див. зображення вище).

Цей результат може візуально представляти ступінь, у якій певна складова може бути витягнута, прошептана, підкреслена або інакше містити контекстну інформацію, яка була б втрачена у суровій транскрипції.

З фази тестування проекту, зверніть увагу на те, як кернінг (пробіл між літерами у слові) було збільшено, щоб відобразити витягнуту вимову.

Автори зазначають, що їхня робота не призначена для прямого внеску у дослідження розпізнавання емоцій та емоцій, а скоріше спрямована на класифікацію особливостей мови та представлення їх простими та обмеженими новими візуальними конвенціями.

Хоча б додатковий акцент, який забезпечує система, дезамбігуює речення, де об’єкт дії може бути нечітким для тих, хто не може чути звук (через інвалідність або обставини відтворення, наприклад, шумові середовища).

Відповідь на мою власний приклад з 2017 року, який розглянув спосіб, у який системи машинного навчання можуть також мати труднощі у розумінні, де об’єкт та дія лежать у реченні, легко побачити, наскільки акцент може радикально змінити значення навіть простого речення:

Я не вкрав це. (Хтось інший вкрав це)
Я не вкрав це, (Я заперечую звинувачення у крадіжці)
Я не вкрав це. (Я володію цим, крадіжка не застосовується)
Я не вкрав це. (Але я вкрав щось інше)

Потенційно механічна робота просодії>типографіки, яку пропонують бразильські автори, могла б бути також корисною як допоміжний засіб у розробці наборів даних для досліджень емоційного комп’ютерного інтелекту, оскільки вона полегшує обробку чисто текстових даних, які тим не менш включають деякі попередньо висловлені паралінгвістичні виміри.

Крім того, дослідники зазначають, що додаткове лінгвістичне навантаження просодійно-інформованого тексту могло б бути корисним у ряді завдань, заснованих на NLP, включаючи оцінку задоволеності клієнтів та висновок про депресію з текстового вмісту.

Еластична типографія

Фреймворк, розроблений дослідниками, пропонує варіації зміщення базової лінії, де літера може бути вищою або нижчою відносно “базової лінії”, на якій спочиває речення; кернінга, де пробіл між літерами слова може бути скорочений або розширений; і товщини шрифту (жирності).

Ці три стилі відображаються на витягнутих особливостях мови, яким проект обмежився: відповідно, висота, тривалість і амплітуда.

Прогрес стилю у реченні. У #1 ми бачимо межі складів, які були визначені у процесі витягування. У #2 ми бачимо представлення кожної з трьох модуляцій (амплітуди|товщина, кернінг|тривалість і висота|зміщення базової лінії), застосованих окремо. У #3 ми бачимо об’єднані типографічні модуляції у кінцевому виході, представлені 117 учасникам у тестуванні системи.

Оскільки один шрифт може потребувати додаткового та окремого шрифту для варіацій, таких як жирний та курсив, дослідники використали реалізацію Google відкритого шрифту Inter, який інтегрує гранульований діапазон товщин у один шрифт.

З статті, діаграма, що деталізує ступінь, у якій гліф відкритого шрифту Inter може виражати діапазон жирних акцентів уздовж скелета мінімальної базової сплайни.

Тестування

Вираз кернінга та зміщення базової лінії було включено до браузерного плагіна, який дозволив провести тести на 117 учасниках з нормальним слухом.

Дані для тестів були створені спеціально для проекту шляхом найму актора, який прочитав вибір поезій кілька разів з різним акцентом у кожному варіанті, що відповідало трьом особливостям, які проект вивчає. Поезія була вибрана тому, що вона дозволяє різноманітні акценти (навіть за межами намірів поета) без штучності.

Учасників було розділено на дві групи. Перша група отримала 15 раундів читання актором строфи, супроводжуваного синхронізованим, анімованим та модульованим текстом, який розгортався в часі з аудіокліпом.

Друга група отримала точно той же набір завдань, але була представлена статичними зображеннями модульованого тексту, які не змінювалися під час відтворення аудіозапису актора.

Середній рівень правильних відповідей був випадковим 67% для групи статичного зображення та 63% для групи анімованого тексту. Коментарі учасників, запрошені дослідниками після тестів, підтвердили їхню теорію про те, що когнітивне навантаження динамічної інтерпретації могло сприяти нижчим оцінкам для нестатичних тестів. Однак такі системи підписів та повідомлень, для яких призначена така система, зазвичай забезпечують попередньо завершений текст за замовчуванням.

Коментарі учасників також вказували на те, що існують жорсткі обмеження на використання кернінга для вказівки тривалості, з одним коментатором, який зазначив, що коли літери розташовані надто далеко одна від одної, стає важко розрізнити слово.

Дослідники також зазначають:

‘[Деякі] учасники вважали, що модель повинна бути здатна втілювати більш тонкі та складні представлення мови, які вона повинна зробити з більш різноманітним та виразним візуальним словником. Хоча це не просте завдання, проте є заохоченням уявити, як різні застосування типографіки, модульованої мовленням, могли б розгалужуватися, коли ця нова галузь розвивається.’

Перша публікація 24 лютого 2022 року.