Розпізнавання рухів губ за допомогою візем і машинного навчання

Нові дослідження школи комп’ютерної інженерії в Тегерані пропонують покращений підхід до створення систем машинного навчання, здатних читати рухи губ.

У статті, озаглавленій Розпізнавання рухів губ за допомогою декодування візем, зазначено, що нова система забезпечує покращення на 4% у порівнянні з найкращими попередніми моделями. Система вирішує проблему нестачі корисних навчальних даних у цій сфері, ánhляючи віземи на текстовий вміст, отриманий з шести мільйонів зразків у наборі даних OpenSubtitles перекладених назв фільмів.

Візема – це візуальний еквівалент фонеми, ефективно аудіо-образ, який може складати “функцію” у моделі машинного навчання.

Віземи у дії. Джерело: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

Дослідники розпочали роботу з визначення мінімальної похибки на наявних наборах даних і розробили послідовності візем за допомогою встановлених процедур ánhляції. Поступово цей процес створює візуальний лексикон слів – хоча потрібно визначити ймовірності точності для різних слів, які мають одну візему (наприклад, “серце” і “мистецтво”).

Віземи, отримані з тексту. Джерело: https://arxiv.org/pdf/2104.04784.pdf

Якщо дві ідентичні слова призводять до однієї віземи, обирається слово, яке зустрічається найчастіше.

Модель розширює традиційне послідовне навчання шляхом додавання підпроцесу, у якому віземи передбачаються з тексту і моделюються у спеціальному каналі:

Вгорі традиційні послідовні методи у моделі символів; внизу – додавання моделювання візем у моделі Тегеранських досліджень. Джерело: https://arxiv.org/pdf/2104.04784.pdf

Модель була застосована без візуального контексту проти набору даних LRS3-TED, випущеного Оксфордським університетом у 2018 році, з найгіршим показником похибки слова (WER) на рівні 24,29%.

Тегеранські дослідження також включили використання конвертера графеми у фонему.

У тесті проти досліджень Оксфордського університету 2017 року Читання речень на губах у дикій природі (див. нижче), метод “Відео у віземи” досяг показника похибки слова 62,3%, порівняно з 69,5% для методу Оксфордського університету.

Дослідники висновують, що використання більшого обсягу текстової інформації, поєднаного з графемно-фонемним і віземним ánhляанням, обіцяє покращення над сучасним станом автоматизованих систем читання губ, визнаючи, що методи, використані у цій роботі, можуть дати ще кращі результати при включенні до більш складних сучасних рамок.

Машинне читання губ було активною і тривалою сферою досліджень комп’ютерного зору і обробки природної мови протягом останніх двох десятиліть. Серед багатьох інших прикладів і проєктів у 2006 році використання автоматизованого програмного забезпечення для читання губ зайняло заголовки завдяки інтерпретації того, що Адольф Гітлер говорив у деяких знаменитих німих фільмах, знятих у його баварському відпочинковому місці, хоча застосування цього програмного забезпечення, здається, зникло в забутті (через дванадцять років сір Пітер Джексон використовував людських читачів губ для відновлення розмов у фільмі про Першу світову війну Вони не постарішать).

У 2017 році Читання речень на губах у дикій природі, спільний проєкт Оксфордського університету і дослідницького відділу Google, створив систему читання губ, здатну правильно витягувати 48% мовлення з відео без звуку, тоді як людина-читач губ могла досягти лише 12,4% точності з того самого матеріалу. Модель була навчена на тисячах годин відео з BBC.

Ця робота слідувала за окремою ініціативою Оксфордського університету і Google з попереднього року, озаглавленою LipNet, нейронною архітектурою, яка ánhляла відеопослідовності змінної довжини на текстові послідовності за допомогою Гейтової рекурентної мережі (GRN), яка додає функціональність до базової архітектури рекурентної нейронної мережі (RNN). Модель досягла 4,1-кратного покращення продуктивності порівняно з людськими читачами губ.

Окрім проблеми отримання точного транскрипту в реальному часі, завдання інтерпретації мови з відео поглиблюється при видаленні корисного контексту, такого як аудіо, “фронтальне” відео, добре освітлене, і мова/культура, де фонеми/віземи відносно відособлені.

Хоча немає емпіричного розуміння, які мови є найбільш складними для читання губ у повній відсутності аудіо, японська мова – один з претендентів. Різні способи, якими японці (а також деякі інші західні та східні азіати) використовують вирази обличчя проти змісту мови, вже роблять їх більшим задачею для систем визнання емоцій.

Однак варто зазначити, що велика частина наукової літератури на цю тему загалом обережна, не в останню чергу тому, що навіть доброзичливе об’єктивне дослідження у цій сфері ризикує перетинатися з расовим профайлінгом і поширенням існуючих стереотипів.

Мови з високим процентом глоткових складових, таких як чеченська і голландська, особливо проблематичні для автоматизованих технік витягання мови, тоді як культури, де мовець може виражати емоцію або повагу, відводячи погляд (знову ж таки, загалом в азіатських культурах), додають ще один вимір, де дослідники читання губ будуть需要увати розробляти додаткові методи “заповнення” з інших контекстних підказок.