Без язиків! Дослідники ШІ працюють над відсутньою анатомічною деталлю в анімації обличчя

Не потрапило до добірки 2026 року: Саме в цю пору року якість і кількість досліджень то падають, то зростають синхронно з останніми конференціями листопада й грудня. Щоб пережити ці періодичні періоди затишшя, ми розглянемо деякі цікавіші статті, які ледь не потрапили до добірки 2026 року, але поступилися іншим роботам у періоди жорсткішої конкуренції за публікацію.

Ще донедавна фахівців із дипфейків — як аматорів, так і професіоналів — хвилювали важливіші питання, ніж те, чи має реконструйована людина язик. Зрештою, язик — наймінливіша риса обличчя: його зовсім не видно в тих, хто «бурмоче», а за більшості звичайних обставин він з’являється лише час від часу.

Тож коли язик усе-таки потрібен, у реконструкціях за допомогою ШІ його немає. З огляду на те, що аматорська реконструкція на основі дифузійних моделей уже досягла вражаючого рівня реалістичності, а наша здатність критично оцінювати створених ШІ людей стає дедалі витонченішою, можливо, настав час розв’язати цю проблему.

Розв’язання проблеми язика

У липні академічна співпраця між Австралією та Китаєм запропонувала конвеєр обробки для подолання браку симуляції язика в робочих процесах ШІ. Запропонована система під назвою TongueReenact застосовує до цієї проблеми чи не всі методи з арсеналу створення дипфейків, зокрема гаусове сплатування, параметричні моделі людей, нейронні поля випромінювання (NeRF) і генерацію відео на основі дифузійних моделей (вибачте, генеративно-змагальні мережі, цього разу без вас).

Вище — реальний запис людини, рухи якої переносяться на зображення TongueReenact нижче. Джерело

Хоча, схоже, обіцяний авторами проєкту код так і не оприлюднили після публікації статті й додаткового відео також досі немає, ця робота все одно є знаковою: вона першою виходить за межі медичної сфери й розглядає язик у реконструкції за допомогою ШІ, а також порушує питання критичного браку анотованих даних, необхідних для будь-якого запропонованого рішення.

Дослідники інноваційно використали різноманітні наявні системи й дані, щоб створити систему сегментації язика на основі SegmentAnything та згенерувати псевдомітки для нових сегментованих даних.

У статті сказано:

‘[We] представляємо першу систему перенесення динаміки язика між різними особами під час відтворення міміки обличчя. Маючи вихідний кадр і керівне відео, наш метод переносить на вихідну особу і рухи обличчя, і артикуляцію язика.

‘Ключовий висновок нашої роботи полягає в тому, що синтез язика не можна розглядати як звичайне завдання заповнення пропусків. Положення язика має відповідати геометрії вихідного обличчя, яка змінюється з кожним кадром керівного відео.’

Спочатку система переносить рухи обличчя людини з керівного відео на вихідне обличчя за допомогою 3D-гаусового сплатування та моделі обличчя FLAME. У результаті з’являється анімоване обличчя з правильними позою й виразом, але без язика.

Робочий процес TongueReenact. Згори: зображення язика виявляють і сегментують, а потім вручну уточнюють, щоб навчити модель виявлення. Знизу: рухи обличчя переносять із керівного відео на вихідне обличчя, після чого дифузійна модель генерує відсутній язик у відповідному положенні.

Потім для генерації відсутнього язика використовують модель Stable Diffusion, орієнтуючись на його вигляд у керівному відео та геометрію реконструйованого обличчя.

Пояснюючи, чому необхідно усунути цю прогалину в реконструкції обличчя, автори зазначають*:

‘Під час виразних емоцій, як-от сміх, огида чи здивування, [the tongue] може повністю домінувати у видимій частині ротової порожнини. Однак майже всі наявні системи відтворення міміки й аватари або моделюють внутрішню частину рота як позбавлену текстури порожнечу, або залишають її цілковито без обмежень.

‘Це нехтування не випадкове: язик — унікально мінлива структура, повністю прихована у стані спокою, час від часу видима під час мовлення й раптово домінантна за крайніх виразів обличчя. Через це він принципово не піддається статичному параметричному моделюванню, яке застосовують до решти обличчя.

‘Саме прагнення розв’язати цю проблему, яку досі оминали увагою, є головною мотивацією нашої роботи.’

Під час тестування новий метод значно перевершив п’ять конкуруючих систем анімації обличчя: за ключовими показниками розташування та розміру язика його точність була більш ніж на 100% вищою, ніж у найближчого конкурента. Водночас слід визнати, що такі тести складно належним чином спроєктувати, коли йдеться про новаторську роботу, а попередні системи майже не розв’язують цього нового завдання або не розв’язують його взагалі.

Розгляньмо новий підхід докладніше.

Метод

Щоб створити систему, здатну розпізнавати язики на звичайних відеозаписах облич, використали набір даних багаторакурсних записів людських голів NERSemble, а також синтетично згенеровані кадри з набору даних VFHQ, що містить понад 16 000 високоякісних відео облич:

Натисніть, щоб відтворитиЦікавий «лінгвальний» приклад реконструкції поля випромінювання із сайту проєкту Nersemble. Однак язик, який тут видно, розглядається як звичайна геометрія й не має окремого домену.Джерело 

Для визначення рота на кожному зображенні використовували модель розбору обличчя MaskGAN, після чого медичний детектор TongueSAM знаходив імовірну ділянку язика. Її передавали до SegmentAnything, який генерував початковий контур (тобто псевдомітку) видимої частини язика.

Зразки з набору даних TongueSAM, призначеного для аналітичного використання в медицині, а не для оцінювання міміки. Джерело

Отримані маски поділили на три групи залежно від того, наскільки добре було видно язик. Неправильні приклади відкинули, а перспективні маски вручну скоригували, щоб відокремити язик від навколишніх губ, зубів та інших тканин ротової порожнини. Потім ці уточнені анотації використали для навчання мережі сегментації зображень BiSeNet.

Потім модель застосували до додаткових суб’єктів із NERSemble та синтетичних кадрів VFHQ. Перед подальшим навчанням її прогнози перевіряли й коригували люди — цей процес повторювали, доки результати на раніше невідомих моделі суб’єктах не стабілізувалися:

Конвеєр перетворення наявних даних на дані «домену язика».

Для синтезу язика ділянку ротової порожнини, визначену BiSeNet, трохи збільшили перед передаванням у дифузійну модель. Так згенерований язик міг виходити за межі початкової сегментації, коли змінювалася форма рота.

Генерацію виконували в латентному просторі Stable Diffusion Image Variations, використовуючи окремі сигнали керування, отримані з реконструйованої геометрії обличчя та язика, видимого на керувальному кадрі. Повторно генерували лише визначену ділянку рота й язика.

Генеративний конвеєр. Позначка DINO V2 у верхньому лівому квадранті вказує на використання GAGAvatar (див. нижче), який поєднує ознаки зовнішнього вигляду DINO V2 з FLAME.

Дані та тестування

BiSeNet навчали розрізняти два класи, отримані на згаданих вище етапах обробки даних: тло та язик. Навчання тривало 50 000 ітерацій із швидкістю навчання 10^-3: використовували зображення розміром 512x512px і розмір пакета 4. Навчання виконували на одному графічному процесорі NVIDIA A40 із 48 ГБ відеопам’яті. Навчальні дані складалися зі згаданих вище кадрів NERSemble та VFHQ.

Для частини, що стосувалася перенесення міміки, використали попередньо навчену базову архітектуру Gaussian Splatting GAGAvatar. Також застосували контрольну точку Stable Diffusion Image Variations, причому енкодери VAE та CLIP залишили замороженими. Потім енкодери керування та мережу UNET для усунення шуму навчали на даних NERSemble протягом 85 000 ітерацій із розміром пакета 8 та вхідними даними розміром 512×512. Для інференсу використали 20 кроків DDIM (для багатьох сучасних дифузійних моделей це вважається великою кількістю, що має забезпечити вищу деталізацію, але неминуче передбачає певні компроміси).

Серед конкурентних систем створення аватарів тестували GPAvatar, відому LivePortrait, X-NeMo та X-Portrait. Кожну з них оцінювали на 9 000 пар вихідних і керувальних кадрів VFHQ із різними ідентичностями.

Використовували такі метрики: Подібність навчених перцептивних фрагментів зображення (LPIPS); Наявність язика (частка кадрів, у яких виявлено язик); IoU язика (ступінь перекриття ділянок язика на згенерованому та керувальному кадрах); і Подібність площі язика (наскільки розмір згенерованого язика відповідав розміру язика на керувальному кадрі).

Результати тестування, у якому TongueReenact порівнювали з п’ятьма конкуруючими системами відтворення обличчя. TongueReenact показує найкращий результат за всіма чотирма метриками, що стосуються язика; стрілки вказують, які значення — нижчі чи вищі — вважаються кращими.

Про початкове порівняння автори зазначають:

«Наш метод показує найкращі результати за всіма чотирма метриками перенесення рухів язика: IoU язика становить 0.3582, а подібність площі язика — 0.4338, що більш ніж удвічі перевищує показник найближчого конкурента й підтверджує значно точніше перенесення динаміки язика».

«Показник наявності язика 0.7891 додатково доводить, що наш метод надійно синтезує видимі рухи язика, тоді як наявні методи часто взагалі їх не відтворюють».

Деякі яскраві приклади з численних якісних прикладів, наведених у вихідній статті. Тут ми бачимо порівняння нового підходу з п’ятьма попередніми конкурентами, жоден із яких не здатен генерувати язик. Більше прикладів і зображення з вищою роздільністю дивіться у вихідній статті.

Хоча через брак додаткових відеоматеріалів ми наразі не можемо самостійно це оцінити, автори також перевірили часову узгодженість системи за допомогою показника T-LPIPS:

Результати тестів на часову узгодженість.

Автори коментують:

«Наша повна модель забезпечує значно менше тремтіння оптичного потоку (0.218543 проти 0.622901) і меншу величину оптичного потоку (0.513165 проти 1.254073), що підтверджує: денойзинг із прив’язкою до геометрії створює плавний і стабільний рух язика».

«Нижче значення T-LPIPS додатково підтверджує, що синтез язика не погіршує часову узгодженість».

Висновок

Ефект «моторошної долини» поступово долають деякі найновіші відеомоделі на основі дифузії. Однак починає проявлятися новий психологічний бар’єр: люди негативно сприймають матеріали, створені ШІ, з причин, не пов’язаних із якістю того, що вони переглядають.

Це може ускладнити якісне оцінювання, хоча, гадаю, метрики, засновані на «сліпих» тестах (коли користувач хоче знизити оцінку результату ШІ, але боїться знизити оцінку справжньому результату), могли б допомогти створити своєрідну «тіньову» шкалу реалістичності ШІ.

Тож, хоча є вагомі напрями досліджень відтворення за допомогою ШІ другорядних ознак особистості, таких як волосся, моделювання емоцій, погляд, а тепер і рух язика, наразі все це може бути не надто актуальним.

* Перетворення мною внутрішньотекстових посилань авторів на гіперпосилання.

Уперше опубліковано в середу, 11 листопада 2026 року