Языков нет! Исследователи ИИ решают проблему отсутствующей анатомии в анимации лица

Что осталось незамеченным в 2026 году:В это время года качество и объем исследований то снижаются, то растут в унисон с последними конференциями ноября и декабря. Чтобы преодолеть эти периоды затишья, мы рассмотрим некоторые из наиболее интересных работ, которые почти прошли отбор в 2026 году, но уступили другим исследованиям в более конкурентные периоды подачи заявок.

До недавнего времени у создателей дипфейков — как любителей, так и профессионалов — были более важные задачи, чем проверка того, есть ли язык у реконструированного человека. В конце концов, язык — самая непредсказуемая черта лица: у «бормочущих» его совсем не видно, а в большинстве обычных ситуаций он появляется лишь время от времени.

Поэтому, когда язык всё же нужен, в реконструкциях с помощью ИИ его нет. В эпоху, когда любительская реконструкция на основе диффузионных моделей достигла поразительного уровня реалистичности, а наша способность критически оценивать созданных ИИ людей становится всё более изощренной, возможно, пришло время решить эту проблему.

Проблема языка

В июле международное академическое сотрудничество Австралии и Китая предложило способ устранить отсутствие моделирования языка в рабочих процессах с ИИ. Предлагаемая система под названием TongueReenact задействует для решения этой задачи практически все методы из арсенала создания дипфейков, включая гауссовский сплаттинг, параметрические модели людей, нейронные поля излучения (NeRF) и генерацию видео на основе диффузионных моделей (простите, генеративно-состязательные сети, в этот раз без вас).

Выше показана исходная (реальная) видеозапись, движения и особенности которой переносятся на расположенную ниже визуализацию TongueReenact. Источник

Хотя обещанный авторами код, по всей видимости, так и не был опубликован после выхода статьи, а дополнительное видео пока не представлено, эта работа всё же стала важной вехой: впервые исследователи обратились к моделированию языка в реконструкции с помощью ИИ за пределами медицины, а также к решению острой проблемы нехватки размеченных данных, необходимых для любого предлагаемого решения.

Исследователи новаторски объединили различные существующие системы и данные, чтобы создать систему сегментации языка на основе SegmentAnything и сгенерировать псевдометки для новых сегментированных данных.

В статье говорится:

«[We]Мы представляем первую систему для переноса движений языка между людьми при реанимации лиц. Получив исходный кадр и управляющее видео, наш метод переносит на исходную личность как движения лица, так и артикуляцию языка.

«Ключевой вывод нашей работы заключается в том, что синтез языка нельзя рассматривать как обычную задачу восстановления изображения. Положение языка необходимо привязать к геометрии исходного лица, которая, в свою очередь, меняется с каждым кадром управляющего видео».

Система сначала переносит движения лица человека из управляющего видео на исходное лицо с помощью 3D-гауссовского сплаттинга и модели лица FLAME. В результате получается анимированное лицо с правильными позой и выражением, но без языка.

Рабочий процесс TongueReenact. Вверху: изображения языка обнаруживают и сегментируют, а затем вручную корректируют, чтобы обучить модель обнаружения. Внизу: движения лица переносят с управляющего видео на исходное лицо, после чего диффузионная модель генерирует отсутствующий язык в нужном положении.

Затем для генерации отсутствующего языка используют модель Stable Diffusion, ориентируясь на его вид в управляющем видео и геометрию реконструированного лица.

Говоря о необходимости устранить этот недостаток реконструкции лица, авторы отмечают*:

«Во время выразительных действий — например, смеха, проявления отвращения или удивления — [the tongue] язык может полностью занимать видимую область рта. Однако почти все существующие системы реанимации лиц и аватары либо моделируют полость рта как лишенную текстуры пустоту, либо оставляют его полностью неограниченным.

«Это упущение не случайно: язык — структура с уникально изменчивым положением. В состоянии покоя он полностью скрыт, во время речи показывается лишь время от времени, а при крайних выражениях лица внезапно начинает занимать большую часть видимой области рта. Поэтому его принципиально трудно моделировать с помощью статических параметрических методов, применяемых для остальных частей лица.

«Решение этой проблемы, которой прежде не уделяли внимания, — главная мотивация нашей работы».

В ходе испытаний новый метод значительно превзошёл пять конкурирующих систем лицевой анимации: по ключевым показателям положения и размера языка его точность оказалась более чем на 100% выше, чем у ближайшего конкурента. Впрочем, следует признать, что подобные испытания трудно организовать, когда исследователи осваивают совершенно новую область, а предшествующие системы почти не решают эту новую задачу или не решают её вовсе.

Рассмотрим новый подход подробнее.

Метод

Для создания системы, способной распознавать язык на обычных видеозаписях лиц, использовали набор данных NERSemble с многовидовыми записями человеческих голов, а также синтетически созданные кадры из набора данных VFHQ, включающего более 16 000 высококачественных видеозаписей лиц:

Нажмите, чтобы воспроизвестиИнтересный «языковой» пример реконструкции поля излучения с сайта проекта Nersemble. Однако язык на этом примере рассматривается как обычная геометрическая форма, без выделения в отдельную область.Источник 

Для определения рта на каждом изображении использовали модель разметки лица MaskGAN, после чего медицинский детектор TongueSAM определял вероятное расположение языка. Затем эти данные передавали в SegmentAnything, чтобы получить первоначальный контур (то есть псевдометку) видимой части языка.

Примеры из набора данных TongueSAM, предназначенного для аналитического применения в медицине, а не для оценки выражений лица. Источник

Полученные маски разделили на три группы в зависимости от того, насколько хорошо был виден язык. Некорректные примеры отбросили, а перспективные маски вручную исправили, чтобы отделить язык от окружающих его губ, зубов и других тканей ротовой полости. Затем эти уточнённые аннотации использовали для обучения сети сегментации изображений BiSeNet.

Затем модель применили к дополнительным объектам съёмки из NERSemble и синтетическим кадрам VFHQ. Перед дальнейшим обучением люди проверяли и корректировали полученные предсказания. Этот процесс повторяли, пока качество работы на ранее не встречавшихся объектах не стабилизировалось:

Конвейер подготовки исходных данных для создания данных «языковой области».

Перед передачей диффузионной модели область рта, определённую BiSeNet, немного расширили. Это позволило сгенерированному языку выходить за пределы исходной сегментации при изменении формы рта.

Генерацию выполняли в латентном пространстве Stable Diffusion Image Variations, используя отдельные сигналы управления, полученные на основе реконструированной геометрии лица и языка, видимого на управляющем кадре. При этом повторно генерировали только определённую область рта и языка.

Генеративный конвейер. Упоминание DINO V2 в верхнем левом квадранте отражает использование GAGAvatar (см. ниже), в котором признаки внешнего вида DINO V2 сочетаются с FLAME.

Данные и испытания

BiSeNet обучали распознавать два класса, заданных на предыдущих этапах обработки данных: фон и язык. Обучение проводили в течение 50 000 итераций с шагом обучения 10^-3, используя изображения размером 512×512 пикселей и размер пакета 4. Для обучения применяли один графический процессор NVIDIA A40 с 48 ГБ видеопамяти. Обучающие данные включали упомянутые выше кадры из NERSemble и VFHQ.

Для этапа воспроизведения мимики использовалась предварительно обученная базовая модель GAGAvatar на основе гауссова сплаттинга. Также использовалась контрольная точка Stable Diffusion Image Variations; кодировщики VAE и CLIP оставались замороженными. Затем кодировщики условий и сеть UNET для устранения шума обучали на данных NERSemble в течение 85 000 итераций при размере пакета 8 и входных данных размером 512×512. При выводе использовалось 20 шагов DDIM (для многих современных диффузионных моделей это считается большим числом шагов: такой выбор позволяет повысить детализацию, но неизбежно сопряжён с определёнными компромиссами).

В качестве конкурирующих систем для создания аватаров проверили GPAvatar, получившую широкое признание LivePortrait, X-NeMo и X-Portrait. Каждую из них оценили на 9 000 пар исходных и управляющих кадров VFHQ с разными идентичностями.

Использовались следующие метрики: перцептивное сходство фрагментов изображений (LPIPS); наличие языка (доля кадров, на которых обнаружен язык); IoU языка (степень перекрытия областей языка на сгенерированном и управляющем кадрах); сходство площади языка (насколько размер сгенерированного языка совпадал с размером языка на управляющем кадре).

Результаты тестирования TongueReenact в сравнении с пятью конкурирующими системами переноса мимики. TongueReenact показывает лучшие результаты по всем четырём метрикам, связанным с языком; стрелки указывают, какие значения — более низкие или более высокие — считаются предпочтительными.

Об исходном сравнении авторы сообщают:

«Наш метод показывает лучшие результаты по всем четырём метрикам переноса языка: показатель IoU для языка составляет 0,3582, а сходство площади языка — 0,4338, что более чем вдвое превышает результат ближайшего конкурента и подтверждает значительно более точный перенос динамики языка».

«Показатель наличия языка, равный 0,7891, дополнительно демонстрирует, что наш метод надёжно синтезирует видимые движения языка, тогда как существующие методы часто вообще не создают язык».

Несколько примеров из обширной подборки качественных результатов, представленных в исходной статье. Здесь новый подход сравнивается с пятью предыдущими методами, ни один из которых не способен генерировать язык. Другие примеры в более высоком разрешении представлены в оригинальной статье.

Поскольку дополнительного видеоматериала пока нет, мы не можем самостоятельно оценить этот аспект. Тем не менее авторы проверили временную согласованность работы системы с помощью метрики T-LPIPS:

Результаты тестов на временную согласованность.

Авторы комментируют это так:

«Наша полная модель обеспечивает значительно меньшее дрожание потока (0,218543 против 0,622901) и меньшую величину потока (0,513165 против 1,254073), что подтверждает: шумоподавление с привязкой к геометрии создаёт плавные и стабильные движения языка».

«Более низкое значение T-LPIPS дополнительно подтверждает, что синтез языка не нарушает временную согласованность».

Заключение

Эффект зловещей долины постепенно преодолевают некоторые новейшие видеомодели на основе диффузии. Однако начинает проявляться новый психологический барьер: люди негативно воспринимают материалы, созданные ИИ, по причинам, не связанным с качеством просматриваемого контента.

Это может осложнить качественную оценку, хотя, полагаю, метрики, основанные на «слепых» тестах (когда пользователь хочет занизить оценку результатам ИИ, но опасается занизить её и реальным материалам), могли бы помочь создать своего рода «теневую» шкалу реалистичности ИИ.

Поэтому, несмотря на активные исследования возможностей воспроизведения с помощью ИИ вторичных признаков идентичности — таких как волосы, моделирование эмоций, направление взгляда и теперь движения языка, — на данном этапе эти вопросы могут быть не столь актуальны.

* Моя замена встроенных ссылок на цитируемые авторами источники гиперссылками.

Впервые опубликовано в среду, 11 ноября 2026 года