Чому діпфейки поки що не можуть передавати тонкість емоцій

Вчора відбулася прем’єра 6-го епізоду спін-оффу «Зоряних війн» «Книга Боби Фетта», який, здається, розділив думку фанатів. Загалом прийнятий з схваленням, існує поширений припущення в соціальних мережах, що значно покращена реконструкція де-ейджованого Марка Гаммілла (у порівнянні з попереднім появою персонажа в фіналі 2-го сезону «Мандалорця» у 2020 році) є прямим результатом того, що Industrial Light and Magic найняла аматорського практика діпфейків Shamook (який радикально покращив свою роботу з відкритим програмним забезпеченням); і що відтворення персонажа повинно бути комбінацією технології діпфейків, можливо, виправленої за допомогою CGI.

Наразі підтвердження цього обмежене, хоча Shamook сказав мало світу з тих пір, як контракт НДА ILM вступив у силу. Тим не менш, робота є надзвичайним покращенням порівняно з CGI 2020 року; вона демонструє деяку «блискучість», пов’язану з моделями діпфейків, отриманими з архівних робіт; і загалом відповідає найкращому поточному візуальному стандарту для діпфейків.

Інший напрямок думки фанатів полягає в тому, що нова спроба створити «Молодого Люка» має інший набір недоліків порівняно з попередньою. Можливо, найбільш показово, відсутність виразності та тонких, доречних емоцій у дуже довгих послідовностях з новою реконструкцією Скайвокера є більш типовими для діпфейків, ніж для CGI; The Verge описала симуляцію «Книги Боби Фетта» як «неприємну, порожню подобу обличчя Марка Гаммілла, замороженого в 1983 році».

Незалежно від технологій, що стоять за новою реконструкцією ILM, діпфейкові трансформації мають фундаментальну проблему з тонкістю емоцій, яку важко вирішити як змінами в архітектурі, так і покращенням джерельного навчального матеріалу, і яку зазвичай ухилються від уважного вибору, який роблять вірусні діпфейкери при виборі цільового відео.

Обмеження фасової відповідності

Два найбільш часто використовувані відкриті репозиторії діпфейків – це DeepFaceLab (DFL) і FaceSwap, обидва отримані з анонімного та спірного джерельного коду 2017 року, при цьому DFL має огромну перевагу в галузі VFX, незважаючи на його обмежену інструментальність.

Кожен з цих пакетів спочатку призначений для видобування ознак обличчя з обличчя, які він зміг ідентифікувати в джерельному матеріалі (тобто кадрах відео і/або статичних зображень).

Сітка фасової відповідності (FAN) в дії, з офіційного репозиторію. Джерело: https://github.com/1adrianb/face-alignment

Обидва DFL і FaceSwap використовують бібліотеку Сітки фасової відповідності (FAN). FAN може створювати 2D- та 3D-ознаки (див. зображення вище) для видобутих обличчя. 3D-ознаки можуть враховувати орієнтацію обличчя, аж до екстремальних профілів та відносно гострих кутів.

Однак, очевидно, що ці дуже грубі вказівки для керування та оцінки пікселів:

З форуму FaceSwap, грубий індикатор доступних ознак для фасових ліній. Джерело: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Базові лінії обличчя допускаються: очі можуть розширюватися та закриватися, як і щелепа, тоді як базові конфігурації рота (наприклад, усмішки, хмурості тощо) можуть бути відстежені та адаптовані. Обличчя може обертатися в будь-якому напрямку до близько 200 градусів від точки зору камери.

Поза цим, ці дуже грубі огорожі для поведінки пікселів у цих межах, і представляють єдині真正 математичні та точні фасові вказівки в整个 процесі діпфейків. Сам процес навчання просто порівнює поведінку пікселів у межах або поблизу цих меж.

Навчання в DeepFaceLab. Джерело: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Оскільки немає передбачення топології підчастин обличчя (конвексності та конкавності щік, деталей старіння, ямочок тощо), навіть не можливо спробувати зіставити такі «тонкі» підознаки між джерелом («обличчя, яке ви хочете переписати») та цільовим («обличчя, яке ви хочете вставити») ідентифікатором.

Зробити з обмеженими даними

Отримання збігів даних між двома ідентифікаторами для цілей навчання діпфейків не легко. Чим незвичайніший кут, який вам потрібно зіставити, тим більше вам може довестися компрометувати питання про те, чи дійсно цей (рідкісний) збіг кута між ідентифікаторами А та Б насправді містить те саме вираження.

Дуже близько, але не зовсім збігається.

У прикладі вище дві ідентифікатори досить схожі за настроєм, але це так близько, як цей набір даних може наблизитися до точного збігу.

Чисті відмінності залишаються: кут і об’єктив не зовсім збігаються, і не збігається освітлення; суб’єкт А не має повністю закритих очей, на відміну від суб’єкта Б; якість зображення та стиснення гірше в суб’єкті А; і якимось чином суб’єкт Б здається значно щасливішим, ніж суб’єкт А.

Але, знаєте, це все, що у нас є, тому нам доведеться тренуватися на цьому в будь-якому випадку.

Оскільки цей збіг А><Б містить так багато незвичайних елементів, ви можете бути впевнені, що подібних парувань у наборі дуже мало. Тому навчання буде або недофітувати його, або перефітувати його.

Недофітування: Якщо цей збіг є справжньою меншістю (тобто батьківський набір даних досить великий і рідко містить характеристики цих двох фотографій), він не отримає багато часу навчання порівняно з більш «популярними» (тобто легкими/нейтральними) паруваннями. Відповідно це вираження/кут не буде добре представлено в діпфейку, створеному з навченої моделі.

Перефітування: У відчаї через нестачу збігів даних для таких рідкісних парувань А><Б діпфейкери іноді дублікують парування багато разів у наборі даних, щоб воно мало кращий шанс стати особливістю у фінальній моделі. Це призведе до перефітування, де діпфейкові відео, створені з моделі, ймовірно педантично повторюватимуть несучість, які очевидні між двома фотографіями, такі як різна ступінь, до якої очі закриті.

На зображенні нижче ми бачимо Володимира Путіна, якого тренують у DeepFaceLab для заміни на Кевіна Спейсі. Тут навчання відносно просунулося на 160 000 ітерацій.

Джерело: https://i.imgur.com/OdXHLhU.jpg

Безпосередній спостерігач міг би стверджувати, що Путін виглядає трохи, ну, космічнішим, ніж Спейсі в цих тестових замінах. Давайте побачимо, що програма онлайн-розпізнавання емоцій робить із несучістю виразів:

Джерело: https://www.noldus.com/facereader/measure-your-emotions

Згідно з цією оракулом, який аналізує значно більш детальну фасову топографію, ніж DFL і Faceswap, Спейсі менш злий, огидний і зневажливий, ніж результатний діпфейковий Путін у цьому паруванні.

Нерівні вираження приходять як частина заплутаної упаковки, оскільки популярні програми діпфейків не мають можливості реєструвати чи зіставляти вираження чи емоції, крім тих, які роблять суворі вибори, які роблять вірусні діпфейкери при виборі цільового відео.

Для нас ці відмінності величезні. Ми вчимося читати фасові вираження як базовий механізм виживання з наших перших років і продовжувати покладатися на цей навик у дорослому віці для цілей соціальної інтеграції та прогресу, партнерства, і як постійну основу для оцінки загроз. Оскільки ми дуже чутливі до мікровиразів, технології діпфейків врешті-решт повинні буде врахувати це.

Против течії

Хоча революція діпфейків принесла обіцянку вставляння «класичних» кінозірок у сучасні фільми та телешоу,  AI не може повернутися в минуле і зняти їх класичні роботи у більш сумісному розширенні та якості, що є важливим для цього випадку.

При припущенні (і для наших цілей, це не має значення, якщо це неправильно), що реконструкція Гаммілла в «Книзі Боби Фетта» була в основному результатом навченої моделі діпфейків, набір даних для моделі повинен був використовувати кадри з періоду поблизу хронології шоу (тобто Гаммілл у віці початку тридцяти років під час виробництва «Повернення джедая» у 1981-83 роках).

Фільм був знятий на плівці Eastman Color Negative 250T 5293/7293, яка вважалася середньою до тонкої зернистості на той час, але була перевершена за ясністю, кольоровим діапазоном та вірністю навіть до кінця 1980-х років. Це плівка свого часу, і оперативний масштаб «Джедая» дозволив мало крупних планів навіть головним акторам, роблячи проблеми з зернистістю ще більш критичними, оскільки джерельні обличчя займають лише частину кадру.

Різні сцени Гаммілла в «Поверненні джедая» (1983).

Крім того, багато спецефектів, що містять кадри Гаммілла, пройшли через оптичну друкарню, збільшуючи зернистість плівки. Однак доступ до архівів Lucasfilm – які, як припускають, добре зберегли мастер-негативи і могли б запропонувати години додаткових невикористаних сирих кадрів – міг би подолати цю проблему.

Іноді можливо покрити ряд років виходу актора, щоб збільшити і розрізняти набір діпфейків. У випадку з Гамміллом діпфейкери обмежені його зміною зовнішності після автомобільної аварії в 1977 році, і тим, що він майже відразу після «Джедая» розпочав свою другу кар’єру як актора озвучування, роблячи джерельний матеріал відносно нечисленним.

Обмежений діапазон емоцій?

Якщо вам потрібно, щоб ваш діпфейковий актор «жув» декорації, вам потрібно джерельне відео, яке містить незвичайно широкий діапазон фасових виразів. Можливо, що єдине відео відповідного віку не містить багатьох цих виразів.

Наприклад, до моменту, коли сюжет «Повернення джедая» прийшов, персонаж Гаммілла в основному оволодів своїми емоціями, розвиток, абсолютно центральний для оригінальної мітології франшизи. Тому якщо ви створите модель діпфейка Гаммілла з даних «Джедая», вам доведеться працювати з більш обмеженим діапазоном емоцій і незвичайною фасовою поставою, яку вимагала від нього роль в той час, порівняно з його попередніми входами у франшизу.

Навіть якщо ви вважаєте, що є моменти в «Поверненні джедая», де персонаж Скайвокера під час стресу і міг би надати матеріал для більшого діапазону виразів, фасовий матеріал у цих сценах все ж таки мимовільний і підлягає розмиттю та швидкому монтажу, типовому для сцен дії; тому дані досить несбалансовані.

Генералізація: злиття емоцій

Якщо реконструкція Скайвокера в «Книзі Боби Фетта» дійсно є діпфейком, відсутність виразного діапазону, який був висунутий проти нього з деяких сторін, не буде повністю пояснено обмеженим джерельним матеріалом. Процес навчання кодера-декодера діпфейків шукає загальну модель, яка успішно відокремлює центральні особливості від тисяч зображень, і може хоча б спробувати створити діпфейковий кут, який був відсутній або рідкісний у наборі даних.

Якщо б не ця гнучкість, архітектура діпфейків просто копіювала і вставляла базові морфи на кадр за кадром, без урахування тимчасової адаптації чи контексту.

Однак, болісна плата за цю універсальність полягає в тому, що вірність виразу ймовірно буде жертвою процесу, і будь-які вираження, які є «тонкими», можуть не бути правильними. Ми всі граємо свої обличчя як 100-частинний оркестр, і здатні це робити, тоді як програмне забезпечення діпфейків аргументно не має хоча б струнного відділу.

Диспаритет афекту в вираженнях

Фасові рухи та їхній вплив на нас не є однорідною мовою для всіх облич; піднята брова, яка виглядає безтурботно на Роджера Мура, могла б виглядати менш складно на Сета Рогана, тоді як седуктивна привабливість Мерилін Монро могла б перекласти негативні емоції, якщо діпфейкові на людину, чиє найбільш доступне амплуа – «злий» або «дисафектований» (наприклад, персонаж Обрі Плази протягом семи сезонів «Парків та зон відпочинку»).

Тому піксель-до-пікселя еквівалентність між наборами А/Б не обов’язково корисна в цьому відношенні; але це все, що пропонується в програмному забезпеченні діпфейків з відкритим джерелом.

Що аргументно потрібно, це рамкова структура діпфейків, яка не тільки може розпізнавати вираження та інферувати емоції, але й має можливість втілювати високорівневі концепції, такі як злий, сексуальний, нудний, втомлений тощо, і категоризувати ці емоції та їхні пов’язані вираження в кожному з двох наборів облич, а не вивчати та реплікувати розташування рота чи повік.

Перша публікація 3 лютого 2022 року. Оновлено 7:47 вечора EET, неправильна атрибуція імені.