Реальний час потоку DeepFake з DeepFaceLive

Найбільш використовуване програмне забезпечення для створення deepfake, і те, яке найсильніше асоціюється з порнографічними deepfake, отримує нову реалізацію – можливість накладення deepfake подібності знаменитості на живе відео з веб-камери.

Відкритий репозиторій DeepFaceLive – це додаток для Windows 10, побудований на основі DeepFaceLab, який швидко став провідним ресурсом для створення порнографічних deepfake після того, як творець оригінального програмного забезпечення для створення deepfake покинув проект невдовзі після того, як deepfake викликали світову контроверсію у 2018 році. Обидва проекти перераховують розділ форуму сайту порнографічних deepfake mrdeepfakes як офіційний ресурс підтримки.

У відео інтерфейсу DeepFaceLive, опублікованому розробником Іваном Петровим у квітні, ми бачимо завантажене відео імпресіоніста Майлза Фішера, перетвореного на Тома Круза в реальному часі. Джерело: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Вчора лідер обидвох проектів, російський розробник Іван Петров, оголосив про нову версію DeepFaceLive на групі Discord проекту, зазначивши, що DeepFaceLive тепер включає навчену модель акторки Марго Роббі, яка часто з’являється у порнографічних відео на mrdeepfakes.

Чотири зразкові відеокліпи були завантажені, щоб продемонструвати можливість DeepFaceLive прикріпити ідентичність Роббі до будь-якого диктора у веб-камері.

Одна з демонстрацій Марго Роббі живого deepfake. Джерело: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Відео з перетворенням Роббі спочатку були поділілися на Twitch, але потім були видалені.

Три інші приклади заміни обличчя, надані DeepFaceLive. Вимога щодо приблизного збігу обличчя з цільовим об’єктом все ще існує. У нижньому лівому зображенні ми бачимо, що програмне забезпечення не може ефективно маскувати перешкоди, як це можна зробити в DeepFaceLab, оскільки це вимагає навчання масок у застосунку XSeg DeepFaceLab, метод, який не може бути застосований до фейкової обробки в реальному часі.

Додаткова модель за замовчуванням, британського коміка і актора Ровена Аткінсона, обіцяють зробити доступною для DeepFaceLive скоро. Спочатку репозиторій DeepFaceLive містив категорію CELEB_MODEL, де можна було завантажити інших знаменитостей, включаючи Тома Круза, у вигляді файлів Open Neural Network Exchange (.onnx), хоча ці каталоги були згодом видалені.

Том Круз був включений до ідентичності бета-версії DeepFaceLive у квітні 2021 року, але згодом, як здається, був видалений як ідентичність за замовчуванням у пакеті. Однак модель можна завантажити та встановити, разом з навченими моделями багатьох інших знаменитостей, і користувацькими навченими моделями.

DeepFaceLive працює виключно як додаток для Windows 10 і, як повідомляється, працює добре з додатком NVIDIA для прямої трансляції Broadcast.

Отримання ідентичностей

Користувачам не потрібно проходити через трудомісткий процес збору матеріалів для набору даних, а потім чекати 3-10 днів, необхідних для отримання дуже хорошого збігу, оскільки FAQ для DeepFaceLive зазначає, що воно може використовувати готові “публічні моделі обличчя”, які вже були складені іншими творцями. Насправді, найбільшим джерелом таких моделей є Forum-Trained Models (архівна посилання) на сайті порнографічних deepfake mrdeepfakes, яке можна побачити в використанні одним російським користувачем у недавньому відео на YouTube.

Владислав Педро використовує DeepFaceLive для перетворення себе на Тома Круза в реальному часі. Модель, яку він завантажує у відео, розміщена на mrdeepfakes і використовувалася до цього моменту для офлайн-обробки deepfake. Джерело: https://www.youtube.com/watch?v=0TcCKtObSnI

Хоча найкращі результати будуть отримані шляхом навчання обличчя користувача проти цільової знаменитості, якість симуляції здається бути прямо пропорційною до того, наскільки добре користувач нагадує знаменитість. Коли користувач відносно добре підходить до знаменитості, можна отримати переконливий результат.

Як видно з останніх трьох замінах Марго Роббі на зображеннях вище, програмне забезпечення не може виконувати чудеса, коли обличчя користувача має радикально різні загальні характеристики. Однак DeepFaceLab також може виконувати повну заміну голови, процес, який повністю переписує джерельну голову, хоча з обмеженнями щодо стилів волосся. Коментарі на сервері Discord підтверджують, що ці можливості також можуть бути реалізовані в DeepFaceLive.

DeepFaceLive зараз підтримує тільки графічні процесори NVIDIA, з GTX 750 як мінімальним апаратним забезпеченням, яке може отримати прийнятний результат з додатком. На графічній карті з 4 ГБ відеопам’яті також потрібно 32 ГБ місця на диску для підкачки.

Навчання моделі Марго Роббі – зображення, опубліковане на Discord DeepFaceLab/DeepFaceLive Іваном Петровим. Тут ми бачимо, що джерельний набір даних дуже різноманітний, очевидно, з наміром створити надійну і добре узагальнену модель, яка може перетворити широкий спектр типів обличчя на зображення австралійської акторки. Більшість наборів даних ‘A’ зазвичай складаються з одного індивіда.

Користувачі повідомляють, що DeepFaceLive дуже вимогливий до апаратних ресурсів, але Петров відповів на це, заявивши, що DeepFaceLive призначений для потужних ПК у внутрішньому середовищі.

Репозиторій DeepFaceLab на GitHub був форкований понад 6 000 разів, тоді як новий DeepFaceLive зараз має 85 форків.

Можливі застосування

Коментатори у потоці (російською мовою) на російському соціальному сайті VK.com розмірковують про можливі застосування DeepFaceLive і, як здається, визначили всі ймовірні застосування програмного забезпечення: як “анонімізацію” або розважальну фільтр у Zoom і подібних додатках; як засіб для здійснення шахрайства або обману людини, яка дивиться прямий потік; і – можливо, найімовірніше, у світлі походження програмного забезпечення та його користувачів – як засіб реалізації камерної сексуальної праці, орієнтованої на знаменитостей (див. зображення в кінці статті).

Можливість “deepfake камерних дівчат” з’явилася у ЗМІ кілька років тому. У 2020 році додаток Avatarify оголосив про функціональність deepfake знаменитостей у веб-камері, хоча на рівні якості значно нижчому, ніж стандарт, встановлений DeepFaceLab, який зараз є репозиторієм вибору для недавніх заголовків про deepfake Тома Круза, створеного Крісом Уме, а також високорівневих кінематографічних і телевізійних виробництв у світі.

DeepFaceLab, базове програмне забезпечення для DeepFaceLive і звітний (російською мовою) каркас для 95% усіх deepfake на YouTube, також є програмним забезпеченням, яке використовує Shamook, deepfaker, чиє надзвичайне робіт над покращенням появи Люка Скайвокера у серіалі “Мандалорець” недавно надихнуло Lucasfilm найняти його як консультанта з візуальних ефектів.

Адаптовано до обмежень deepfake

Методологія програмного забезпечення deepfake, такого як DeepFaceLab і FaceSwap, добре підходить для типового середовища веб-камери, і усуває багато перешкод для автентичності, які все ще можуть турбувати офлайн-deepfake.

Наприклад, deepfake працюють менш переконливо, коли користувач повертається до профілю (або дивиться вгору), рухається швидко або піддається зміні сцени чи раптовим змінам освітлення.

Отже, “статичний” характер типового виклику Zoom або веб-камери грає на сильних сторонах програмного забезпечення. Багато з найшанованіших прикладів хитрості deepfake за останні три роки мали дикторів, які дивилися прямо в камеру і рухалися дуже мало у обмеженому середовищі, наприклад, накладення Стіва Бушемі на Дженніфер Лоуренс під час промови на Оскарі, і перетворення різних “до камери” політичних трансляцій.

Найбільш імовірне застосування моделі Марго Роббі за замовчуванням, включеної до DeepFaceLive – тест реалізації камери, опублікований на Discord DeepFaceLab російським користувачем ‘NoFace’.

Відредаговано 8:52 вечора 7 серпня – виправлено прізвище.
Відредаговано 8:30 вечора 8 серпня – додано зображення з Discord.