Потокове передавання DeepFake у реальному часі за допомогою DeepFaceLive

Найбільш використовуване у світі програмне забезпечення deepfake і те, що найбільше асоціюється з deepfake порно, отримує нову реалізацію – можливість накладати deepfake подоби знаменитостей на відео з веб-камери.

Репозиторій з відкритим кодом DeepFaceLive це програма для Windows 10, створена на основі DeepFaceLab, який швидко став провідним ресурсом для обміну обличчями на основі порнографії після того, як творець оригінального програмного забезпечення deepfake покинув проект невдовзі після того, як поява deepfake спричинила суперечки у всьому світі у 2018 році. Обидва проекти список розділ форуму порносайту deepfake mrdeepfakes як офіційний ресурс підтримки.

У відео з інтерфейсом DeepFaceLive, опублікованому розробником Іваном Петровим у квітні, ми бачимо завантажені кадри, як імітатор Майлз Фішер перетворюється на Тома Круза в реальному часі. Джерело: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Вчора лідер обох проектів, російський розробник Іван Петров, оголошений нову версію DeepFaceLive у групі Discord проекту, зазначивши, що DeepFaceLive тепер включає в себе треновану модель актриси Марго Роббі, яка часто є об’єктом порнографічних відео на mrdeepfakes.

Було завантажено чотири зразки відеокліпів, щоб продемонструвати здатність DeepFaceLive прикріплювати особу Роббі до будь-якого мовця в каналі веб-камери.

Одна з демонстрацій Марго Роббі живого діпфекінгу. Джерело: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Відео про трансформацію Роббі спочатку було розміщено на Twitch, але згодом видалено.

Три інші приклади зміни обличчя, надані DeepFaceLive. Вимога щодо приблизного збігу обличчя з цільовим суб'єктом все ще є доказом. На нижньому лівому зображенні ми бачимо, що програмне забезпечення не може ефективно маскувати перешкоди, як це можна досягти в DeepFaceLab, оскільки для цього потрібні навчальні маски в Додаток XSeg DeepFaceLab, метод, який не можна застосувати до фальсифікації в реальному часі.

Обіцяно, що додаткова типова модель британського коміка та актора Роуена Аткінсона незабаром буде доступна для DeepFaceLive. Спочатку репозиторій DeepFaceLive містив категорію CELEB_MODEL, де можна було завантажити інших знаменитостей, у тому числі Тома Круза, як Open Neural Network Exchange (.onnx), хоча ці каталоги згодом було видалено.

Том Круз був інтегрованим ідентифікатором для бета-версії DeepFaceLive ще в квітні 2021 року, але з тих пір, очевидно, був видалений як стандартний у пакеті. Однак цю модель можна завантажити та встановити разом із навченими моделями від багатьох інших знаменитостей, а також власними моделями, навченими кінцевими користувачами.

DeepFaceLive працює виключно як програма для Windows 10 і є такою повідомляє одним користувачем, щоб добре працювати з NVIDIA у прямому ефірі Віщати Додаток.

Отримання ідентифікаторів

Користувачам не потрібно проходити трудомісткий процес збору матеріалу обличчя для набору даних, а потім 3-10 днів, необхідних для отримання дуже хорошої відповідності, оскільки в поширених запитаннях щодо DeepFaceLive зазначено, що можна використовувати готові публічні моделі облич. ', які вже були зібрані іншими авторами. По суті, найбільшим джерелом таких моделей є Моделі, які пройшли навчання на форумі (посилання на архів) на порносайті mrdeepfakes, який можна побачити у використанні одним російським кінцевим користувачем у недавнє відео на YouTube.

Владислав Педро використовує DeepFaceLive, щоб перетворити себе на Тома Круза в реальному часі. Модель, яку він завантажує у відео, розміщена на mrdeepfakes і досі використовувалася для обробки глибоких фейків в автономному режимі. Джерело: https://www.youtube.com/watch?v=0TcCKtObSnI

Незважаючи на те, що найкращі результати можна отримати, навчивши обличчя кінцевого користувача проти цільової знаменитості, якість симуляції, здається, прямо пропорційна тому, наскільки кінцевий користувач схожий на ціль. Коли користувач відносно добре підходить до знаменитості, можна отримати переконливий результат.

Як видно з останніх трьох змін Марго Роббі на зображеннях вище, програмне забезпечення не може творити чудеса, коли обличчя кінцевого користувача має радикально інші загальні характеристики. Однак DeepFaceLab також може виконувати повну зміну голови, процес, який повністю перезаписує вихідну голову, хоча й з обмеженнями щодо зачісок. Коментарі на сервері Discord підтверджують, що їх також можна реалізувати в DeepFaceLive.

Наразі DeepFaceLive підтримує лише графічні процесори NVIDIA, причому GTX 750 є найнижчим апаратним забезпеченням, яке може отримати прийнятний результат із програмою. Для відеокарти з 4 ГБ відеопам’яті також потрібно 32 ГБ вільного місця на диску підкачки.

Тренування моделі Марго Роббі – образ розміщені на DeepFaceLab/DeepFaceLive Discord від Івана Петрова. Тут ми бачимо, що вихідний набір даних надзвичайно різноманітний, очевидно, з наміром створити надійну та добре узагальнену модель, яка може трансформувати широкий діапазон типів обличчя в образ австралійської актриси. Більшість наборів «А» зазвичай складається з однієї особини.

Користувачі повідомляють, що DeepFaceLive надзвичайно вимогливий з точки зору апаратних ресурсів, але Петров відповів на це, стверджуючи, що DeepFaceLive призначений для комп’ютерів із високими специфікаціями в приміщенні.

DeepFaceLab GitHub був вилка понад 6,000 разів, тоді як новий DeepFaceLive наразі має 85 розгалужень.

Можливе використання

Коментатори в a нитка (російською мовою) на російському соціальному сайті VK.com міркують про можливі варіанти використання DeepFaceLive і, схоже, розпізнали всі ймовірні програми програмного забезпечення: як «анонімізація» або рекреаційний фільтр у Zoom та подібних програмах; як засіб для вчинення шахрайства або обману особи, яка дивиться пряму трансляцію; і – ймовірно, найімовірніше, з огляду на походження програмного забезпечення та базу користувачів – як засіб реалізації секс-роботи на основі веб-камер, орієнтованої на знаменитостей (див. зображення в кінці статті).

Можливість «deepfake cam girls» з'явився у ЗМІ пару років тому. У 2020 році додаток Avatarify оголошений функціональність веб-камери знаменитостей deepfake, але значної якості знизити ніж стандарт, встановлений DeepFaceLab, який зараз є сховище вибору за останні захоплення заголовка Дипфейкер Тома Круза Кріс Уме, а також кіно- та телекомпанії високого рівня по всьому світу.

DeepFaceLab, початкова програма для DeepFaceLive і повідомляє (російською мовою) фреймворк для 95% усіх дипфейків на YouTube також є програмним забезпеченням, яке використовує Shamook, дипфейкер, чий надзвичайний робота Лукасфільм нещодавно надихнув на покращення гостя Люка Скайвокера у фільмі «Мандалорець». щоб найняти його як VFX консультант.

Адаптовано до обмежень Deepfake

Методологія програмного забезпечення deepfake, такого як DeepFaceLab і Заміна обличчя добре обслуговується типовим середовищем веб-камери та усуває багато перешкод на шляху автентичності, які все ще можуть заважати офлайновим глибоким фейкам.

Наприклад, глибокі фейки діють менш переконливо, коли користувач повертається до профілю (або дивиться вгору), швидко рухається або зазнає змін сцени чи раптової зміни освітлення.

Тому «статична» природа типового виклику Zoom або веб-камери сприяє сильній стороні програмного забезпечення. У багатьох найбільш шанованих прикладах обману deepfake за останні три роки виступаючі були спрямовані прямо в камеру та дуже мало рухалися в обмеженому середовищі, як-от нав’язування Стіва Бушемі Дженніфер Лоуренс на промові вручення премії Оскар, а також перетворення різноманітних політичних трансляцій «на камеру».

Ймовірно, найбільш імовірне використання моделі Марго Роббі за замовчуванням, включеної в DeepFaceLive – тестове відео з використанням камери опублікований на DeepFaceLab Discord від російського користувача «NoFace».

Змінено 8:52 7 серпня – виправлене прізвище.
Змінено 8:30 вечора 8 серпня – додано зображення з Discord.