Потоковая передача DeepFake в реальном времени с DeepFaceLive

Самое популярное в мире программное обеспечение для создания глубоких фейков, которое прочно ассоциируется с глубоким фейковым порно, получает новую реализацию — возможность накладывать глубокую подделку изображений знаменитостей на трансляцию с веб-камеры в реальном времени.

Репозиторий с открытым исходным кодом DeepFaceLive это приложение для Windows 10, построенное на основе DeepFaceLab, который быстро стал ведущим ресурсом для обмена лицами на основе порно после того, как создатель оригинального программного обеспечения для дипфейков отказался от проекта вскоре после появления дипфейков, вызвавших всемирную полемику в 2018 году. Оба проекта список раздел форума фейкового порносайта mrdeepfakes в качестве официального ресурса поддержки.

В видеоролике об интерфейсе DeepFaceLive, выпущенном разработчиком Иваном Петровым в апреле, мы видим загруженные кадры, на которых имитатор Майлз Фишер превращается в Тома Круза в режиме реального времени. Источник: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Вчера лид обоих проектов, российский разработчик Иван Петров, объявил новую версию DeepFaceLive в группе проекта Discord, отметив, что DeepFaceLive теперь включает обученную модель актрисы Марго Робби, частой героини порнографических видеороликов на mrdeepfakes.

Были загружены четыре образца видеоклипа, чтобы продемонстрировать способность DeepFaceLive прикреплять личность Робби к любому выступающему в веб-камере.

Одна из демонстраций живого дипфейка Марго Робби. Источник: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Видео с трансформацией Робби изначально были опубликованы на Twitch, но впоследствии были удалены.

Три других примера смены лица предоставлены DeepFaceLive. Требование приблизительного совпадения лица с целевым субъектом все еще в силе. На нижнем левом изображении мы видим, что программное обеспечение не может эффективно маскировать препятствия, как это может быть достигнуто в DeepFaceLab, поскольку для этого требуются тренировочные маски в XSeg-приложение DeepFaceLab, метод, который нельзя применять для подделки в реальном времени.

Обещано, что вскоре для DeepFaceLive будет доступна дополнительная стандартная модель британского комика и актера Роуэна Аткинсона. Первоначально в репозитории DeepFaceLive была категория CELEB_MODEL, где можно было загрузить других знаменитостей, в том числе Тома Круза, как Open Neural Network Exchange (.onnx), хотя эти каталоги с тех пор были удалены.

Том Круз был включен в бета-версию DeepFaceLive еще в апреле 2021 года, но с тех пор, по-видимому, был удален из пакета по умолчанию. Однако модель можно загрузить и установить вместе с обученными моделями многих других знаменитостей и пользовательскими моделями, обученными конечными пользователями.

DeepFaceLive работает исключительно как приложение для Windows 10 и сообщал одним пользователем для эффективной работы с потоковой трансляцией NVIDIA Трансляции Приложение.

Получение личности

Пользователям не нужно проходить трудоёмкий процесс сбора данных для набора данных, а затем тратить 3–10 дней на получение максимально точного соответствия, поскольку в FAQ DeepFaceLive указано, что он может использовать готовые «публичные модели лиц», уже собранные другими разработчиками. Фактически, крупнейшим источником таких моделей является Форум-обученные модели (ссылка на архив) ветка на порносайте mrdeepfakes, которую можно увидеть в использовании одним русским конечным пользователем в недавнее видео на YouTube.

Владислав Педро использует DeepFaceLive, чтобы превратиться в Тома Круза в режиме реального времени. Модель, которую он загружает в видео, размещена на mrdeepfakes и до сих пор использовалась для автономной обработки дипфейков. Источник: https://www.youtube.com/watch?v=0TcCKtObSnI

Хотя наилучшие результаты будут получены при обучении лица конечного пользователя на основе целевой знаменитости, качество симуляции, по-видимому, напрямую зависит от того, насколько близко конечный пользователь похож на целевую знаменитость. Если лицо пользователя относительно точно соответствует знаменитости, можно получить убедительный результат.

Как видно из последних трёх замен Марго Робби на изображениях выше, программа не способна творить чудеса, если лицо конечного пользователя имеет радикально отличающиеся общие характеристики. Однако DeepFaceLab также может выполнять полную замену головы, процесс, который полностью перезаписывает исходную голову, хотя и с ограничениями в отношении причесок. Комментарии на сервере Discord подтверждают, что они также могут быть реализованы в DeepFaceLive.

В настоящее время DeepFaceLive поддерживает только графические процессоры NVIDIA, а GTX 750 — самое низкое аппаратное обеспечение, которое может дать приемлемый результат с приложением. На видеокарте с 4 ГБ видеопамяти также требуется 32 ГБ места на диске подкачки.

Тренировка модели Марго Робби — образ размещены на Discord-конференции DeepFaceLab/DeepFaceLive Ивана Петрова. Здесь мы видим, что исходный набор данных чрезвычайно разнообразен, очевидно, с целью создания надёжной и хорошо обобщённой модели, способной преобразовать широкий спектр типов лица в образ австралийской актрисы. Большинство наборов «A» обычно относятся к одному человеку.

Пользователи сообщают, что DeepFaceLive чрезвычайно требователен к аппаратным ресурсам, но Петров ответил на это, утверждая, что DeepFaceLive предназначен для ПК с хорошими характеристиками в помещении.

GitHub DeepFaceLab был раздвоенный более 6,000 раз, в то время как новый DeepFaceLive в настоящее время имеет 85 форков.

Возможное использование

Комментаторы в нить (на русском языке) на российском сайте социальной сети VK.com размышляют о возможном использовании DeepFaceLive и, похоже, распознали все вероятные варианты применения этого программного обеспечения: в качестве «анонимизатора» или развлекательного фильтра в Zoom и подобных приложениях; как средство совершения мошенничества или обмана человека, смотрящего прямую трансляцию; и — что, пожалуй, наиболее вероятно, учитывая происхождение программного обеспечения и его пользовательскую базу — как средство реализации секс-индустрии с привлечением знаменитостей через веб-камеру (см. изображение в конце статьи).

Возможность существования «поддельных девушек на веб-камерах» появившийся в СМИ пару лет назад. В 2020 году приложение Avatarify объявил Deepfake функциональность веб-камеры знаменитости, но с качеством значительно ниже чем стандарт, установленный DeepFaceLab, который сейчас репозиторий по выбору за последние заголовок захвата Дипфейкер Тома Круза Крис Уме, а также высокопоставленные кино- и телекомпании по всему миру.

DeepFaceLab, исходное приложение для DeepFaceLive и сообщал (русскоязычная) платформа для 95% всех дипфейков на YouTube, также является программным обеспечением, используемым Shamook, дипфейкером, чьи экстраординарные работает об улучшении гостевого появления Люка Скайуокера в «Мандалорце» недавно вдохновил Lucasfilm нанять его в качестве консультанта по визуальным эффектам.

Адаптирован к ограничениям дипфейков

Методология программного обеспечения дипфейка, такого как DeepFaceLab и обмен лицами хорошо обслуживается типичной средой веб-камеры и устраняет многие препятствия на пути к подлинности, которые все еще могут мешать дипфейкам в автономном режиме.

Например, дипфейки работают менее убедительно, когда пользователь поворачивается к профилю (или смотрит вверх), быстро перемещается или подвергается смене сцены или внезапным изменениям освещения.

Таким образом, «статичность» типичного звонка через Zoom или веб-камеру играет на руку программному обеспечению. Многие из самых известных примеров дипфейков за последние три года представляли собой публичные выступления, обращенные прямо к камере и практически не двигающиеся в ограниченном пространстве, например, наложение Стива Бушеми на Дженнифер Лоуренс. на церемонии вручения Оскараи трансформация различных политических трансляций «на камеру».

Возможно, наиболее вероятное использование модели Марго Робби по умолчанию, включенной в DeepFaceLive — тестовое видео реализации камеры. опубликовала на Discord-форуме DeepFaceLab российским пользователем NoFace.

Исправлено 8:52 7 августа - Исправлена ​​фамилия.
Исправлено 8:30 8 августа — добавлены изображения из Discord.