Потоковая передача DeepFake в реальном времени с DeepFaceLive

Наиболее используемое в мире программное обеспечение для создания дипфейков, которое наиболее тесно связано с дипфейковым порно, получает новую реализацию – возможность накладывать дипфейки, изображающие знаменитостей, на кадры, снятые с веб-камеры в реальном времени.

Репозиторий с открытым исходным кодом DeepFaceLive это приложение для Windows 10, построенное на основе DeepFaceLab, который быстро стал ведущим ресурсом для обмена лицами на основе порно после того, как создатель оригинального программного обеспечения для дипфейков отказался от проекта вскоре после появления дипфейков, вызвавших всемирную полемику в 2018 году. Оба проекта список раздел форума фейкового порносайта mrdeepfakes в качестве официального ресурса поддержки.

В видеоролике об интерфейсе DeepFaceLive, выпущенном разработчиком Иваном Петровым в апреле, мы видим загруженные кадры, на которых имитатор Майлз Фишер превращается в Тома Круза в режиме реального времени. Источник: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Вчера лид обоих проектов, российский разработчик Иван Петров, объявило новую версию DeepFaceLive в группе Discord проекта, отмечая, что DeepFaceLive теперь включает в себя обученную модель актрисы Марго Робби, которая часто появляется в порнографических видео на mrdeepfakes.

Были загружены четыре образца видеоклипа, чтобы продемонстрировать способность DeepFaceLive прикреплять личность Робби к любому выступающему в веб-камере.

Одна из демонстраций живого дипфейка Марго Робби. Источник: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Видео с трансформацией Робби изначально были опубликованы на Twitch, но впоследствии были удалены.

Три других примера смены лица предоставлены DeepFaceLive. Требование приблизительного совпадения лица с целевым субъектом все еще в силе. На нижнем левом изображении мы видим, что программное обеспечение не может эффективно маскировать препятствия, как это может быть достигнуто в DeepFaceLab, поскольку для этого требуются тренировочные маски в XSeg-приложение DeepFaceLab, метод, который нельзя применять для подделки в реальном времени.

Обещано, что вскоре для DeepFaceLive будет доступна дополнительная стандартная модель британского комика и актера Роуэна Аткинсона. Первоначально в репозитории DeepFaceLive была категория CELEB_MODEL, где можно было загрузить других знаменитостей, в том числе Тома Круза, как Open Neural Network Exchange (.onnx), хотя эти каталоги с тех пор были удалены.

Том Круз был включен в бета-версию DeepFaceLive еще в апреле 2021 года, но с тех пор, по-видимому, был удален из пакета по умолчанию. Однако модель можно загрузить и установить вместе с обученными моделями многих других знаменитостей и пользовательскими моделями, обученными конечными пользователями.

DeepFaceLive работает исключительно как приложение для Windows 10 и переправу одним пользователем, чтобы хорошо работать с прямой трансляцией NVIDIA Трансляции Приложение.

Получение личности

Пользователям не нужно проходить трудоемкий процесс сбора материала лица для набора данных, за которым следует 3-10 дней, необходимых для получения очень хорошего совпадения, поскольку в FAQ для DeepFaceLive говорится, что он может использовать готовые «общедоступные модели лица». ', которые уже были скомпилированы другими создателями. По сути, крупнейшим источником таких моделей является Форум-обученные модели (ссылка на архив) ветка на порносайте mrdeepfakes, которую можно увидеть в использовании одним русским конечным пользователем в недавнее видео на YouTube.

Владислав Педро использует DeepFaceLive, чтобы превратиться в Тома Круза в режиме реального времени. Модель, которую он загружает в видео, размещена на mrdeepfakes и до сих пор использовалась для автономной обработки дипфейков. Источник: https://www.youtube.com/watch?v=0TcCKtObSnI

Хотя наилучшие результаты можно получить, тренируя лицо конечного пользователя на фоне целевой знаменитости, качество симуляции, по-видимому, прямо пропорционально тому, насколько близко конечный пользователь похож на цель. Когда пользователь относительно хорошо приспособлен к знаменитости, можно получить убедительный результат.

Как видно из последних трех замен Марго Робби на изображениях выше, программное обеспечение не может творить чудеса, когда лицо конечного пользователя имеет радикально разные общие характеристики. Однако DeepFaceLab также может выполнять полную замену головы, процесс, который полностью перезаписывает исходную голову, хотя и с ограничениями в отношении причесок. Комментарии на сервере Discord подтверждают, что они также могут быть реализованы в DeepFaceLive.

В настоящее время DeepFaceLive поддерживает только графические процессоры NVIDIA, а GTX 750 — самое низкое аппаратное обеспечение, которое может дать приемлемый результат с приложением. На видеокарте с 4 ГБ видеопамяти также требуется 32 ГБ места на диске подкачки.

Тренировка модели Марго Робби — образ размещены на DeepFaceLab/DeepFaceLive Discord Ивана Петрова. Здесь мы видим, что исходный набор данных чрезвычайно разнообразен, по-видимому, с целью создания надежной и хорошо обобщенной модели, которая может преобразовать широкий спектр типов лица в образ австралийской актрисы. Большинство наборов «А» обычно принадлежат одному человеку.

Пользователи сообщают, что DeepFaceLive чрезвычайно требователен к аппаратным ресурсам, но Петров ответил на это, утверждая, что DeepFaceLive предназначен для ПК с хорошими характеристиками в помещении.

GitHub DeepFaceLab был раздвоенный более 6,000 раз, в то время как новый DeepFaceLive в настоящее время имеет 85 форков.

Возможное использование

Комментаторы в нить (русский язык) на российском социальном сайте VK.com размышляют о возможном использовании DeepFaceLive и, похоже, определили все возможные применения программного обеспечения: в качестве «анонимизации» или развлекательного фильтра в Zoom и подобных приложениях; как средство совершения мошенничества или введения в заблуждение человека, наблюдающего прямую трансляцию; и - возможно, наиболее вероятно, в свете происхождения программного обеспечения и пользовательской базы - как средство реализации секс-работы с использованием веб-камеры, ориентированной на знаменитостей (см. Изображение в конце статьи).

Возможность «дипфейковых девушек с веб-камеры» появившийся в СМИ пару лет назад. В 2020 году приложение Avatarify объявило Deepfake функциональность веб-камеры знаменитости, но с качеством значительно ниже чем стандарт, установленный DeepFaceLab, который сейчас репозиторий по выбору за последние заголовок захвата Дипфейкер Тома Круза Крис Уме, а также высокопоставленные кино- и телекомпании по всему миру.

DeepFaceLab, исходное приложение для DeepFaceLive и переправу (русскоязычная) платформа для 95% всех дипфейков на YouTube, также является программным обеспечением, используемым Shamook, дипфейкером, чьи экстраординарные работает на улучшение появления Люка Скайуокера в качестве гостя в «Мандалорце», недавно вдохновленном Lucasfilm нанять его в качестве консультанта по визуальным эффектам.

Адаптирован к ограничениям дипфейков

Методология программного обеспечения дипфейка, такого как DeepFaceLab и обмен лицами хорошо обслуживается типичной средой веб-камеры и устраняет многие препятствия на пути к подлинности, которые все еще могут мешать дипфейкам в автономном режиме.

Например, дипфейки работают менее убедительно, когда пользователь поворачивается к профилю (или смотрит вверх), быстро перемещается или подвергается смене сцены или внезапным изменениям освещения.

Поэтому «статический» характер типичного вызова Zoom или веб-камеры играет на сильных сторонах программного обеспечения. Многие из наиболее почитаемых примеров дипфейкового обмана за последние три года показывали говорящих, обращенных прямо в камеру и очень мало двигавшихся в ограниченной среде, например, наложение Стива Бушеми на Дженнифер Лоуренс. на церемонии вручения Оскараи трансформация различных политических передач «на камеру».

Возможно, наиболее вероятное использование модели Марго Робби по умолчанию, включенной в DeepFaceLive — тестовое видео реализации камеры. опубликованный на Discord DeepFaceLab от российского пользователя NoFace.

Исправлено 8:52 7 августа - Исправлена ​​фамилия.
Исправлено 8:30 8 августа — добавлены изображения из Discord.