Реальное Время Потоковое Видео С DeepFaceLive

Самое используемое программное обеспечение для создания глубоких подделок, и то, которое наиболее сильно ассоциируется с порнографическими глубокими подделками, получает новую реализацию – возможность наложения глубоких подделок на видеопоток веб-камеры в режиме реального времени.

Открытый репозиторий DeepFaceLive – это приложение для Windows 10, построенное на основе DeepFaceLab, которое быстро стало ведущим ресурсом для создания порнографических глубоких подделок после того, как создатель оригинального программного обеспечения для создания глубоких подделок отказался от проекта вскоре после того, как создание глубоких подделок вызвало мировой скандал в 2018 году. Оба проекта списывают раздел форума сайта порнографических глубоких подделок mrdeepfakes в качестве официального ресурса поддержки.

В видео интерфейса DeepFaceLive, опубликованном разработчиком Иваном Петровым в апреле, мы видим, как скачанное видео имитатора Майлса Фишера превращается в Тома Круза в режиме реального времени. Источник: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Вчера лидер обоих проектов, российский разработчик Иван Петров, объявил о новой версии DeepFaceLive в группе Discord проекта, отметив, что DeepFaceLive теперь включает обученную модель актрисы Марго Робби, которая часто является объектом порнографических видео на mrdeepfakes.

Четыре образца видеоклипов были загружены, чтобы продемонстрировать способность DeepFaceLive присоединить идентичность Робби к любому диктору в потоке веб-камеры.

Одна из демонстраций Марго Робби живого глубокого подделывания. Источник: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Видеоролики с трансформацией Робби были первоначально поделены на Twitch, но затем удалены.

Три других примера замены лиц, предоставленные DeepFaceLive. Требование приблизительного совпадения лица с целевым объектом все еще присутствует. На нижнем левом изображении мы видим, что программное обеспечение не может эффективно маскировать препятствия, как это можно сделать в DeepFaceLab, поскольку это требует обучения масок в приложении XSeg DeepFaceLab, метод, который не может быть применен к реальному подделыванию.

Дополнительная модель по умолчанию, британского комика и актера Роуэна Аткинсона, обещает быть доступной для DeepFaceLive скоро. Первоначально репозиторий DeepFaceLive включал категорию CELEB_MODEL, где можно было скачать других знаменитостей, включая Тома Круза, в виде файлов Open Neural Network Exchange (.onnx), хотя эти каталоги были удалены.

Том Круз был включен в бета-версию DeepFaceLive в апреле 2021 года, но, по-видимому, был удален из пакета по умолчанию. Однако модель можно скачать и установить, вместе с обученными моделями многих других знаменитостей, и настраиваемыми моделями, обученными конечными пользователями.

DeepFaceLive работает исключительно как приложение для Windows 10 и, по сообщениям одного пользователя, работает хорошо с приложением NVIDIA для прямой трансляции Broadcast.

Получение Идентичностей

Пользователям не нужно проходить трудоемкий процесс сбора материала лица для набора данных, за которым следует 3-10 дней, необходимых для получения очень хорошего совпадения, поскольку FAQ для DeepFaceLive гласит, что оно может использовать готовые ‘публичные модели лица’, которые уже были скомпилированы другими создателями. По сути, крупнейшим источником таких моделей является Forum-Trained Models (архивная ссылка) на сайте порнографических глубоких подделок mrdeepfakes, который можно увидеть в использовании одним российским конечным пользователем в недавнем видео на YouTube.

Владислав Педро использует DeepFaceLive для превращения себя в Тома Круза в режиме реального времени. Модель, которую он загружает в видео, размещена на mrdeepfakes и использовалась до сих пор для офлайн-переработки глубоких подделок. Источник: https://www.youtube.com/watch?v=0TcCKtObSnI

Хотя лучшие результаты будут получены путем обучения лица конечного пользователя против целевой знаменитости, качество симуляции, кажется, находится в прямой пропорции к тому, насколько близко конечный пользователь похож на знаменитость. Когда пользователь относительно хорошо подходит к знаменитости, можно получить убедительный результат.

Как видно из последних трех замен Марго Робби на изображениях выше, программное обеспечение не может совершать чудеса, когда лицо конечного пользователя имеет радикально разные общие характеристики. Однако DeepFaceLab также может выполнять полную замену головы, процесс, который полностью переписывает исходную голову, хотя и с ограничениями в отношении причесок. Комментарии на сервере Discord подтверждают, что эти также могут быть реализованы в DeepFaceLive.

DeepFaceLive в настоящее время поддерживает только графические процессоры NVIDIA, с GTX 750 как наименьшим оборудованием, которое может получить разумный результат с приложением. На графической карте с 4 ГБ видеопамяти также требуется 32 ГБ места на диске подкачки.

Обучение модели Марго Робби – изображение, опубликованное на Discord DeepFaceLab/DeepFaceLive Иваном Петровым. Здесь мы видим, что исходный набор данных чрезвычайно разнообразен, видимо, с целью создания прочной и хорошо обобщенной модели, которая может преобразовать широкий спектр типов лица в образ австралийской актрисы. Большинство наборов ‘A’ обычно состоят из одного человека.

Пользователи сообщают, что DeepFaceLive чрезвычайно требователен к ресурсам оборудования, но Петров ответил на это, заявив, что DeepFaceLive предназначен для хорошо оснащенных компьютеров в помещении.

Репозиторий DeepFaceLab на GitHub был форкнут более 6 000 раз, в то время как новый DeepFaceLive в настоящее время имеет 85 форков.

Возможные Использования

Комментаторы в потоке (русский язык) на российском социальном сайте VK.com размышляют о возможных использованиях DeepFaceLive и, по-видимому, обнаружили все вероятные применения программного обеспечения: в качестве ‘анонимизации’ или рекреационного фильтра в Zoom и аналогичных приложениях; в качестве средства для совершения мошенничества или обмана человека, наблюдающего за прямой трансляцией; и – возможно, наиболее вероятно, учитывая происхождение программного обеспечения и его пользовательскую базу – в качестве средства реализации фокусированных на знаменитостях веб-камерных работ на основе секса (см. изображение в конце статьи).

Возможность ‘глубоких подделок веб-камер’ появилась в СМИ пару лет назад. В 2020 году приложение Avatarify объявило о функции глубоких подделок веб-камеры, но на уровне качества, значительно ниже, чем стандарт, установленный DeepFaceLab, который теперь является репозиторием выбора для недавних заголовков Tom Cruise deepfaker Chris Ume, а также высокоуровневых кинокомпаний и телепродюсеров по всему миру.

DeepFaceLab, базовое приложение для DeepFaceLive и отчет (русский язык) о каркасе 95% всех глубоких подделок на YouTube, также является программным обеспечением, используемым Shamook, глубоким подделщиком, чья необыкновенная работа по улучшению гостевого появления Люка Скайуокера в The Mandalorian недавно вдохновила Lucasfilm нанять его в качестве консультанта по визуальным эффектам.

Адаптировано к Ограничениям Глубоких Подделок

Методология программного обеспечения для создания глубоких подделок, такого как DeepFaceLab и FaceSwap, хорошо обслуживается типичной средой веб-камеры, и удаляет многие препятствия к аутентичности, которые все еще могут преследовать офлайн-глубокие подделки.

Например, глубокие подделки работают менее убедительно, когда пользователь поворачивается в профиль (или смотрит вверх), быстро движется или подвергается изменениям сцены или внезапным изменениям освещения.

Следовательно, ‘статический’ характер типичного вызова Zoom или веб-камеры играет на сильных сторонах программного обеспечения. Многие из наиболее уважаемых примеров трюков глубоких подделок за последние три года включали дикторов, смотрящих прямо в камеру и двигающихся очень мало в ограниченной среде, такой как наложение Стива Бусцеми на Дженнифер Лоуренс на церемонии вручения Оскара, и преобразование различных ‘в камеру’ политических трансляций.

Самое вероятное использование модели Марго Робби по умолчанию, включенной в DeepFaceLive – тест видео реализации веб-камеры, опубликованный на Discord DeepFaceLab российским пользователем ‘NoFace’.

Исправлено 8:52 вечера 7 августа – исправлена фамилия.
Исправлено 8:30 вечера 8 августа – добавлены изображения из Discord.