TikTok-Entwickler löschen Gesichter für Augmented-Reality-Anwendungen

ByteDance, das chinesische multinationale Internetunternehmen hinter TikTok, hat eine neue Methode entwickelt, um Gesichter in Videos zu löschen, damit Identitätsverzerrungen und andere bizarre Effekte auf Menschen in Augmented-Reality-Anwendungen aufgeprägt werden können. Das Unternehmen behauptet, dass die Technik bereits in kommerzielle Mobile-Produkte integriert wurde, obwohl es nicht angibt, welche Produkte dies sind.

Sobald Gesichter in Videos “gelöscht” wurden, gibt es genug “Gesichtskanvas”, um atemberaubende Verzerrungen zu erzeugen, sowie möglicherweise andere Identitäten aufzuprägen. Beispiele, die in einem neuen Papier von ByteDance-Forschern bereitgestellt werden, veranschaulichen die Möglichkeiten, einschließlich der Wiederherstellung der “gelöschten” Merkmale in verschiedenen komischen (und sicherlich einigen grotesken) Konfigurationen:

Einige der Möglichkeiten für die Gesichtsneukonfiguration, die im ByteDance-Papier enthalten sind. Quelle: https://arxiv.org/pdf/2109.10760.pdf

Ende August wurde bekannt, dass TikTok, die erste nicht-Facebook-App, die drei Milliarden Installs erreicht hat, TikTok Effect Studio (derzeit in geschlossener Beta) gestartet hat, eine Plattform für Augmented-Reality-Entwickler, um AR-Effekte für TikTok-Inhalte zu erstellen.

Effektiv ist das Unternehmen dabei, ähnliche Entwickler-Communities bei Facebook’s AR Studio und Snap AR aufzuholen, während Apples renommierte AR-R&D-Community auch bald von neuer Hardware innerhalb des nächsten Jahres profitieren wird.

Leere Ausdrücke

Das Papier, betitelt FaceEraser: Entfernen von Gesichtsteilen für Augmented Reality, weist darauf hin, dass bestehende In-Painting/Infill-Algorithmen, wie NVIDIA’s SPADE, eher auf das Vervollständigen von abgeschnittenen oder halb verdeckten Bildern als auf diese ungewöhnliche “Lösch”-Prozedur ausgerichtet sind, und dass bestehende Datensatzmaterial daher vorhersehbar knapp ist.

Da es keine verfügbaren Ground-Truth-Datensätze für Menschen gibt, die eine solide Fläche von Fleisch haben, wo ihr Gesicht sein sollte, haben die Forscher ein neues Netzwerkarchitektur-Modell namens Pixel-Klon erstellt, das in bestehende neuronale In-Painting-Modelle eingefügt werden kann und das Probleme im Zusammenhang mit Textur- und Farbinkonsistenzen löst, die (wie das Papier bescheinigt) von älteren Methoden wie StructureFlow und EdgeConnect auftraten.

Allgemeine Arbeitsabläufe von Pixel-Klon im neuen Pipeline-Modell.

Um ein Modell auf “leere” Gesichter zu trainieren, schlossen die Forscher Bilder mit Brillen oder Haaren aus, die die Stirn verdecken, da der Bereich zwischen der Haarlinie und den Augenbrauen normalerweise die größte Gruppe von Pixeln ist, die “Übermal”-Material für die zentralen Merkmale des Gesichts liefern kann.

Vorbereitung von Trainingsbildern. Der Stirnbereich wird basierend auf Schlüsselpunkten in der Gesichtsalignierung herausgeschnitten, vertikal gedreht und genäht.

Ein 256×256-Pixel-Bild wird erhalten, eine kleine genug Größe, um in den latenten Raum eines neuronalen Netzes in Chargen zu füttern, die groß genug sind, um eine Verallgemeinerung zu erreichen. Spätere algorithmische Aufskalierung wird die notwendigen Auflösungen für die Arbeit im AR-Raum wiederherstellen.

Architektur

Das Netzwerk besteht aus drei inneren Netzen, bestehend aus Edge Completion, Pixel-Klon und einem Verfeinerungsnetz. Das Edge-Completion-Netz verwendet die gleiche Art von Encoder-Decoder-Architektur, die in EdgeConnect (siehe oben) und in den beiden beliebtesten Deepfake-Anwendungen verwendet wird. Die Encoder downsamplen Bildinhalte zweimal, und die Decoder stellen die ursprünglichen Bildabmessungen wieder her.

Pixel-Klon verwendet eine modifizierte Encoder-Decoder-Methode, während die Verfeinerungsschicht eine U-Net-Architektur verwendet, eine Technik, die ursprünglich für biomedizinische Bildgebung entwickelt wurde, die oft in Bildsynthese-Forschungsprojekten vorkommt.

Während des Trainings-Workflows ist es notwendig, die Genauigkeit der Transformationen zu bewerten und, falls erforderlich, die Versuche iterativ bis zur Konvergenz zu wiederholen. Zu diesem Zweck werden zwei Diskriminatoren auf der Grundlage von PatchGAN verwendet, von denen jeder die lokale Realistik von 70×70-Pixel-Patches bewertet, wobei der Realismuswert des gesamten Bildes abgezogen wird.

Training und Daten

Das Edge-Completion-Netz wird zunächst unabhängig trainiert, während die anderen beiden Netze zusammen trainiert werden, basierend auf den Gewichten, die aus dem Edge-Completion-Training resultieren, die während dieses Verfahrens festgefroren und eingefroren werden.

Obwohl das Papier nicht explizit angibt, dass die Beispiele für die endgültige Merkmalsverzerrung das zentrale Ziel des Modells sind, implementiert es verschiedene komische Effekte, um die Widerstandsfähigkeit des Systems zu testen, einschließlich der Entfernung von Augenbrauen, vergrößerten Mündern, geschrumpften Subgesichtern und “Toon”-Effekten (wie in dem oben genannten Bild gezeigt).

Das Papier behauptet, dass “die gelöschten Gesichter verschiedene Augmented-Reality-Anwendungen ermöglichen, die das Platzieren von benutzerdefinierten Elementen erfordern”, was die Möglichkeit andeutet, Gesichter mit von Drittanbietern beigesteuerten Elementen anzupassen.

Das Modell wird auf Masken aus dem von NVIDIA erstellten FFHQ-Datensatz trainiert, der eine ausreichende Vielfalt an Altersgruppen, Ethnien, Beleuchtung und Gesichtsposen und -stilen enthält, um eine nützliche Verallgemeinerung zu erreichen. Der Datensatz enthält 35.000 Bilder und 10.000 Trainingsmasken, um die Bereiche der Transformation zu definieren, mit 4000 Bildern und 1000 Masken, die für Validierungszwecke beiseite gelegt werden.

Trainingsdatenbeispiele.

Das trainierte Modell kann Inferenz auf Daten aus dem CelebA-HQ- und VoxCeleb-Datensatz von 2017 durchführen, unvertraute Gesichter aus FFHQ und alle anderen unvertrauten, unvertrauten Gesichter, die ihm präsentiert werden. Die 256×256-Bilder wurden auf dem Netzwerk in Chargen von 8 über einen Adam-Optimizer implementiert, der in PyTorch läuft und auf einem Tesla (TSLA ) V100-GPU für “2000.000 Epochen” läuft.

Inferenz-Ergebnisse, die auf einem echten Gesicht erhalten wurden.

Wie in der Forschung zu gesichtsbasierten Bildsynthesen üblich, muss das System mit gelegentlichen Fehlern kämpfen, die durch Hindernisse oder Verdeckungen wie Haare, Peripheriegeräte, Brillen und Gesichtsbehaarung verursacht werden.

Der Bericht schließt mit:

‘Unser Ansatz wurde kommerzialisiert und funktioniert gut in Produkten für unvertraute Benutzereingaben.’