Streaming DeepFake σε Εchtzeit με το DeepFaceLive

Το πιο χρησιμοποιημένο λογισμικό deepfake στον κόσμο, και αυτό που συνδέεται πιο στενά με το deepfake πορνό, λαμβάνει μια νέα εφαρμογή – τη δυνατότητα να επιβάλλει deepfakes με ομοιότητα διασημοτήτων σε ζωντανούς ροές κάμερας webcam.

Το ανοιχτό αποθετήριο DeepFaceLive είναι μια εφαρμογή Windows 10 που κατασκευάζεται στις βάσεις του DeepFaceLab, το οποίο γρήγορα έγινε η ηγέτιδα πηγή για face-swapping πορνό μετά την εγκατάλειψη του προγράμματος από τον δημιουργό του λίγο μετά την έλευση του deepfaking που δημιούργησε παγκόσμια διαμάχη το 2018. Και τα δύο προγράμματα λίστα τον τομέα forum του site πορνό deepfake mrdeepfakes ως επίσημη πηγή υποστήριξης.

Σε ένα βίντεο της διεπαφής του DeepFaceLive που κυκλοφόρησε από τον développer Ivan Petrov τον Απρίλιο, βλέπουμε ότι το κατεβασμένο βίντεο του impersonator Miles Fisher μετατρέπεται σε Tom Cruise σε πραγματικό χρόνο. Πηγή: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Χθες ο αρχηγός και των δύο προγραμμάτων, ο Ρώσος développer Ivan Petrov, ανακοίνωσε μια νέα έκδοση του DeepFaceLive στην ομάδα Discord του προγράμματος, σημειώνοντας ότι το DeepFaceLive ενσωματώνει τώρα ένα εκπαιδευμένο μοντέλο της ηθοποιού Margot Robbie, μια συχνή υποκειμένη πορνογραφικών βίντεο στο mrdeepfakes.

Τέσσερις δείγματα βίντεο έχουν ανεβαστεί για να δείξουν την ικανότητα του DeepFaceLive να προσαρμόζει την ταυτότητα της Robbie σε οποιοδήποτε ομιλητή σε μια ροή κάμερας webcam.

Μια από τις Margot Robbie επιδемонストράσεις του live deepfaking. Πηγή: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Τα βίντεο μετασχηματισμού της Robbie αρχικά μοιράστηκαν στο Twitch, αλλά στη συνέχεια διαγράφηκαν.

Τα τρία άλλα παραδείγματα faceswapping που παρέχονται από το DeepFaceLive. Η απαίτηση για μια περίπου αντιστοιχία προσώπου με το στόχο υποκειμένου εξακολουθεί να είναι εμφανής. Στο κάτω αριστερό εικόνα βλέπουμε ότι το λογισμικό δεν μπορεί αποτελεσματικά να μασκαρεύσει εμποδίσματα, όπως μπορεί να επιτευχθεί στο DeepFaceLab,既然 αυτό απαιτεί εκπαίδευση μασκών στην εφαρμογή XSeg του DeepFaceLab, μια μέθοδος που δεν μπορεί να εφαρμοστεί σε πραγματικό χρόνο faking.

Ένα επιπλέον προεπιλεγμένο μοντέλο, του Βρετανού κωμικού και ηθοποιού Rowan Atkinson, υποσχέθηκε να είναι διαθέσιμο για το DeepFaceLive σύντομα. Αρχικά το αποθετήριο DeepFaceLive εμφάνισε μια κατηγορία CELEB_MODEL, όπου ήταν δυνατό να κατεβάσετε άλλα διασημότητες, συμπεριλαμβανομένου του Tom Cruise, ως αρχεία Open Neural Network Exchange (.onnx), αν και αυτά τα καταλόγοι έχουν منذ διαγραφεί.

Ο Tom Cruise ήταν μια ενσωματωμένη ταυτότητα για μια βερσιόν beta του DeepFaceLive πίσω στο Απρίλιο του 2021, αλλά έχει depuis φαινομενικά αφαιρεθεί ως προεπιλογή στο πακέτο. Ωστόσο, το μοντέλο μπορεί να κατεβαστεί και να εγκατασταθεί, μαζί με εκπαιδευμένα μοντέλα από πολλές άλλες διασημότητες, και προσαρμοσμένα μοντέλα που εκπαιδεύονται από τους τελικούς χρήστες.

Το DeepFaceLive εκτελείται αποκλειστικά ως εφαρμογή Windows 10, και αναφέρεται από ένα χρήστη να λειτουργεί καλά με την εφαρμογή live streaming Broadcast της NVIDIA.

Απώλεια Ταυτοτήτων

Οι χρήστες δεν χρειάζεται να περάσουν από τη χρονοβόρα διαδικασία συλλογής υλικού προσώπου για ένα σύνολο δεδομένων, ακολουθούμενη από τις 3-10 ημέρες που απαιτούνται για να λάβουν một πολύ καλό αντίγραφο,既然 το FAQ για το DeepFaceLive αναφέρει ότι μπορεί να χρησιμοποιήσει off-the-shelf ‘δημόσιους μοντέλους προσώπου’ που έχουν ήδη συλλεγεί από άλλους δημιουργούς. Στην πραγματικότητα, η μεγαλύτερη πηγή τέτοιων μοντέλων είναι η Forum-Trained Models (σύνδεσμος αρχείου) στο site πορνό mrdeepfakes, το οποίο μπορεί να φανεί σε χρήση από ένα Ρώσο τελικό χρήστη σε ένα πρόσφατο βίντεο στο YouTube.

Ο Vladislav Pedro χρησιμοποιεί το DeepFaceLive για να μετατρέψει τον εαυτό του σε Tom Cruise σε πραγματικό χρόνο. Το μοντέλο που φορτώνει στο βίντεο φιλοξενείται στο mrdeepfakes, και έχει χρησιμοποιηθεί μέχρι τώρα για offline deepfake επεξεργασία. Πηγή: https://www.youtube.com/watch?v=0TcCKtObSnI

Αν και τα καλύτερα αποτελέσματα θα ληφθούν με την εκπαίδευση του προσώπου του τελικού χρήστη ενάντια στο στόχο διασημότητας, η ποιότητα της προσομοίωσης φαίνεται να είναι σε άμεση αναλογία με το πόσο κοντά ο τελικός χρήστης μοιάζει με το στόχο. Όταν ο χρήστης είναι σχετικά καλά προσαρμοσμένος στη διασημότητα, μπορεί να ληφθεί ένα πειστικό αποτέλεσμα.

Όπως είναι εμφανές στις τελευταίες τρεις ανταλλαγές Margot Robbie στις εικόνες παραπάνω, το λογισμικό δεν μπορεί να κάνει θαύματα όπου το πρόσωπο του τελικού χρήστη έχει ριζικά διαφορετικά γενικά χαρακτηριστικά. Ωστόσο, το DeepFaceLab μπορεί επίσης να εκτελέσει ολόκληρες ανταλλαγές κεφαλής, μια διαδικασία που γράφει完全 το αρχικό κεφάλι, αν και με περιορισμούς σε σχέση με τα στυλ μαλλιών. Σχόλια στο διακομιστή Discord επιβεβαιώνουν ότι αυτά μπορούν επίσης να εφαρμοστούν στο DeepFaceLive.

Το DeepFaceLive υποστηρίζει目前 μόνο NVIDIA GPUs, με το GTX 750 το χαμηλότερο υλικό που μπορεί να λάβει ένα λογικό αποτέλεσμα με την εφαρμογή. Σε μια κάρτα γραφικών με 4GB VRAM, επίσης απαιτεί 32GB του χώρου ανταλλαγής δίσκου.

Εκπαίδευση του μοντέλου Margot Robbie – μια εικόνα αναρτημένη στο DeepFaceLab/DeepFaceLive Discord από τον Ivan Petrov. Εδώ βλέπουμε ότι το σύνολο δεδομένων είναι εξαιρετικά διαφορετικό, φαινομενικά με την πρόθεση να δημιουργηθεί ένα ρομποτικό και καλά γενικευμένο μοντέλο που μπορεί να μετατρέψει μια ευρεία ποικιλία τύπων προσώπου στη μορφή της Αυστραλής ηθοποιού. Τα περισσότερα ‘Α’ σύνολα είναι συνήθως ενός μόνο ατόμου.

Οι χρήστες αναφέρουν ότι το DeepFaceLive είναι εξαιρετικά απαιτητικό σε σχέση με τους πόρους υλικού, αλλά ο Petrov έχει απαντήσει σε αυτό υποστηρίζοντας ότι το DeepFaceLive προορίζεται για καλά εξοπλισμένους υπολογιστές σε εσωτερικό περιβάλλον.

Το αποθετήριο DeepFaceLab στο GitHub έχει forked πάνω από 6.000 φορές, ενώ το νέο DeepFaceLive έχει 85 forks.

Δυνατές Χρήσεις

Σχολιαστές σε ένα νήμα (Ρωσική γλώσσα) στο Ρωσικό κοινωνικό site VK.com εικονίζουν τις δυνατές χρήσεις του DeepFaceLive, και φαίνεται να έχουν διακρίνει όλες τις πιθανές εφαρμογές του λογισμικού: ως ‘απλοποίηση’ ή αναψυχή φίλτρου σε Zoom και παρόμοιες εφαρμογές, ως μέσο για την υποβολή απάτης ή εξαπάτηση του ατόμου που παρακολουθεί την ζωντανή ροή, και – ίσως πιο πιθανό, υπό το φως της προέλευσης του λογισμικού και της βάσης χρηστών – ως μέσο για την εφαρμογή διασημοτήτων-εστιασμένων webcam-βασισμένων σεξουαλικών εργασιών (βλέπε εικόνα στο τέλος του άρθρου).

Η πιθανότητα ‘deepfake cam girls’ εμφανίστηκε στα μέσα ενημέρωσης πριν από quelques χρόνια. Το 2020 η εφαρμογή Avatarify ανακοίνωσε deepfake διασημότητας webcam λειτουργικότητα, αλλά σε μια ποιότητα σημαντικά χαμηλότερη από το πρότυπο που ορίστηκε από το DeepFaceLab, το οποίο είναι τώρα το αποθετήριο επιλογής για πρόσφατα ηλεκτρονικά Tom Cruise deepfaker Chris Ume, καθώς και υψηλού επιπέδου ταινιών και τηλεοπτικών παραγωγών εταιρειών σε όλο τον κόσμο.

Το DeepFaceLab, η σπόρος εφαρμογή για το DeepFaceLive και η αναφερθείσα (Ρωσική γλώσσα) πλατφόρμα για το 95% όλων των deepfakes στο YouTube, είναι επίσης το λογισμικό που χρησιμοποιείται από τον Shamook, τον deepfaker του οποίου το εξαιρετικό έργο για την βελτίωση της εμφάνισης του Luke Skywalker στο The Mandalorian πρόσφατα ενέπνευσε την Lucasfilm να雇ώσει τον ως σύμβουλο VFX.

Προσαρμοσμένο στα Όρια Deepfake

Η μεθοδολογία του λογισμικού deepfake όπως το DeepFaceLab και το FaceSwap είναι καλά εξυπηρετημένη από ένα τυπικό περιβάλλον κάμερας webcam, και αφαιρεί πολλά από τα εμπόδια στην αυθεντικότητα που μπορούν ακόμα να πλήξουν offline deepfakes.

Για παράδειγμα, τα deepfakes εκτελούνται λιγότερο πειστικά όταν ο χρήστης στρέφεται σε προφίλ (ή κοιτάζει πάνω), κινείται γρήγορα, ή υπόκειται σε αλλαγές σκηνής ή ξαφνικές αλλαγές φωτισμού.

Επομένως, η ‘στατική’ φύση μιας τυπικής κλήσης Zoom ή κάμερας webcam παίζει στα χέρια του λογισμικού. Πολλά από τα πιο σεβαστά παραδείγματα deepfake trickery τα τελευταία三年 έχουν χαρακτηρίσει ομιλητές που αντιμετωπίζουν την κάμερα trực tiếp και κουνιούνται πολύ λίγο σε ένα περιορισμένο περιβάλλον, όπως η επιβολή του Steve Buscemi στη Jennifer Lawrence σε μια ομιλία Oscar, και η μετατροπή διαφόρων ‘προς την κάμερα’ πολιτικών μεταδόσεων.

Αξιολογώντας την πιο πιθανή χρήση του προεπιλεγμένου μοντέλου Margot Robbie που περιλαμβάνεται στο DeepFaceLive – ένα βίντεο τεστ εφαρμογής κάμερας που δημοσιεύθηκε στο DeepFaceLab Discord από τον Ρώσο χρήστη ‘NoFace’.

Τροποποιήθηκε 8:52pm 7th August – Διορθώθηκε το επώνυμο.
Τροποποιήθηκε 8:30pm 8th August – προστέθηκαν εικόνες από το Discord.