Ροή DeepFake σε πραγματικό χρόνο με DeepFaceLive

Το πιο διαδεδομένο λογισμικό deepfake στον κόσμο και αυτό που σχετίζεται περισσότερο με το deepfake πορνό, αποκτά μια νέα εφαρμογή – τη δυνατότητα να επικαλύπτονται τα βαθιά ψεύτικα που μοιάζουν με διασημότητες σε ζωντανά πλάνα από κάμερα web.

Το αποθετήριο ανοιχτού κώδικα DeepFaceLive είναι μια εφαρμογή των Windows 10 που βασίζεται στα θεμέλια του DeepFaceLab, η οποία γρήγορα έγινε η κορυφαία πηγή για την ανταλλαγή προσώπων με βάση το πορνό, αφού ο δημιουργός του αρχικού λογισμικού deepfake εγκατέλειψε το έργο λίγο μετά την εμφάνιση του deepfaking δημιούργησε παγκόσμια διαμάχη το 2018. Και τα δύο έργα λίστα την ενότητα φόρουμ του deepfake πορνογραφικού ιστότοπου mrdeepfakes ως επίσημη πηγή υποστήριξης.

Σε ένα βίντεο της διεπαφής DeepFaceLive που κυκλοφόρησε από τον προγραμματιστή Ivan Petrov τον Απρίλιο, βλέπουμε βίντεο που κατεβάσαμε από τον μιμητή Miles Fisher να μεταμορφώνεται σε Tom Cruise σε πραγματικό χρόνο. Πηγή: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Χθες το προβάδισμα και στα δύο έργα, Ρώσος προγραμματιστής Ιβάν Πέτροφ, ανακοίνωσε μια νέα έκδοση του DeepFaceLive στην ομάδα Discord του έργου, σημειώνοντας ότι το DeepFaceLive τώρα ενσωματώνει ένα εκπαιδευμένο μοντέλο της ηθοποιού Margot Robbie, ένα συχνό θέμα πορνογραφικών βίντεο στο mrdeepfakes.

Τέσσερα δείγματα βίντεο κλιπ έχουν μεταφορτωθεί για να καταδειχθεί η ικανότητα του DeepFaceLive να προσαρτά την ταυτότητα Robbie σε οποιοδήποτε ηχείο σε μια τροφοδοσία κάμερας web.

Μία από τις επιδείξεις του live deepfaking της Margot Robbie. Πηγή: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Τα βίντεο μεταμόρφωσης του Robbie κοινοποιήθηκαν αρχικά στο Twitch, αλλά στη συνέχεια διαγράφηκαν.

Τα άλλα τρία παραδείγματα αντικατάστασης προσώπων παρέχονται από το DeepFaceLive. Η απαίτηση για μια κατά προσέγγιση αντιστοίχιση προσώπου με το αντικείμενο-στόχο εξακολουθεί να αποδεικνύεται. Στην κάτω αριστερή εικόνα βλέπουμε ότι το λογισμικό δεν μπορεί να καλύψει αποτελεσματικά τα εμπόδια, όπως μπορεί να επιτευχθεί στο DeepFaceLab, καθώς αυτό απαιτεί μάσκες εκπαίδευσης στο Εφαρμογή XSeg του DeepFaceLab, μια μέθοδο που δεν μπορεί να εφαρμοστεί σε παραποίηση σε πραγματικό χρόνο.

Ένα επιπλέον προεπιλεγμένο μοντέλο, του Βρετανού κωμικού και ηθοποιού Rowan Atkinson, υπόσχεται ότι θα διατεθεί σύντομα για το DeepFaceLive. Αρχικά το αποθετήριο DeepFaceLive περιείχε μια κατηγορία CELEB_MODEL, όπου ήταν δυνατή η λήψη άλλων διασημοτήτων, συμπεριλαμβανομένου του Tom Cruise, ως Ανοιχτό Ανταλλακτήριο Νευρωνικού Δικτύου (.onnx) αρχεία, αν και αυτοί οι κατάλογοι έχουν από τότε διαγραφεί.

Ο Tom Cruise ήταν μια ενσωματωμένη ταυτότητα για μια beta του DeepFaceLive τον Απρίλιο του 2021, αλλά έκτοτε προφανώς έχει αφαιρεθεί ως προεπιλογή στο πακέτο. Ωστόσο, το μοντέλο μπορεί να ληφθεί και να εγκατασταθεί, μαζί με εκπαιδευμένα μοντέλα από πολλές άλλες διασημότητες και προσαρμοσμένα μοντέλα που εκπαιδεύονται από τους τελικούς χρήστες.

Το DeepFaceLive εκτελείται αποκλειστικά ως εφαρμογή Windows 10 και είναι αναφερθεί από έναν χρήστη για να λειτουργεί καλά με τη ζωντανή ροή της NVIDIA Αναμετάδοση . To

Απόκτηση Ταυτοτήτων

Οι χρήστες δεν χρειάζεται να περάσουν από την επίπονη διαδικασία συλλογής υλικού προσώπου για ένα σύνολο δεδομένων, ακολουθούμενη από τις 3-10 ημέρες που είναι απαραίτητες για να επιτευχθεί μια πολύ καλή αντιστοίχιση, καθώς το FAQ για το DeepFaceLive αναφέρει ότι μπορεί να χρησιμοποιήσει «μοντέλα δημοσίων προσώπων» εκτός ραφιού ' που έχουν ήδη συγκεντρωθεί από άλλους δημιουργούς. Στην πραγματικότητα, η μεγαλύτερη πηγή τέτοιων μοντέλων είναι η Μοντέλα εκπαιδευμένα στο φόρουμ (σύνδεσμος αρχείου) νήμα στον ιστότοπο πορνό mrdeepfakes, το οποίο μπορεί να δει σε χρήση από έναν Ρώσο τελικό χρήστη σε πρόσφατο βίντεο στο YouTube.

Ο Vladislav Pedro χρησιμοποιεί το DeepFaceLive για να μεταμορφωθεί σε Tom Cruise σε πραγματικό χρόνο. Το μοντέλο που φορτώνει στο βίντεο φιλοξενείται στο mrdeepfakes και έχει χρησιμοποιηθεί μέχρι τώρα για επεξεργασία deepfake εκτός σύνδεσης. Πηγή: https://www.youtube.com/watch?v=0TcCKtObSnI

Αν και τα καλύτερα αποτελέσματα θα επιτευχθούν με την εκπαίδευση του προσώπου του τελικού χρήστη ενάντια στη διασημότητα-στόχο, η ποιότητα της προσομοίωσης φαίνεται να είναι ευθέως ανάλογη με το πόσο πολύ μοιάζει ο τελικός χρήστης με τον στόχο. Όταν ο χρήστης είναι σχετικά καλά προσαρμοσμένος στη διασημότητα, μπορεί να επιτευχθεί ένα πειστικό αποτέλεσμα.

Όπως είναι εμφανές στις τρεις τελευταίες ανταλλαγές Margot Robbie στις παραπάνω εικόνες, το λογισμικό δεν μπορεί να κάνει θαύματα όταν το πρόσωπο του τελικού χρήστη έχει ριζικά διαφορετικά γενικά χαρακτηριστικά. Ωστόσο, το DeepFaceLab μπορεί επίσης πραγματοποιήστε ολόκληρες εναλλαγές κεφαλιού, μια διαδικασία που αντικαθιστά πλήρως την αρχική κεφαλή, αν και με περιορισμούς όσον αφορά τα χτενίσματα. Τα σχόλια στον διακομιστή Discord επιβεβαιώνουν ότι αυτά μπορούν επίσης να εφαρμοστούν στο DeepFaceLive.

Το DeepFaceLive υποστηρίζει προς το παρόν μόνο GPU της NVIDIA, με την GTX 750 το χαμηλότερο υλικό που μπορεί να επιτύχει ένα λογικό αποτέλεσμα με την εφαρμογή. Σε μια κάρτα γραφικών με 4 GB VRAM, απαιτεί επίσης 32 GB swap χώρου στο δίσκο.

Εκπαίδευση του μοντέλου Margot Robbie – μια εικόνα δημοσιεύτηκε στο DeepFaceLab/DeepFaceLive Discord του Ivan Petrov. Εδώ βλέπουμε ότι το αρχικό σύνολο δεδομένων είναι εξαιρετικά διαφορετικό, προφανώς με σκοπό τη δημιουργία ενός ισχυρού και καλά γενικευμένου μοντέλου που μπορεί να μεταμορφώσει ένα ευρύ φάσμα τύπων προσώπου στην εικόνα της Αυστραλιανής ηθοποιού. Τα περισσότερα σετ «Α» είναι συνήθως ενός ατόμου.

Οι χρήστες αναφέρουν ότι το DeepFaceLive είναι εξαιρετικά απαιτητικό όσον αφορά τους πόρους υλικού, αλλά ο Petrov απάντησε σε αυτό δηλώνοντας ότι το DeepFaceLive προορίζεται για υπολογιστές με καλό σχεδιασμό σε εσωτερικό περιβάλλον.

Το DeepFaceLab GitHub ήταν διχαλωτός πάνω από 6,000 φορές, ενώ το νέο DeepFaceLive έχει αυτή τη στιγμή 85 πιρούνια.

Πιθανές Χρήσεις

Σχολιαστές σε α νήμα (Ρωσική γλώσσα) στη ρωσική κοινωνική τοποθεσία VK.com εικάζουν σχετικά με τις πιθανές χρήσεις του DeepFaceLive και φαίνεται ότι έχουν διακρίνει όλες τις πιθανές εφαρμογές για το λογισμικό: ως «ανωνυμοποίηση» ή ψυχαγωγικό φίλτρο στο Zoom και παρόμοιες εφαρμογές. ως μέσο διάπραξης απάτης ή εξαπάτησης του ατόμου που παρακολουθεί τη ζωντανή ροή· και – πιθανότατα πιθανότατα, υπό το φως της προέλευσης του λογισμικού και της βάσης χρήστη – ως μέσο υλοποίησης σεξουαλικής δουλειάς που βασίζεται σε webcam εστιασμένη σε διασημότητες (βλ. εικόνα στο τέλος του άρθρου).

Η πιθανότητα «deepfake cam girls» προέκυψαν στα μέσα ενημέρωσης πριν από μερικά χρόνια. Το 2020 η εφαρμογή Avatariify ανακοίνωσε Deepfake webcam διασημοτήτων, αλλά σε πολύ καλή ποιότητα χαμηλότερα από το πρότυπο που έχει οριστεί από το DeepFaceLab, το οποίο είναι τώρα το αποθετήριο επιλογής για πρόσφατο αρπαγή τίτλου Ο Deepfaker του Tom Cruise, Chris Ume, καθώς και εταιρείες παραγωγής ταινιών και τηλεοπτικών παραγωγών υψηλού επιπέδου σε όλο τον κόσμο.

Το DeepFaceLab, η εφαρμογή σποράς για το DeepFaceLive και το αναφερθεί (Ρωσική γλώσσα) πλαίσιο για το 95% όλων των deepfakes στο YouTube, είναι επίσης το λογισμικό που χρησιμοποιεί ο Shamook, ο deepfaker του οποίου το εξαιρετικό δουλειά σχετικά με τη βελτίωση της guest εμφάνισης του Luke Skywalker στο The Mandalorian που ενέπνευσε πρόσφατα τη Lucasfilm να τον προσλάβουν ως σύμβουλος VFX.

Προσαρμοσμένο στους περιορισμούς Deepfake

Η μεθοδολογία του deepfake λογισμικού όπως το DeepFaceLab και Ανταλλαγή προσώπου εξυπηρετείται καλά από ένα τυπικό περιβάλλον κάμερας web και καταργεί πολλά από τα εμπόδια στην αυθεντικότητα που μπορεί να εξακολουθούν να ταλαιπωρούν τα βαθιά ψεύτικα εκτός σύνδεσης.

Για παράδειγμα, τα deepfakes αποδίδουν λιγότερο πειστικά όταν ο χρήστης στρέφεται στο προφίλ (ή κοιτάζει ψηλά), κινείται γρήγορα ή υπόκειται σε αλλαγές σκηνής ή ξαφνικές αλλαγές φωτισμού.

Επομένως, η «στατική» φύση μιας τυπικής κλήσης Zoom ή κάμερας web παίζει με τα δυνατά σημεία του λογισμικού. Πολλά από τα πιο σεβαστά παραδείγματα τεχνασμάτων deepfake τα τελευταία τρία χρόνια έχουν δείξει τα ηχεία να κοιτούν απευθείας την κάμερα και να κινούνται ελάχιστα σε ένα περιορισμένο περιβάλλον, όπως η επιβολή του Steve Buscemi στην Jennifer Lawrence σε μια ομιλία για Όσκαρ, και τη μετατροπή διαφόρων πολιτικών εκπομπών «to camera».

Αναμφισβήτητα η πιο πιθανή χρήση του προεπιλεγμένου μοντέλου Margot Robbie που περιλαμβάνεται στο DeepFaceLive – ένα δοκιμαστικό βίντεο υλοποίησης κάμερας δημοσιεύθηκε στο DeepFaceLab Discord από Ρώσο χρήστη «NoFace».

Τροποποίηση 8:52 μ.μ. 7 Αυγούστου – Διορθώθηκε το επώνυμο.
Τροποποιήθηκε στις 8:30 μ.μ. 8 Αυγούστου – προστέθηκαν εικόνες από το Discord.