Πραγματικός Χρόνος Ροής DeepFake Με το DeepFaceLive

Το πιο χρησιμοποιούμενο λογισμικό deepfake στον κόσμο, και αυτό που συνδέεται πιο στενά με το deepfake πορνό, αποκτά μια νέα εφαρμογή – τη δυνατότητα να επιβάλλει deepfakes μιας ομοιότητας διασημότητας σε ζωντανούς βίντεο webcam.

Το ανοιχτό αποθετήριο DeepFaceLive είναι μια εφαρμογή Windows 10 που έχει κατασκευαστεί με βάση το DeepFaceLab, το οποίο γρήγορα έγινε η κύρια πηγή για face-swapping πορνό μετά την εγκατάλειψη του αρχικού λογισμικού deepfake από τον δημιουργό του λίγο μετά την έναρξη της διαδικασίας deepfaking που δημιούργησε παγκόσμια διαμάχη το 2018. Και τα δύο έργα λίστα τον τομέα forum του site πορνό deepfake mrdeepfakes ως επίσημη πηγή υποστήριξης.

Σε ένα βίντεο της διεπαφής του DeepFaceLive που κυκλοφόρησε από τον développer Ivan Petrov τον Απρίλιο, βλέπουμε ότι το κατεβασμένο βίντεο του impersonator Miles Fisher μετατρέπεται σε Tom Cruise σε πραγματικό χρόνο. Πηγή: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Χθες ο επικεφαλής και των δύο έργων, ο Ρώσος développer Ivan Petrov, ανακοίνωσε μια νέα έκδοση του DeepFaceLive στην ομάδα Discord του έργου, σημειώνοντας ότι το DeepFaceLive ενσωματώνει τώρα ένα εκπαιδευμένο μοντέλο της ηθοποιού Margot Robbie, μια συχνή υποκειμένη σε πορνογραφικά βίντεο στο mrdeepfakes.

Τέσσερις δείγματα βίντεο έχουν ανεβαστεί για να δείξουν την ικανότητα του DeepFaceLive να προσαρμόζει την ταυτότητα της Robbie σε οποιοδήποτε ομιλητή σε μια ροή webcam.

Μια από τις επίδειξεις της Margot Robbie για ζωντανό deepfaking. Πηγή: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Τα βίντεο μετασχηματισμού της Robbie αρχικά μοιράστηκαν στο Twitch, αλλά στη συνέχεια διαγράφηκαν.

Τα τρία άλλα παραδείγματα faceswapping που παρέχονται από το DeepFaceLive. Η απαίτηση για μια περίπου αντιστοιχία προσώπου με το στόχο είναι ακόμη σε ευ洲. Στο κάτω αριστερό εικόνα βλέπουμε ότι το λογισμικό δεν μπορεί να μασκαρεύσει αποτελεσματικά τις εμποδισμένες περιοχές, όπως μπορεί να επιτευχθεί στο DeepFaceLab, поскольку αυτό απαιτεί την εκπαίδευση μασκών στην εφαρμογή XSeg του DeepFaceLab, μια μέθοδος που δεν μπορεί να εφαρμοστεί σε ζωντανό faking.

Ένα επιπλέον προεπιλεγμένο μοντέλο, του Βρετανού κωμικού και ηθοποιού Rowan Atkinson, υποσχέθηκε να είναι διαθέσιμο για το DeepFaceLive σύντομα. Αρχικά το αποθετήριο DeepFaceLive είχε μια κατηγορία CELEB_MODEL, όπου ήταν δυνατό να κατεβάσετε άλλα διασημότητες, συμπεριλαμβανομένου του Tom Cruise, ως αρχεία Open Neural Network Exchange (.onnx), αν και αυτά τα καταλόγοι έχουν διαγραφεί.

Ο Tom Cruise ήταν μια ενσωματωμένη ταυτότητα για μια βета έκδοση του DeepFaceLive πίσω στο Απρίλιο του 2021, αλλά έχει depuis φαίνεται να έχει αφαιρεθεί ως προεπιλογή στο πακέτο. Ωστόσο, το μοντέλο μπορεί να κατεβαστεί και να εγκατασταθεί, μαζί με εκπαιδευμένα μοντέλα από πολλές άλλες διασημότητες, και προσαρμοσμένα μοντέλα που έχουν εκπαιδευτεί από τους τελικούς χρήστες.

Το DeepFaceLive εκτελείται αποκλειστικά ως εφαρμογή Windows 10 και αναφέρεται από έναν χρήστη να λειτουργεί καλά με την εφαρμογή live streaming Broadcast της NVIDIA.

Αποκτώντας Ταυτότητες

Οι χρήστες δεν χρειάζεται να περάσουν από τη χρονοβόρα διαδικασία συλλογής υλικού προσώπου για ένα σύνολο δεδομένων, ακολουθούμενη από τις 3-10 ημέρες που απαιτούνται για να λάβουν một πολύ καλή αντιστοιχία,既然 το FAQ για το DeepFaceLive αναφέρει ότι μπορεί να χρησιμοποιήσει “δημοσιευμένα μοντέλα προσώπου” που έχουν ήδη συλλεγεί από άλλους δημιουργούς. Στην πραγματικότητα, η μεγαλύτερη πηγή τέτοιων μοντέλων είναι η Forum-Trained Models (σύνδεσμος αρχείου) στο site πορνό mrdeepfakes, το οποίο μπορεί να φανεί σε χρήση από έναν Ρώσο τελικό χρήστη σε ένα πρόσφατο βίντεο στο YouTube.

Ο Vladislav Pedro χρησιμοποιώντας το DeepFaceLive για να μετατρέψει τον εαυτό του σε Tom Cruise σε πραγματικό χρόνο. Το μοντέλο που φορτώνει στο βίντεο φιλοξενείται στο mrdeepfakes και έχει χρησιμοποιηθεί μέχρι τώρα για离LINE deepfake επεξεργασία. Πηγή: https://www.youtube.com/watch?v=0TcCKtObSnI

Αν και τα καλύτερα αποτελέσματα θα ληφθούν με την εκπαίδευση του προσώπου του τελικού χρήστη ενάντια στο στόχο διασημότητας, η ποιότητα της προσομοίωσης φαίνεται να είναι ανάλογη με το πόσο στενά ο τελικός χρήστης μοιάζει με το στόχο.

Όπως φαίνεται στα τελευταία τρία swaps της Margot Robbie στις εικόνες παραπάνω, το λογισμικό δεν μπορεί να κάνει θαύματα όταν το πρόσωπο του τελικού χρήστη έχει ριζικά διαφορετικά γενικά χαρακτηριστικά. Ωστόσο, το DeepFaceLab μπορεί επίσης να εκτελέσει ολόκληρες ανταλλαγές κεφαλιών, μια διαδικασία που γράφει完全 το αρχικό κεφάλι, αν και με περιορισμούς σε σχέση με τα μαλλιά. Σχόλια στο διακομιστή Discord επιβεβαιώνουν ότι αυτά μπορούν επίσης να εφαρμοστούν στο DeepFaceLive.

Το DeepFaceLive υποστηρίζει目前 μόνο NVIDIA GPUs, με το GTX 750 το χαμηλότερο υλικό που μπορεί να λάβει ένα λογικό αποτέλεσμα με την εφαρμογή. Σε μια κάρτα γραφικών με 4GB VRAM, απαιτεί επίσης 32GB χώρου ανταλλαγής δίσκου.

Εκπαίδευση του μοντέλου Margot Robbie – μια εικόνα δημοσιεύθηκε στο DeepFaceLab/DeepFaceLive Discord από τον Ivan Petrov. Εδώ βλέπουμε ότι το αρχικό σύνολο δεδομένων είναι εξαιρετικά ποικίλο, φαινομενικά με σκοπό τη δημιουργία ενός ρομποτικού και καλά γενικευμένου μοντέλου που μπορεί να μετατρέψει μια ποικιλία τύπων προσώπου στη μορφή της Αυστραλής ηθοποιού. Τα περισσότερα ‘Α’ σύνολα είναι συνήθως ενός ατόμου.

Οι χρήστες αναφέρουν ότι το DeepFaceLive είναι εξαιρετικά απαιτητικό σε σχέση με τους πόρους υλικού, αλλά ο Petrov έχει απαντήσει σε αυτό ότι το DeepFaceLive προορίζεται για καλά εξοπλισμένους υπολογιστές σε εσωτερικό περιβάλλον.

Το αποθετήριο DeepFaceLab στο GitHub έχει fork πάνω από 6.000 φορές, ενώ το νέο DeepFaceLive έχει 85 fork.

Πιθανές Χρήσεις

Σχόλιο σε ένα νήμα (Ρωσική γλώσσα) στο Ρωσικό κοινωνικό site VK.com για τις πιθανές χρήσεις του DeepFaceLive, και φαίνεται να έχουν διακρίνει όλες τις πιθανές εφαρμογές του λογισμικού: ως “ανοнимότητα” ή αναψυχή φίλτρου σε Zoom και παρόμοιες εφαρμογές; ως μέσο για την υποβολή απάτης ή εξαπάτηση του ατόμου που παρακολουθεί τη ζωντανή ροή; και – ίσως πιο πιθανό, υπό το φως της προέλευσης του λογισμικού και της βάσης χρηστών – ως μέσο για την εφαρμογή webcam-βασισμένης σεξουαλικής εργασίας με επίκεντρο διασημότητες (βλ. εικόνα στο τέλος του άρθρου).

Η πιθανότητα ‘deepfake cam girls’ εμφανίστηκε στα μέσα ενημέρωσης πριν από quelques χρόνια. Το 2020 η εφαρμογή Avatarify ανακοίνωσε deepfake λειτουργικότητα webcam διασημοτήτων, αλλά σε μια ποιότητα σημαντικά χαμηλότερη από τον κανονισμό που ορίστηκε από το DeepFaceLab, το οποίο είναι τώρα το αποθετήριο της επιλογής για πρόσφατα ηλεκτρονικά Tom Cruise deepfaker Chris Ume, καθώς και υψηλού επιπέδου εταιρείες παραγωγής ταινιών και τηλεόρασης σε όλο τον κόσμο.

Το DeepFaceLab, η εφαρμογή που έδωσε ζωή στο DeepFaceLive και η αναφερθεί (Ρωσική γλώσσα) πυρήνας για το 95% όλων των deepfakes στο YouTube, είναι επίσης το λογισμικό που χρησιμοποιείται από τον Shamook, τον deepfaker του οποίου το εξαιρετικό έργο για την βελτίωση της εμφάνισης του Luke Skywalker στο The Mandalorian πρόσφατα ενέπνευσε την Lucasfilm να τον προσλάβει ως σύμβουλο VFX.

Προσαρμοσμένο στα Όρια του Deepfake

Η μεθοδολογία του λογισμικού deepfake όπως το DeepFaceLab και το FaceSwap είναι καλά εξυπηρετούμενη από ένα τυπικό περιβάλλον webcam, και αφαιρεί πολλά από τα εμπόδια στην αυθεντικότητα που μπορούν ακόμη να πλήξουν τα offline deepfakes.

Για παράδειγμα, τα deepfakes εκτελούνται λιγότερο πειστικά όταν ο χρήστης στρέφεται σε προφίλ (ή κοιτάζει πάνω), κινείται γρήγορα, ή υπόκειται σε αλλαγές σκηνής ή απότομες αλλαγές φωτισμού.

Επομένως, η “στατική” φύση μιας τυπικής κλήσης Zoom ή webcam παίζει στα χέρια του λογισμικού. Πολλά από τα πιο σεβαστά παραδείγματα deepfake trickery τα τελευταία三年 έχουν χαρακτηριστικά ομιλητές που αντιμετωπίζουν την κάμερα trực tiếp και κινούνται πολύ λίγο σε ένα περιορισμένο περιβάλλον, όπως η επιβολή του Steve Buscemi στον Jennifer Lawrence σε μια ομιλία Oscar, και η μετατροπή διάφορων “προς την κάμερα” πολιτικών μεταδόσεων.

Η πιο πιθανή χρήση του προεπιλεγμένου μοντέλου Margot Robbie που περιλαμβάνεται στο DeepFaceLive – μια δοκιμή εφαρμογής cam βίντεο δημοσιεύθηκε στο DeepFaceLab Discord από τον Ρώσο χρήστη ‘NoFace’.

Τροποποιήθηκε 8:52pm 7th August – Διορθώθηκε το επώνυμο.
Τροποποιήθηκε 8:30pm 8th August – προστέθηκαν εικόνες από το Discord.