Η γωνία του Anderson
Χωρίς γλώσσα! Ερευνητές ΤΝ αντιμετωπίζουν την απουσία ανατομικών στοιχείων στην κινούμενη απεικόνιση προσώπων
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Όσα μας ξέφυγαν το 2026: Είναι εκείνη η εποχή του χρόνου που η ποιότητα και ο όγκος των ερευνητικών εργασιών ανεβοκατεβαίνουν μαζί με τα τελευταία συνέδρια του Νοεμβρίου και του Δεκεμβρίου. Για να διασχίσουμε αυτές τις περιόδους σποραδικής ξηρασίας, εξετάζουμε μερικές από τις πιο ενδιαφέρουσες εργασίες που παραλίγο να ξεχωρίσουν το 2026, αλλά τελικά επισκιάστηκαν από άλλες, σε περιόδους με μεγαλύτερο ανταγωνισμό μεταξύ των υποβολών.
Μέχρι πρόσφατα, όσοι ασχολούνταν με τα deepfake, ερασιτέχνες και επαγγελματίες εξίσου, είχαν πιο σημαντικά ζητήματα να αντιμετωπίσουν από το αν το ανασυντεθειμένο ανθρώπινο πρόσωπο φαινόταν να έχει γλώσσα. Άλλωστε, η γλώσσα είναι το πιο ευμετάβλητο χαρακτηριστικό του προσώπου: δεν φαίνεται καθόλου σε όσους μουρμουρίζουν και εμφανίζεται μόνο περιστασιακά στις περισσότερες φυσιολογικές συνθήκες.
Κατά συνέπεια, όταν τη χρειάζεσαι, στις ανασυνθέσεις με ΤΝ απουσιάζει. Σε μια εποχή όπου η ερασιτεχνική ανασύνθεση με βάση τη διάχυση έχει φτάσει σε εντυπωσιακό βαθμό ρεαλισμού και η κριτική μας ικανότητα απέναντι στους ανθρώπους που δημιουργούνται με ΤΝ γίνεται ολοένα πιο απαιτητική, ίσως ήρθε η ώρα να αντιμετωπιστεί το ζήτημα.
Γλείφοντας το πρόβλημα
Τον Ιούλιο, μια ακαδημαϊκή συνεργασία μεταξύ Αυστραλίας και Κίνας παρουσίασε μια διαδικασία για την αντιμετώπιση της απουσίας προσομοίωσης της γλώσσας στις ροές εργασίας ΤΝ. Με τίτλο TongueReenact, το προτεινόμενο πλαίσιο επιστρατεύει σχεδόν κάθε μέθοδο από το οπλοστάσιο των deepfake για να αντιμετωπίσει το πρόβλημα, μεταξύ άλλων την απόδοση με γκαουσιανές κηλίδες, τα παραμετρικά ανθρώπινα μοντέλα, τα πεδία νευρωνικής ακτινοβολίας (NeRF) και τη δημιουργία βίντεο με βάση τη διάχυση (συγγνώμη, ανταγωνιστικά παραγωγικά δίκτυα, δεν καταφέρατε να μπείτε στην επιλογή).
Παραπάνω, η πραγματική λήψη του προσώπου-οδηγού, τα χαρακτηριστικά του οποίου μεταφέρονται στην απόδοση του TongueReenact που φαίνεται παρακάτω. Πηγή
Παρότι ο κώδικας που είχε υποσχεθεί η ομάδα δεν φαίνεται να έχει διατεθεί μετά τη δημοσίευση της εργασίας και δεν έχει κυκλοφορήσει ακόμη κάποιο συμπληρωματικό βίντεο, πρόκειται παρ’ όλα αυτά για μια πρωτοποριακή συμβολή, καθώς είναι η πρώτη που εξετάζει τη γλώσσα στην ανασύνθεση με ΤΝ έξω από τον ιατρικό τομέα, αλλά και αντιμετωπίζει την κρίσιμη έλλειψη σχολιασμένων δεδομένων, τα οποία είναι απαραίτητα για κάθε προτεινόμενη λύση.
Οι ερευνητές αξιοποίησαν με καινοτόμο τρόπο διάφορα υπάρχοντα πλαίσια και δεδομένα, ώστε να δημιουργήσουν ένα πλαίσιο τμηματοποίησης της γλώσσας βασισμένο στο SegmentAnything και να παράγουν ψευδοετικέτες για τα δεδομένα που τμηματοποιήθηκαν πρόσφατα.
Η εργασία αναφέρει:
«[We] παρουσιάζουμε το πρώτο πλαίσιο για τη μεταφορά της δυναμικής της γλώσσας μεταξύ διαφορετικών ταυτοτήτων κατά την αναπαράσταση προσώπων. Με δεδομένα ένα καρέ πηγής και ένα βίντεο-οδηγό, η μέθοδός μας μεταφέρει τόσο τις κινήσεις του προσώπου όσο και την άρθρωση της γλώσσας στην ταυτότητα της πηγής.»
«Η βασική διαπίστωση της εργασίας μας είναι ότι η σύνθεση της γλώσσας δεν μπορεί να αντιμετωπιστεί ως ένα γενικό πρόβλημα συμπλήρωσης εικόνας. Η γλώσσα πρέπει να τοποθετείται με ακρίβεια στον χώρο, με βάση τη γεωμετρία του προσώπου-πηγής, η οποία μεταβάλλεται σε κάθε καρέ του βίντεο-οδηγού.»
Το σύστημα ξεκινά μεταφέροντας τις κινήσεις του προσώπου του ατόμου-οδηγού στο πρόσωπο-πηγή, χρησιμοποιώντας τρισδιάστατη απόδοση με γκαουσιανές κηλίδες και το μοντέλο προσώπου FLAME. Έτσι δημιουργείται ένα κινούμενο πρόσωπο με τη σωστή στάση και έκφραση, στο οποίο όμως εξακολουθεί να απουσιάζει η γλώσσα.
Η ροή εργασίας του TongueReenact. Πάνω: Οι εικόνες γλώσσας εντοπίζονται και τμηματοποιούνται, και στη συνέχεια βελτιώνονται χειροκίνητα για την εκπαίδευση ενός μοντέλου ανίχνευσης. Κάτω: Οι κινήσεις του προσώπου μεταφέρονται από ένα βίντεο-οδηγό σε ένα πρόσωπο-πηγή και, στη συνέχεια, ένα μοντέλο διάχυσης δημιουργεί τη γλώσσα που λείπει στην κατάλληλη θέση.
Στη συνέχεια, χρησιμοποιείται ένα μοντέλο Stable Diffusion για τη δημιουργία της γλώσσας που λείπει, με καθοδήγηση από την εμφάνισή της στο βίντεο-οδηγό και από τη γεωμετρία του ανασυντεθειμένου προσώπου.
Σχετικά με την ανάγκη να αντιμετωπιστεί αυτή η αδυναμία στην ανασύνθεση προσώπων, οι συγγραφείς παρατηρούν*:
«Κατά τη διάρκεια εκφραστικών κινήσεων, όπως το γέλιο, η αηδία ή η έκπληξη, [the tongue] μπορεί να κυριαρχεί πλήρως στην ορατή περιοχή του στόματος. Ωστόσο, σχεδόν όλα τα υπάρχοντα συστήματα αναπαράστασης προσώπων και δημιουργίας ψηφιακών avatar είτε μοντελοποιούν το εσωτερικό του στόματος ως μια άμορφη, χωρίς υφή κοιλότητα είτε το αφήνουν εντελώς χωρίς περιορισμούς.»
«Αυτή η παράλειψη δεν είναι τυχαία, καθώς η γλώσσα είναι μια δομή με μοναδικά παροδική παρουσία: κρύβεται εντελώς όταν το πρόσωπο είναι ακίνητο, αποκαλύπτεται κατά διαστήματα στην ομιλία και ξαφνικά κυριαρχεί σε έντονες εκφράσεις. Αυτό την καθιστά θεμελιωδώς δύσκολη στην αναπαράσταση με τα στατικά παραμετρικά μοντέλα που εφαρμόζονται στο υπόλοιπο πρόσωπο.»
«Η αντιμετώπιση αυτής της παραγνωρισμένης πρόκλησης αποτελεί το βασικό κίνητρο της εργασίας μας.»
Στις δοκιμές, η νέα μέθοδος ξεπέρασε σημαντικά πέντε ανταγωνιστικά συστήματα κινούμενης απεικόνισης προσώπων, επιτυγχάνοντας πλεονέκτημα ακρίβειας άνω του 100% έναντι του πλησιέστερου ανταγωνιστή της σε βασικές μετρήσεις της θέσης και του μεγέθους της γλώσσας. Πρέπει, ωστόσο, να αναγνωριστεί ότι αυτού του είδους οι δοκιμές είναι δύσκολο να σχεδιαστούν όταν διερευνάται ένα νέο πεδίο και τα προηγούμενα πλαίσια αντιμετωπίζουν ελάχιστα ή καθόλου τη νέα πρόκληση.
Ας εξετάσουμε πιο προσεκτικά τη νέα προσέγγιση.
Μέθοδος
Για την ανάπτυξη ενός συστήματος ικανού να εντοπίζει γλώσσες σε συνηθισμένο βιντεοληπτικό υλικό προσώπων, χρησιμοποιήθηκε το σύνολο δεδομένων NERSemble, το οποίο περιλαμβάνει πολυγωνιακές καταγραφές ανθρώπινων κεφαλών, μαζί με συνθετικά παραγόμενα καρέ από το σύνολο δεδομένων VFHQ, το οποίο περιλαμβάνει περισσότερα από 16.000 βίντεο προσώπων υψηλής ποιότητας:
Πατήστε για αναπαραγωγήΈνα ενδιαφέρον, «γλωσσικό» παράδειγμα ανακατασκευής πεδίου ακτινοβολίας από τον ιστότοπο του έργου Nersemble. Ωστόσο, η γλώσσα που φαίνεται εδώ αντιμετωπίζεται ως γενική γεωμετρία και δεν διαθέτει διακριτό πεδίο.Πηγή
Το μοντέλο κατάτμησης προσώπου MaskGAN χρησιμοποιήθηκε για τον εντοπισμό του στόματος σε κάθε εικόνα. Στη συνέχεια, ο ιατρικός ανιχνευτής TongueSAM χρησιμοποιήθηκε για να εντοπίσει την πιθανή περιοχή της γλώσσας, προτού αυτή δοθεί στο SegmentAnything, το οποίο παρήγαγε ένα αρχικό περίγραμμα (δηλαδή μια ψευδοετικέτα) της ορατής γλώσσας.
Δείγματα από το σύνολο δεδομένων TongueSAM, το οποίο προορίζεται για ιατρική αναλυτική χρήση και όχι για την αξιολόγηση εκφράσεων του προσώπου. Πηγή
Οι μάσκες που προέκυψαν χωρίστηκαν σε τρεις ομάδες, ανάλογα με το πόσο ορατή ήταν η γλώσσα. Τα λανθασμένα παραδείγματα απορρίφθηκαν, ενώ οι υποσχόμενες μάσκες διορθώθηκαν χειροκίνητα, ώστε να διακρίνεται η γλώσσα από τα γύρω χείλη, τα δόντια και τους άλλους ιστούς του στόματος. Αυτές οι βελτιωμένες επισημάνσεις χρησιμοποιήθηκαν για την εκπαίδευση του δικτύου τμηματοποίησης εικόνων BiSeNet.
Στη συνέχεια, το μοντέλο εφαρμόστηκε σε επιπλέον άτομα από το NERSemble και σε συνθετικά καρέ VFHQ, ενώ οι προβλέψεις του ελέγχθηκαν και διορθώθηκαν από ανθρώπους πριν από την περαιτέρω εκπαίδευση. Η διαδικασία επαναλήφθηκε μέχρι να σταθεροποιηθεί η απόδοση σε άτομα που δεν είχαν εμφανιστεί προηγουμένως:
Αγωγός επεξεργασίας για τη μετατροπή των υπαρχόντων δεδομένων σε δεδομένα «πεδίου γλώσσας».
Για τη σύνθεση της γλώσσας, η περιοχή του στόματος που εντόπισε το BiSeNet μεγεθύνθηκε ελαφρώς πριν δοθεί στο μοντέλο διάχυσης, ώστε να υπάρχει χώρος για τη γλώσσα που θα παραγόταν να εκτείνεται πέρα από την αρχική κατάτμηση καθώς άλλαζε το σχήμα του στόματος.
Η παραγωγή πραγματοποιήθηκε στον λανθάνοντα χώρο του Stable Diffusion Image Variations, με ξεχωριστή καθοδήγηση που προερχόταν από την ανακατασκευασμένη γεωμετρία του προσώπου και τη γλώσσα που ήταν ορατή στο καρέ καθοδήγησης, ενώ αναδημιουργήθηκε μόνο η εντοπισμένη περιοχή του στόματος/της γλώσσας.
Ο αγωγός παραγωγής. Η αναφορά στο DINO V2 στο επάνω αριστερό τεταρτημόριο συνοψίζει τη χρήση του GAGAvatar (βλ. παρακάτω), το οποίο συνδυάζει χαρακτηριστικά εμφάνισης του DINO V2 με το FLAME.
Δεδομένα και δοκιμές
Το BiSeNet εκπαιδεύτηκε σε δύο κατηγορίες εξόδου που προέκυψαν από τα προαναφερθέντα στάδια επεξεργασίας δεδομένων: φόντο και γλώσσα. Η εκπαίδευση πραγματοποιήθηκε σε 50.000 επαναλήψεις, με ρυθμό μάθησης 10-3, χρησιμοποιώντας εικόνες 512x512px και μέγεθος δέσμης 4, σε μία μόνο GPU NVIDIA A40 με 48GB μνήμης VRAM. Τα δεδομένα εκπαίδευσης αποτελούνταν από τα προαναφερθέντα καρέ των NERSemble και VFHQ.
Για το σκέλος της αναπαράστασης, χρησιμοποιήθηκε ο προεκπαιδευμένος κορμός Gaussian Splatting του GAGAvatar. Χρησιμοποιήθηκε επίσης το checkpoint του Stable Diffusion Image Variations, με τον κωδικοποιητή VAE και τον κωδικοποιητή CLIP παγωμένους. Στη συνέχεια, οι κωδικοποιητές καθοδήγησης και το δίκτυο αποθορυβοποίησης UNET εκπαιδεύτηκαν στα δεδομένα του NERSemble για 85.000 επαναλήψεις, με μέγεθος δέσμης 8 και εισόδους 512×512. Για την εξαγωγή συμπερασμάτων χρησιμοποιήθηκαν 20 βήματα DDIM (για πολλά από τα σημερινά μοντέλα διάχυσης, αυτό θεωρείται μεγάλος αριθμός, που αποσκοπεί στην απόδοση λεπτομερειών, με ορισμένους αναπόφευκτους συμβιβασμούς).
Τα ανταγωνιστικά πλαίσια avatar που δοκιμάστηκαν ήταν τα GPAvatar, το πολυσυζητημένο LivePortrait, το X-NeMo και το X-Portrait. Καθένα από αυτά αξιολογήθηκε σε 9.000 ζεύγη εικόνων VFHQ διαφορετικών ταυτοτήτων, με μία εικόνα πηγής και μία εικόνα καθοδήγησης.
Οι μετρικές που χρησιμοποιήθηκαν ήταν η Ομοιότητα αντιληπτικής ομοιότητας τμημάτων εικόνας μέσω μάθησης (LPIPS), η Παρουσία γλώσσας (το ποσοστό των καρέ στα οποία ανιχνεύεται γλώσσα), η IoU γλώσσας (η επικάλυψη ανάμεσα στις περιοχές της γλώσσας που παράγεται και της γλώσσας στην εικόνα καθοδήγησης) και η Ομοιότητα εμβαδού γλώσσας (το πόσο κοντά ήταν το μέγεθος της γλώσσας που παράγεται σε εκείνο της γλώσσας στην εικόνα καθοδήγησης).
Αποτελέσματα δοκιμών που συγκρίνουν το TongueReenact με πέντε ανταγωνιστικά πλαίσια αναπαράστασης προσώπου. Το TongueReenact πετυχαίνει το καλύτερο αποτέλεσμα και στις τέσσερις μετρικές που αφορούν ειδικά τη γλώσσα· τα βέλη δείχνουν αν προτιμώνται υψηλότερες ή χαμηλότερες βαθμολογίες.
Για την αρχική σύγκριση, οι συγγραφείς αναφέρουν:
‘Η μέθοδός μας πετυχαίνει τις καλύτερες επιδόσεις και στις τέσσερις μετρικές μεταφοράς της γλώσσας, με IoU γλώσσας 0.3582 και ομοιότητα εμβαδού γλώσσας 0.4338, τιμή υπερδιπλάσια από εκείνη του πλησιέστερου ανταγωνιστή, γεγονός που επιβεβαιώνει ότι η μεταφορά της κίνησης της γλώσσας είναι σημαντικά ακριβέστερη.
‘Η τιμή 0.7891 για την παρουσία της γλώσσας καταδεικνύει περαιτέρω ότι η μέθοδός μας συνθέτει αξιόπιστα ορατές κινήσεις της γλώσσας, τις οποίες οι υπάρχουσες μέθοδοι συχνά δεν παράγουν καθόλου.’
Μερικά χαρακτηριστικά στιγμιότυπα από τα εκτενή ποιοτικά παραδείγματα που παρουσιάζονται στην αρχική επιστημονική εργασία. Εδώ βλέπουμε συγκρίσεις της νέας προσέγγισης με τις πέντε προηγούμενες μεθόδους, καμία από τις οποίες δεν μπορεί να δημιουργήσει γλώσσες. Για περισσότερα παραδείγματα και υψηλότερη ανάλυση, ανατρέξτε στην αρχική εργασία.
Παρότι δεν μπορούμε να το αξιολογήσουμε οι ίδιοι, καθώς προς το παρόν δεν υπάρχει συνοδευτικό βιντεοσκοπημένο υλικό, οι συγγραφείς εξέτασαν επίσης τη χρονική συνέπεια του συστήματος με τη χρήση του T-LPIPS:
Αποτελέσματα δοκιμών χρονικής συνέπειας.
Οι συγγραφείς σχολιάζουν:
‘Το πλήρες μοντέλο μας πετυχαίνει σημαντικά μικρότερο τρέμουλο ροής (0.218543 έναντι 0.622901) και μικρότερο μέτρο ροής (0.513165 έναντι 1.254073), επιβεβαιώνοντας ότι η αποθορυβοποίηση με γεωμετρική αγκύρωση παράγει ομαλή και σταθερή κίνηση της γλώσσας.
‘Η χαμηλότερη τιμή T-LPIPS επιβεβαιώνει περαιτέρω ότι η σύνθεση της γλώσσας δεν υποβαθμίζει τη χρονική συνοχή.’
Συμπέρασμα
Το φαινόμενο της αλλόκοτης κοιλάδας ξεπερνιέται σταδιακά χάρη σε ορισμένα από τα πιο πρόσφατα μοντέλα βίντεο που βασίζονται στη διάχυση. Ωστόσο, αρχίζει να εμφανίζεται ένα νέο ψυχολογικό εμπόδιο: οι άνθρωποι αντιμετωπίζουν αρνητικά το περιεχόμενο που δημιουργείται από τεχνητή νοημοσύνη για λόγους που δεν σχετίζονται με την ποιότητα αυτού που παρακολουθούν.
Αυτό αναμένεται να περιπλέξει την ποιοτική αξιολόγηση, αν και υποθέτω ότι μετρικές βασισμένες σε «τυφλές» δοκιμές —στις οποίες ο χρήστης θέλει να βαθμολογήσει χαμηλότερα το αποτέλεσμα της τεχνητής νοημοσύνης, αλλά φοβάται μήπως βαθμολογήσει χαμηλότερα και το πραγματικό περιεχόμενο— θα μπορούσαν να συμβάλουν στην ανάπτυξη μιας «σκιώδους» κλίμακας για τον ρεαλισμό της τεχνητής νοημοσύνης.
Επομένως, παρότι υπάρχουν ισχυρές ερευνητικές προσπάθειες για την αναπαραγωγή από την τεχνητή νοημοσύνη δευτερευόντων χαρακτηριστικών ταυτότητας, όπως τα μαλλιά, η προσομοίωση συναισθημάτων, το βλέμμα και, πλέον, η κίνηση της γλώσσας, προς το παρόν ίσως να μην έχουν ουσιαστική σημασία.
* Η μετατροπή των ενσωματωμένων παραπομπών των συγγραφέων σε υπερσυνδέσμους έγινε από εμένα.
Πρώτη δημοσίευση: Τετάρτη 11 Νοεμβρίου 2026
