Αντιμετωπίζοντας τις ‘Κακές Μέρες Μαλλιών’ στη Συνθετική Εικόνα Ανθρώπου

Από την χρυσή εποχή της ρωμαϊκής γλυπτικής, η απεικόνιση των ανθρώπινων μαλλιών ήταν μια δυσχερής πρόκληση. Το μέσο ανθρώπινο κεφάλι περιέχει 100.000 ίνες, έχει διαφορετικά δείκτες διάθλασης ανάλογα με το χρώμα του και, πέρα από ένα bestimmμένο μήκος, θα κινηθεί και θα αναμορφωθεί με τρόπους που μπορούν να προσομοιωθούν μόνο με σύνθετα φυσικά μοντέλα – μέχρι σήμερα, μόνο εφαρμόσιμα μέσω ‘παραδοσιακών’ μεθόδων CGI.

Από την έρευνα του 2017 της Disney, ένα φυσικά-βασισμένο μοντέλο προσπαθεί να εφαρμόσει ρεαλιστική κίνηση σε ένα ρευστό στυλ μαλλιών σε μια ροή CGI. Πηγή: https://www.youtube.com/watch?v=-6iF3mufDW0

Το πρόβλημα είναι κακώς αντιμετωπίζεται από τις σύγχρονες δημοφιλείς μεθόδους deepfakes. Για κάποια χρόνια, το leading πακέτο DeepFaceLab είχε ένα ‘πλήρες κεφάλι’ μοντέλο που μπορούσε μόνο να καταγράψει σκληρές ενσαρκώσεις σύντομων (συνήθως ανδρικών) στυλ μαλλιών και πρόσφατα το DFL stablemate FaceSwap (και τα δύο πακέτα προέρχονται από τον αμφισβητούμενο κώδικα πηγής DeepFakes του 2017) έχει προσφέρει μια υλοποίηση του BiseNet σεμαντικού μοντέλου.segmentation, επιτρέποντας στον χρήστη να περιλαμβάνει τα αυτιά και τα μαλλιά στην έξοδο deepfake.

GAN Hair

Οι δύο κύριες ανταγωνιστικές προσεγγίσεις για την ανθρώπινη προσομοίωση είναι τα Νευρωνικά Πεδία Ραδιότητας (NeRF), τα οποία μπορούν να καταγράψουν μια σκηνή από πολλαπλά σημεία θέασης και να ενσωματώσουν μια 3Δ αναπαράσταση αυτών των σημείων θέασης σε ένα εξερευνήσιμο νευρωνικό δίκτυο και τα Γενετικά Ανταγωνιστικά Δίκτυα (GANs), τα οποία είναι αξιοσημείωτα πιο προηγμένα σε σχέση με την ανθρώπινη σύνθεση εικόνας (όχι τουλάχιστον επειδή το NeRF εμφανίστηκε μόνο το 2020).

Η υποθετική κατανόηση της 3Δ γεωμετρίας από το NeRF του επιτρέπει να αναπαράγει μια σκηνή με μεγάλη πιστότητα και συνεχή, ακόμη και αν έχει τώρα λίγη ή καθόλου εμβέλεια για την επιβολή φυσικών μοντέλων – και, στην πραγματικότητα, σχετικά περιορισμένη εμβέλεια για οποιοδήποτε είδος μετασχηματισμού στα συλλεγμένα δεδομένα που δεν σχετίζεται με την αλλαγή της οπτικής γωνίας. Τώρα, το NeRF έχει πολύ περιορισμένες ικανότητες σε σχέση με την αναπαραγωγή της κίνησης των ανθρώπινων μαλλιών.

Σταθεροποίηση Μαλλιών με Συνελικτικά Νευρωνικά Δίκτυα

Ωστόσο, μια επικείμενη εργασία από τρεις ερευνητές στο Ινστιτούτο Τεχνολογίας Chalmers στη Σουηδία μπορεί να προσφέρει μια πρόοδο στην νευρωνική προσομοίωση μαλλιών.

Ο τίτλος της εργασίας είναι Πραγματικό-Χρόνο Φιλτράρισμα Μαλλιών με Συνελικτικά Νευρωνικά Δίκτυα και θα δημοσιευτεί για το συμπόσιο i3D στις αρχές Μαΐου.

Συμπέρασμα

Η πλοήγηση στον.latent χώρο ενός autoencoder ή GAN είναι ακόμη πιο類似 με την πλοήγηση παρά με την οδήγηση. Μόνο σε αυτή τη πολύ πρόσφατη περίοδο αρχίζουμε να βλέπουμε πιστευτά αποτελέσματα για την γεννήτρια θέσης ‘πιο απλών’ γεωμετριών, όπως τα πρόσωπα, σε προσεγγίσεις όπως το NeRF, GANs και μη-deepfake (2017) autoencoder πλαίσια.

Η σημαντική αρχιτεκτονική πολυπλοκότητα των ανθρώπινων μαλλιών, σε συνδυασμό με την ανάγκη να ενσωματωθούν φυσικά μοντέλα και άλλα χαρακτηριστικά για τα οποία οι τρέχουσες προσεγγίσεις σύνθεσης εικόνας δεν έχουν πρόβλεψη, υποδηλώνει ότι η σύνθεση μαλλιών είναι απίθανο να παραμείνει ένα ολοκληρωμένο στοιχείο στη γενική σύνθεση προσώπου, αλλά θα απαιτήσει αφιερωμένα και ξεχωριστά δίκτυα κάποιας πολυπλοκότητας – ακόμη και αν τέτοια δίκτυα μπορεί τελικά να ενσωματωθούν σε ευρύτερα και πιο σύνθετα πλαίσια σύνθεσης προσώπου.

Η σύνθεση μαλλιών στο hair synthesis είναι απίθανο να παραμείνει ένα ολοκληρωμένο στοιχείο στη γενική σύνθεση προσώπου, αλλά θα απαιτήσει αφιερωμένα και ξεχωριστά δίκτυα κάποιας πολυπλοκότητας – ακόμη και αν τέτοια δίκτυα μπορεί τελικά να ενσωματωθούν σε ευρύτερα και πιο σύνθετα πλαίσια σύνθεσης προσώπου. Πρώτη δημοσίευση 15ης Απριλίου 2022.