Streaming AI Avatars Như Năm 1999

Νέα έρευνα παρουσιάζει έναν τρόπο για να μεταδώσει εικονίδια 3D που εμφανίζονται σχεδόν αμέσως και να γίνονται πιο καθαρά σε πραγματικό χρόνο, αντί να αναγκάζουν τους χρήστες να περιμένουν την ολοκλήρωση των μεγάλων λήψεων.

Σε πολλά μέρη, οι τεράστιες απαιτήσεις πόρων της γεννητικής νοημοσύνης και των συστημάτων απόδοσης με τη βοήθεια της νοημοσύνης έχουν επαναφέρει την ετοιμότητα για κατανάλωση πίσω κατά είκοσι ή περισσότερα χρόνια. Μόνο το 2023, μια κατανομή 64GB RAM σε laptop ή επιτραπέζιο υπολογιστή φαινόταν υπερβολική· τώρα, με την αυξανόμενη δημοτικότητα της RAM και/ή της απομάκρυνσης CPU, τα 64GB είναι αρκετά σεμνά για τις τοπικές ανάγκες της νοημοσύνης· και αυτά τα πρώην банάλ και προσιτά στοιχεία των υπολογιστών συνεχίζουν να αυξάνονται σε τιμή καθώς οι εταιρείες αγωνίζονται να ικανοποιήσουν την ζήτηση για υπηρεσίες νοημοσύνης.

Η κλίμακα και η απληστία της νοημοσύνης και των διαδικασιών και περιβαλλόντων της συνήθως ξεπερνούν την καταναλωτική υλική υποδομή, και ακόμη και η εκτέλεση “λιγότερο φορτωμένων” τοπικών προσανατολισμένων μοντέλων ως εκδόσεις GGUF θα στραγγαλίσει συνήθως τον μέσο σύστημα.

Ακόμη και οι υπηρεσίες νοημοσύνης που βασίζονται σε κείμενο, όπως το ChatGPT, είναι υπόκεινται σε σημαντική πίεση τόσο στο επίπεδο του πελάτη όσο και του διακομιστή. Έτσι, όταν η νοημοσύνη αναλαμβάνει να παρέχει online πολυμεσικές εμπειρίες σε πραγματικό χρόνο, μπορούμε να περιμένουμε μερικές πολύ σοβαρές συμβιβασμούς στη λαμβανόμενη καθυστέρηση και/ή ποιότητα – παρόμοια με τις πρώτες αγώνες του διαδικτύου με τη ροή πολυμεσικών, και τα πολύ μισούμενα κινούμενα εικονίδια “缓冲” του RealPlayer και QuickTime.

Η τελευταία φορά που τα πολυμεσικά και τα προβλήματα δικτύου δημιούργησαν τριβή στην εμπειρία του χρήστη, η υλική υποδομή του καταναλωτή ήταν ακόμη εξελισσόμενη μέσω του νόμου του Moore, γινόταν σχεδόν εκθετικά καλύτερη κάθε χρόνο, ακόμη και καθώς τα λειτουργικά συστήματα, τα δίκτυα και άλλα υποστηρικτικά υπολογιστικά συστήματα εξελισσόταν για να ικανοποιήσουν τη ζήτηση· και για τα τελευταία δέκα χρόνια, περίπου, οι ικανότητες της τεχνολογίας των καταναλωτών ξεπερνούν τις απαιτήσεις των πολυμεσικών (ίσως ακόμη και στο σημείο όπου η παλινδρόμηση χρειαζόταν να ξεκινήσει για να διατηρηθούν οι πωλήσεις).

Αλλά αυτή η περίσσεια τοπικής ικανότητας μπορεί να τελειώνει σύντομα, καθώς η τοπική υλική υποδομή γίνεται χαμηλότερου επιπέδου και πιο ακριβή, και καθώς οι υπηρεσίες που βασίζονται στη νοημοσύνη απαιτούν υψηλότερες πόρους διακομιστή και τοπικούς πόρους.

Αποκτώντας einen Κεφαλή

Πίσω στην εποχή πριν από το ευρυζωνικό, ακόμη και πριν από τα πρώτα χρηστικά βίντεο ροής, οι χρήστες του web ήταν συνηθισμένοι σε εικόνες που έρχονται σιγά-σιγά σε εστίαση, καθώς οι προοδευτικοί JPEG επέτρεψαν στον χρήστη να βλέπει την εικόνα που κατεβάζεται να σχηματίζεται, đôi fois πολύ αργά, καθώς περισσότερα δεδομένα εικόνας φορτώνονταν τοπικά.

Τώρα, φαίνεται ότι θα μπορούσαμε να έχουμε μια παρόμοια εμπειρία με τη βοήθεια της νοημοσύνης Gaussian Splat εικονιδίων:

Κάντε κλικ για αναπαραγωγή. Από το νέο έργο ProgressiveAvatars, μια σύγκριση των ροών Gaussian εικονιδίων. Στο αριστερό μέρος, το παλιό έργο GaussianAvatars λαμβάνει νέα δεδομένα αργά αλλά φαίνεται άσχημα καθώς τα δεδομένα χτίζονται· στο δεξί μέρος, η έκδοση Progressive Avatars χτίζει επίσης λεπτομέρειες σιγά-σιγά, αλλά το κάνει με έναν έξυπνο τρόπο που δίνει μια βασική ανθρώπινη ομοιότητα από την αρχή. Πηγή

Πάνω από αυτήν τη βασική δομή, προστίθεται λεπτομέρεια σε στρώματα· η επιφάνεια υποδηλώνεται ότι υποδιαιρείται σε μια ιεραρχία, και μικρά τρισδιάστατα Γκαουσιανά προσαρτώνται στα πρόσωπα σε κάθε επίπεδο λεπτομέρειας.

Αν και τα αρχικά χονδρότερα στρώματα συλλαμβάνουν το γενικό σχήμα του κεφαλιού και της κίνησης, τα επόμενα λεπτότερα στρώματα παρέχουν ρυτίδες, λεπτές παραμορφώσεις και υψηλής συχνότητας υφή. Οι εικόνες από αυτά τα Γκαουσιανά αποδίδονται χρησιμοποιώντας einen διαφορίσιμο Γκαουσιανό rasterizer και εκπαιδεύονται ενάντια σε πολλαπλά ground truth βίντεο, ώστε το εικονίδιο να μάθει να αναπαράγει την εμφάνιση του πραγματικού ανθρώπου.

Κατά τη διάρκεια της εκπαίδευσης, αυτή η ιεραρχία μεγαλώνει αυτόματα· οι περιοχές που χρειάζονται περισσότερη λεπτομέρεια υποδιαιρούνται περαιτέρω, καθοδηγούμενες από σημάδια χώρου οθόνης, ώστε η υπολογιστική προσπάθεια να συγκεντρωθεί όπου το μάτι του θεατή είναι πιο πιθανό να παρατηρήσει λάθη.

Κατά τη διάρκεια της εύρεσης, αυτή η ιεραρχία ermöglicht προοδευτική ροή, όπου μια груβή έκδοση του εικονιδίου μπορεί να εμφανιστεί πρώτα, και καθώς προστίθενται επιπλέον στρώματα, νέα Γκαουσιανά μπορούν να προστεθούν χωρίς να αλλάξουν ότι έχει ήδη εμφανιστεί, ermöglicht einen animatable κεφαλής εικονίδιο που εμφανίζεται γρήγορα και γίνεται πιο καθαρό και λεπτομερές καθώς περισσότερα δεδομένα φτάνουν.

Οι συγγραφείς παρατηρούν ότι ολόκληρο το σύστημα βασίζεται στην προτεραιότητα των ερχόμενων δεδομένων:

Όταν όλα τα Γκαουσιανά σε ένα δεδομένο επίπεδο είναι διαθέσιμα, το πλήρες μοντέλο αποδίδεται με μέγιστη πιστότητα· αλλά κατά τη διάρκεια της ροής, η αποστολή των Γκαουσιανών με τη μεγαλύτερη συνεισφορά πρώτα ermöglicht πρώιμα μερικά αποτελέσματα να ταιριάζουν στενά με την τελική εικόνα, ενώ η μετάδοση των Γκαουσιανών με τη μικρότερη συνεισφορά πρώτα διαστρέβλωνε την ισορροπία του χρώματος και τονίζει δευτερεύουσες συνιστώσες.

Μέθοδος

Η προσέγγιση αρχικά χρησιμοποιεί βίντεο ενός ανθρώπινου κεφαλιού. Για κάθε καρέ, ένα τυπικό FLAME παραμετρικό μοντέλο προσώπου προσαρμόζεται, ώστε το σχήμα και η έκφραση να αλλάζουν με τον καιρό, ενώ η υποκείμενη δομή του πλέγματος παραμένει σταθερή. Επειδή η βασική τοπολογία δεν αλλάζει, ένα σταθερό FLAME πρότυπο μπορεί να ξαναχρησιμοποιηθεί και να βελτιωθεί αντί να ξαναχτιστεί από την αρχή σε κάθε στιγμή, όπως συμβαίνει σε παρόμοια προηγούμενα έργα:

Το βίντεο του κεφαλιού προσαρμόζεται πρώτα με ένα FLAME πλέγμα, μετά από οποίο Γκαουσιανά προσαρτώνται σε κάθε πρόσωπο και μεγαλώνουν ιεραρχικά όπου οι γραμμικές γραμμές οθόνης δείχνουν λείψανα λεπτομέρειας. Κατά τη διάρκεια της εκπαίδευσης, αυτή η προσαρμοστική υποδιαίρεση χτίζει μια πολλαπλή αναπαράσταση υπό πολλαπλή εποπτεία, και κατά τη διάρκεια της εύρεσης, οι βαθμοι Importance ανά πρόσωπο καθορίζουν ποια Γκαουσιανά θα σταλούν πρώτα, ermöglicht το εικονίδιο να εμφανιστεί γρήγορα και να βελτιωθεί προοδευτικά καθώς προστίθενται περισσότερα Γκαουσιανά.

Κατά τη διάρκεια της εκπαίδευσης, αυτή η ιεραρχία μεγαλώνει αυτόματα: περιοχές που χρειάζονται περισσότερη λεπτομέρεια υποδιαιρούνται περαιτέρω, καθοδηγούμενες από σημάδια χώρου οθόνης, ώστε η υπολογιστική προσπάθεια να συγκεντρωθεί όπου το μάτι του θεατή είναι πιο πιθανό να παρατηρήσει λάθη.

Κατά τη διάρκεια της εύρεσης, αυτή η ιεραρχία ermöglicht προοδευτική ροή, όπου μια груβή έκδοση του εικονιδίου μπορεί να εμφανιστεί πρώτα, και καθώς προστίθενται επιπλέον στρώματα, νέα Γκαουσιανά μπορούν να προστεθούν χωρίς να αλλάξουν ότι έχει ήδη εμφανιστεί, ermöglicht einen animatable κεφαλής εικονίδιο που εμφανίζεται γρήγορα και γίνεται πιο καθαρό και λεπτομερές καθώς περισσότερα δεδομένα φτάνουν.

Οι συγγραφείς παρατηρούν ότι ολόκληρο το σύστημα βασίζεται στην προτεραιότητα των ερχόμενων δεδομένων:

Όταν όλα τα Γκαουσιανά σε ένα δεδομένο επίπεδο είναι διαθέσιμα, το πλήρες μοντέλο αποδίδεται με μέγιστη πιστότητα· αλλά κατά τη διάρκεια της ροής, η αποστολή των Γκαουσιανών με τη μεγαλύτερη συνεισφορά πρώτα ermöglicht πρώιμα μερικά αποτελέσματα να ταιριάζουν στενά με την τελική εικόνα, ενώ η μετάδοση των Γκαουσιανών με τη μικρότερη συνεισφορά πρώτα διαστρέβλωνε την ισορροπία του χρώματος και τονίζει δευτερεύουσες συνιστώσες.

Δεδομένα και Τεστ

Για τα τεστ, η νέα μέθοδος αξιολογήθηκε στο NeRSemble dataset, το οποίο αποτελείται από βίντεο πολλαπλών προοπτικών για κάθε υποκείμενο, με συγχρονισμένα παραμέτρους σε όλες τις προοπτικές:

Παραδείγματα διαφορετικών ερμηνειών των υποκειμένων που περιλαμβάνονται στο NeRSemble dataset που χρησιμοποιήθηκε για τα τεστ του ProgressiveAvatars. Πηγή

Σύμφωνα με την αρχική GaussianAvatars μεθοδολογία, οι εικόνες υποδείχθηκαν σε 802x550px, μια маска προέλευσης δημιουργήθηκε, και η αρχική έργο εκπαίδευσης/τεστ διαίρεση υιοθετήθηκε.

Ο Adam optimizer χρησιμοποιήθηκε για την ενημέρωση των παραμέτρων, με ρυθμό μάθησης 1×10^-2 σε όλες τις βαρυκεντρικές συντεταγμένες. Η εκπαίδευση διήρκεσε 60.000 επαναλήψεις, με την ιεραρχία να επεκτείνεται αυτόματα κάθε 2.000 επαναλήψεις.

Αρχικά, οι συγγραφείς ε-tested για ανακατασκευή και animation – την εργασία της μετατροπής πλάνων βίντεο σε ένα 3D-ενήμερη (x/y/x) σύστημα, χρησιμοποιώντας το κανονικό CGI αναπαράσταση του FLAME ως το άγκιστρο πλέγματος. Για αυτό, όλες οι βάσεις εκπαιδεύτηκαν από την αρχή, και οι αντίπαλες πλαισιώσεις ε-tested ήταν η προαναφερθείσα GaussianAvatars, και PointAvatar.

Για αυτά τα τεστ, χρησιμοποιήθηκαν μετρικά όπως Peak Signal-to-Noise Ratio (PSNR), Δείκτης Ομοιότητας Δομής (SSIM), και Μαθημένη Ομοιότητα Εικόνας Patch (LPIPS):

Ποιοτική σύγκριση σε σύνθεση νέας προοπτικής και νέας έκφρασης. Η βασική GaussianAvatars δυσκολεύεται με λεπτές λεπτομέρειες γύρω από τα μάτια, τις ρυτίδες και την υφή του δέρματος, ενώ η προτεινόμενη μέθοδος διατηρεί ήδη την κρίσιμη δομή του προσώπου σε περίπου πέντε τοις εκατό των μεταδιδομένων δεδομένων και συγκλίνει προς την πραγματική εικόνα καθώς προστίθενται περισσότερα Γκαουσιανά, ταιριάζοντας στενά με το πλήρες μοντέλο και τις εικόνες αναφοράς (πραγματική εικόνα).

Σχετικά με αυτά τα αποτελέσματα, οι συγγραφείς δηλώνουν:

‘Η μέθοδος μας ανακατασκευάζει πιο καθαρές λεπτομέρειες σε πολλές περιοχές, ιδιαίτερα γύρω από το λαιμό, τους ώμους και τα ρούχα. Αυτές οι περιοχές είναι σχετικά χονδρότερα σε σύγκριση με τις υψηλής σαφήνειας περιοχές του προσώπου (π.χ. την περιοχή γύρω από τα μάτια).

‘Συνεπώς, οι προηγούμενες μέθοδοι συχνά κατανέμουν πολύ λίγα 3D Γκαουσιανά σε αυτές τις περιοχές για να πιάσουν πιστά τις λεπτές λεπτομέρειες. Αντίθετα, η στρατηγική μας για αυξητική ανάπτυξη αυξάνει τον αριθμό των Γκαουσιανών και βελτιώνει την ιεραρχία μόνο όπου χρειάζεται, καθιστώντας την κατανομή ανεξάρτητη από τη μη ομοιόμορφη διαιρέσεις του FLAME.’

Οι συγγραφείς σημειώνουν επίσης ότι η προσέγγισή τους είναι στο ίδιο επίπεδο με τις μεθόδους του κράτους-of-the-αrt, αποδίδοντας ένα λειτουργικό εικονίδιο με μια ελαφριά 5% ποσοστό ζώνης:

Ποσοτική σύγκριση σε σύνθεση νέας προοπτικής και νέας έκφρασης χρησιμοποιώντας PSNR, SSIM, και LPIPS. Σε πλήρη μετάδοση, η προτεινόμενη μέθοδος επιτυγχάνει την υψηλότερη PSNR και στις δύο εργασίες και παραμένει ανταγωνιστική με την GaussianAvatars στις μετρήσεις αντίληψης, ενώ η ρύθμιση 5% δείχνει το εμπόριο ποιότητας υπό ακραίες περιοριστικές ζώνες.

Επόμενο, οι ερευνητές ε-tested την προοδευτική απόδοση. Αυτό πραγματοποιήθηκε σε ένα NVIDIA RTX 4090, με 24Gb VRAM, σε ανάλυση 550x802px. Σε αυτή τη περίπτωση, οι συγγραφείς σημειώνουν ότι ένας προϋπολογισμός 25% θα χρησιμοποιούσε όλα τα ‘επίπεδο 1’ Γκαουσιανά, καθώς και ένα υποσύνολο των Γκαουσιανών του επιπέδου 2, το οποίο δίνει μια груβή εικόνα του τρόπου με τον οποίο οι ομάδες Γκαουσιανών συλλέγουν λεπτομέρειες στις υψηλότερες ομάδες, και ότι οι χαμηλότερες ομάδες ουσιαστικά χτίζουν την βασική καμβά:

Επίδραση υπό διαφορετικούς προϋπολογισμούς μετάδοσης για σύνθεση νέας προοπτικής και νέας έκφρασης, δείχνοντας ότι η ποιότητα προσεγγίζει ή υπερβαίνει την GaussianAvatars καθώς μεταδίδονται περισσότερα Γκαουσιανά και δεδομένα, ενώ οι ταχύτητες σε πραγματικό χρόνο διατηρούνται, σε ένα RTX 4090.

Οι συγγραφείς σχολιάζουν:

‘Με μόνο 2,60 MB μεταδιδομένα (5% προϋπολογισμός), το εικονίδιο έχει ήδη επιτύχει λογική ποιότητα. Όσο περισσότερα Γκαουσιανά μεταδίδονται, λεπτές δομές όπως κουμπιά, δόντια και μαλλιά σταδιακά γίνονται πιο καθαρά ενώ διατηρούνται οι χρονικές σταθερότητες.

‘Σε 100% μετάδοση, η προσέγγισή μας επιτυγχάνει ποιότητα απόδοσης συγκρίσιμη με τις μεθόδους του κράτους-of-the-αrt. Ιδιαίτερα, οι ρυθμοί καρέ δεν πέφτουν σημαντικά, πιθανότατα επειδή η εργασία 3DGS δεν έχει ακόμη κορεστεί την GPU.’

Ωστόσο, οι συγγραφείς σημειώνουν ότι σε σενάρια πολλαπλών χρηστών VR, ο αριθμός των 3D Γκαουσιανών θα αυξηθεί γρήγορα σε σημείο όπου η rasterization της GPU θα γίνει εμπόδιο. Σε αυτά τα βαρύτερα σενάρια, η προτεινόμενη προσέγγιση προσφέρει ένα πλεονέκτημα επιτρέποντας στο σύστημα να ανταλλάξει τον αριθμό των πρωτογόνων με την οπτική ποιότητα, μειώνοντας τη φόρτωση χωρίς να καταρρέει η απόδοση.

Αν και η εργασία δεν το αναφέρει, η ιστοσελίδα του έργου περιλαμβάνει επιπλέον συγκρίσεις, επίσης με το MeGA Hybrid mesh-Gaussian avatar project:

Κάντε κλικ για αναπαραγωγή. Ένα από μια σειρά συμπληρωματικών βίντεο από την ιστοσελίδα του έργου, αυτή η σύγκριση της νέας προσέγγισης σε σύνθεση νέας προοπτικής.

Συμπέρασμα

Το Gaussian Splatting μπορεί να επιβιώσει ή να θυμηθεί περισσότερο από το RealPlayer τώρα, σε σχέση με την αυγή της διαδραστικής ροής: AI-οδηγούμενες ή AI-βοηθούμενες 3D-ενήμερες αντιπροσωπευτικές εμπειρίες, συμπεριλαμβανομένων βίντεο-κλήσεων, εικονικών αγορών, πλοήγησης οδών, και ποικίλων ψυχαγωγικών εφαρμογών. Μπορεί να είναι ότι εναλλακτικές τεχνολογίες ή προσεγγίσεις κερδίζουν, ή ότι το GSplat αποδεικνύεται η πιο αξιόπιστη AI-βίντεο αναπαράσταση.

Αν τίποτα άλλο, αυτό το ενδιαφέρον νέο έγγραφο προαναγγέλλει λίγο το εύρος αυτής της νέας περιοχής, ενώ μας θυμίζει, ίσως νοσταλγικά, το διαδίκτυο με έλλειψη ζώνης του παρελθόντος.

* Με ‘3D’, δεν εννοώ το είδος της εμπειρίας που απαιτεί ειδικά γυαλιά, αλλά μάλλον εμπειρίες όπου το πολυμεσικό περιεχόμενο έχει κάποια κατανόηση των συντεταγμένων X/Y/Z.

Πρώτη δημοσίευση Τετάρτη, 18 Μαρτίου 2026