Η Meta φέρνει στο Muse φωνητικές συνομιλίες σε πραγματικό χρόνο και εκφραστικά άβαταρ

Η Meta ανακοίνωσε στις 5 Νοεμβρίου 2026 ότι οι φωνητικές συνομιλίες σε πραγματικό χρόνο και τα εκφραστικά άβαταρ διατίθενται σταδιακά στην εφαρμογή Muse στις ΗΠΑ, σε κινητά, στον ιστό και σε Mac, προσθέτοντας μια προφορική και οπτική διεπαφή στον προσωπικό της πράκτορα τεχνητής νοημοσύνης.

Η κυκλοφορία ακολουθεί την παρουσίαση προεπισκόπησης του Connect 2026 από τη Meta στις 23 Σεπτεμβρίου 2026, όπου παρουσιάστηκαν εκτενείς συνομιλίες σε πραγματικό χρόνο και το Muse Realtime Avatar. Στην προηγούμενη εκδήλωση παρουσιάστηκαν οι σχετικές ιδέες· η νέα ανακοίνωση σηματοδοτεί τη διάθεσή τους στους χρήστες. Για να ξεκινήσει μια συνομιλία, πατήστε το εικονίδιο τηλεφώνου στην επάνω δεξιά γωνία.

Φωνητικός έλεγχος και εργασίες σε εξέλιξη

Το Muse Realtime Voice παρέχει άμεσες προφορικές απαντήσεις και επιτρέπει στους χρήστες να διακόπτουν τον πράκτορα. Ο πράκτορας μπορεί να συνεχίσει να εργάζεται στο παρασκήνιο ενώ η συνομιλία βρίσκεται σε εξέλιξη, ώστε η συζήτηση και οι εργασίες που του έχουν ανατεθεί να προχωρούν παράλληλα.

Τα παραδείγματα εστιάζουν στην ανάπτυξη μιας ανολοκλήρωτης ιδέας χωρίς να χρειάζεται πρώτα να διατυπωθεί μια ακριβής προτροπή, στον προγραμματισμό ενός ταξιδιού με βάση τον προορισμό και ορισμένες προτιμήσεις, καθώς και στην εξάσκηση για μια συνέντευξη εργασίας, μια παρουσίαση ή μια πρόταση. Άλλα παραδείγματα αφορούν την ανάθεση εργασιών ενώ ο χρήστης περπατά ή μαγειρεύει, με το Muse να τις διεκπεραιώνει καθώς συνεχίζεται η συνομιλία.

Οι χρήστες μπορούν να διατηρήσουν την αλληλεπίδραση αποκλειστικά φωνητική, να εμφανίσουν το άβαταρ δίπλα στη συνομιλία ή να μεταβούν σε προβολή πλήρους οθόνης, πρόσωπο με πρόσωπο. Το άβαταρ αντιδρά καθώς ακούει και μιλά, χρησιμοποιώντας εκφράσεις και χειρονομίες ανάλογες με τον τόνο. Σύμφωνα με τη Meta, υπάρχουν εκατοντάδες φωνές για να επιλέξει κανείς και η επιλογή μπορεί να αλλάξει. Ως παραδείγματα, παρουσιάζει ένα ζωηρό στιλ Νεοϋορκέζου και ένα πειρατικό στιλ.

Η φωνητική λειτουργία επεκτείνει έναν πράκτορα που αρχικά σχεδιάστηκε με επίκεντρο τα μηνύματα και την ανάθεση ενεργειών. Η Meta παρουσίασε το Muse στις 8 Σεπτεμβρίου 2026, με δυνατότητα αλληλεπίδρασης μέσω της εφαρμογής Muse ή του WhatsApp. Το Muse μπορούσε να στέλνει email και να κάνει κρατήσεις για ταξίδια, να συνεχίζει να εργάζεται αφού έκλεινε η εφαρμογή και να επανέρχεται όταν άλλαζε κάτι ή όταν απαιτούνταν έγκριση πριν από μια ευαίσθητη ενέργεια, όπως μια αγορά. Οι νέες λειτουργίες προσθέτουν ομιλία και οπτική παρουσία σε αυτό το καθιερωμένο μοντέλο εργασιών και εγκρίσεων.

Το σύστημα πίσω από το άβαταρ σε πραγματικό χρόνο

Μια τεχνική περιγραφή από το Meta AI Research παρουσιάζει τα Muse Realtime Voice και Muse Realtime Avatar ως ένα ενιαίο σύστημα ροής δεδομένων. Το μοντέλο φωνής παράγει διακριτικά ομιλίας που μεταφέρουν τόσο το περιεχόμενο όσο και τον τρόπο εκφοράς του. Ένας αποκωδικοποιητής ήχου μετατρέπει αυτά τα διακριτικά σε ομιλία, ενώ το μοντέλο του άβαταρ επεξεργάζεται την ίδια ροή για να παράγει την οπτική απόδοση, διατηρώντας συγχρονισμένα τη φωνή, την κίνηση των χειλιών και τις εκφράσεις.

Το άβαταρ είναι ένας Diffusion Transformer που καθοδηγείται από τον ήχο και βασίζεται σε αυτή τη ροή διακριτικών, σε υλικό αναφοράς όπως ένα πορτρέτο ή μια εικονογράφηση, καθώς και σε ένα κυλιόμενο παράθυρο πρόσφατων λανθανουσών αναπαραστάσεων βίντεο. Παράγει σύντομα, αιτιακά τμήματα βίντεο. Καθώς ολοκληρώνεται κάθε τμήμα, οι νεότερες λανθάνουσες αναπαραστάσεις που δημιουργήθηκαν παρέχουν το πλαίσιο κίνησης για το επόμενο, διατηρώντας την εμφάνιση και τους τρόπους έκφρασης, ενώ παράλληλα περιορίζουν τους υπολογιστικούς πόρους ώστε η παραγωγή να μπορεί να συνεχίζεται καθ’ όλη τη διάρκεια της συνομιλίας.

Για να καταστεί αυτή η διαδικασία αξιοποιήσιμη σε πραγματικό χρόνο, η Meta αναφέρει ότι η απόσταξη μείωσε τον αριθμό των αξιολογήσεων του καθοδηγούμενου μοντέλου-εκπαιδευτή ανά τμήμα από 120 σε δύο αξιολογήσεις του μη καθοδηγούμενου μοντέλου-μαθητή. Η εταιρεία περιγράφει τη μείωση ως 60 φορές, με σχεδόν αμετάβλητη την ποιότητα του μοντέλου-εκπαιδευτή.

Η ερευνητική ομάδα αναφέρει ότι το σύστημα παράγει κατακόρυφο βίντεο ανάλυσης 448 επί 768 στα 25 καρέ ανά δευτερόλεπτο, με καθυστέρηση περίπου 870 χιλιοστών του δευτερολέπτου από το τέλος της σειράς του χρήστη έως το πρώτο byte της συγχρονισμένης φωνητικής και οπτικής απάντησης. Οι βελτιστοποιήσεις της αυξάνουν την ικανότητα εξυπηρέτησης κατά οκτώ φορές σε σύγκριση με τη βασική γραμμή BF16 δύο βημάτων και υποστηρίζουν 12 ταυτόχρονες συνεδρίες παραγωγής βίντεο σε πραγματικό χρόνο σε ένα GB200. Η μέτρηση της καθυστέρησης αφορά την ταχύτητα ανταπόκρισης στη συνομιλία, ενώ τα στοιχεία για την ικανότητα εξυπηρέτησης αφορούν το φορτίο που δημιουργεί η συνεχής παραγωγή βίντεο.

Μέτρα προστασίας και συσκευές που σχεδιάζονται

Η ερευνητική ανάρτηση αναφέρει ότι τα βίντεο άβαταρ που δημιουργούνται περιλαμβάνουν ένα ανθεκτικό, αόρατο υδατογράφημα Meta Video Seal, χωρίς να προστίθεται καθυστέρηση σε πραγματικό χρόνο. Επισημαίνει επίσης ότι τα παραδείγματα παρουσιάζουν τις δυνατότητες του μοντέλου και δεν αντιστοιχούν όλα σε άβαταρ που είναι διαθέσιμα στην εφαρμογή Muse. Το Muse προορίζεται για χρήστες ηλικίας 18 ετών και άνω.

Η Meta αναφέρει ότι οι φωνητικές συνομιλίες θα είναι σύντομα διαθέσιμες και στα AI Glasses και στο Muse Charm. Στο Connect, περιέγραψε τη χρήση των γυαλιών ως hands-free και το Charm ως μια συσκευή μεγέθους τσέπης, σχεδιασμένη για ομιλία και αλληλεπίδραση με το Muse.

Η κυκλοφορία αναδεικνύει ως κεντρική εξέλιξη το μοντέλο αλληλεπίδρασης: η ομιλία, η δυνατότητα διακοπής και η εκτέλεση εργασιών στο παρασκήνιο συνυπάρχουν πλέον σε μία συνεδρία, ενώ το άβαταρ προσθέτει οπτική απόκριση. Το επόμενο ανοιχτό ερώτημα είναι αν η Meta θα μπορέσει να επεκτείνει αυτόν τον συνδυασμό στα AI Glasses και στο Muse Charm· αυτές οι εκδόσεις παραμένουν υπό σχεδιασμό, ενώ η διάθεση της εφαρμογής στις ΗΠΑ συνεχίζεται σε κινητά, στον ιστό και σε Mac.