Meta tuo Muselle reaaliaikaisen äänen ja ilmeikkäät avatarit

Meta ilmoitti 5. marraskuuta 2026, että reaaliaikaiset äänikeskustelut ja ilmeikkäät avatarit tulevat saataville Muse-sovellukseen Yhdysvalloissa mobiililaitteilla, verkossa ja Macilla. Uudet ominaisuudet tuovat sen henkilökohtaiseen tekoälyagenttiin puheeseen ja kuvaan perustuvan käyttöliittymän.

Julkaisua edelsi Metan Connect 2026 -ennakkokatsaus 23. syyskuuta 2026. Siinä esiteltiin pitkiä reaaliaikaisia keskusteluja ja Muse Realtime Avatar. Aiemmassa tapahtumassa havainnollistettiin konsepteja, kun taas uusi ilmoitus merkitsee niiden käyttöönottoa käyttäjille. Keskustelu alkaa napauttamalla puhelinkuvaketta oikeassa yläkulmassa.

Ääniohjaus ja taustalla jatkuvat tehtävät

Muse Realtime Voice vastaa välittömästi puheella ja antaa käyttäjien keskeyttää agentin. Agentti voi jatkaa tehtävien hoitamista taustalla keskustelun jatkuessa, jolloin keskustelu ja agentille delegoitu työ etenevät rinnakkain.

Esimerkeissä kehitetään keskeneräistä ideaa ilman, että ensin laaditaan tarkka kehote, suunnitellaan matka kohteen ja muutaman mieltymyksen perusteella sekä harjoitellaan työhaastattelua, esitystä tai myyntipuhetta. Muissa esimerkeissä tehtäviä annetaan kävelyn tai ruoanlaiton aikana, ja Muse hoitaa niitä keskustelun edetessä.

Käyttäjät voivat keskustella pelkällä äänellä, sijoittaa avatarin keskustelun viereen tai siirtyä koko näytön kasvokkaiseen näkymään. Avatar reagoi kuunnellessaan ja puhuessaan käyttämällä tilanteen sävyyn sopivia ilmeitä ja eleitä. Metan mukaan valittavana on satoja ääniä, ja valintaa voi vaihtaa. Esimerkkeinä se esittelee energisen newyorkilaisen tyylin ja merirosvotyylin.

Ääni laajentaa agentin toimintaa, joka perustui alun perin viestittelyyn ja tehtävien delegointiin. Meta esitteli Musen 8. syyskuuta 2026. Sen kanssa pystyi olemaan vuorovaikutuksessa Muse-sovelluksessa tai WhatsAppissa. Muse pystyi lähettämään sähköposteja ja varaamaan matkoja, jatkamaan työskentelyä sovelluksen sulkemisen jälkeen sekä palaamaan käyttäjän luo, kun jokin muuttui tai kun arkaluonteinen toiminto, kuten ostos, edellytti hyväksyntää. Uudet ominaisuudet lisäävät puheen ja visuaalisen läsnäolon tähän vakiintuneeseen tehtävien ja hyväksyntöjen malliin.

Reaaliaikaisen avatarin taustalla oleva järjestelmä

Meta AI Researchin teknisessä kuvauksessa Muse Realtime Voice ja Muse Realtime Avatar esitellään yhtenä suoratoistojärjestelmänä. Äänimalli tuottaa puhetokeneita, jotka välittävät sekä sisällön että puheen esitystavan. Äänidekooderi muuntaa tokenit puheeksi, ja avatarimalli hyödyntää samaa virtaa visuaalisen esityksen tuottamiseen. Näin ääni, huulten liike ja ilmeet pysyvät synkronoituina.

Avatar on ääniohjattu Diffusion Transformer, jonka toimintaa ohjaavat kyseinen tokenvirta, viitemateriaali, kuten muotokuva tai kuvitus, sekä liukuva ikkuna viimeaikaisista videon latenttiesityksistä. Se tuottaa lyhyitä kausaalisia videolohkoja. Kun kukin lohko valmistuu, sen uusimmat tuotetut latenttiesitykset tarjoavat liikkeen kontekstin seuraavalle lohkolle. Näin ulkonäkö ja maneerit siirtyvät eteenpäin, ja laskennan määrää rajataan, jotta videon tuottaminen voi jatkua koko keskustelun ajan.

Meta kertoo, että tislaus pienensi luontiprosessia reaaliaikaiseen käyttöön sopivaksi: kunkin lohkon tuottaminen vaatii aiemman 120 ohjatun opettajamallin arvioinnin sijaan vain kaksi ohjaamatonta oppilasmallin arviointia. Metan mukaan määrä väheni 60-kertaisesti opettajamallin laadun säilyessä lähes ennallaan.

Tutkimusryhmä kertoo järjestelmän tuottavan pystyvideota 448 × 768 pikselin tarkkuudella ja 25 ruudun sekuntinopeudella. Käyttäjän puheenvuoron päättymisestä synkronoidun ääni- ja videovastauksen ensimmäisen tavun saapumiseen kuluu noin 870 millisekuntia. Optimointien ansiosta palvelukapasiteetti on kahdeksankertainen kaksivaiheiseen BF16-perustasoon verrattuna, ja yhdellä GB200:lla voidaan ajaa samanaikaisesti 12 reaaliaikaista videonluonti-istuntoa. Viivemittaus kuvaa keskustelun reagointinopeutta, kun taas kapasiteettiluvut koskevat jatkuvan videonluonnin aiheuttamaa palvelukuormaa.

Suojatoimet ja suunnitteilla olevat laitteet

Tutkimusjulkaisun mukaan tuotettuun avatarvideoon lisätään pysyvä, näkymätön Meta Video Seal -vesileima ilman, että se lisää reaaliaikaista viivettä. Julkaisussa myös huomautetaan, että esimerkit havainnollistavat mallin kyvykkyyttä eivätkä kaikki vastaa Muse-sovelluksessa saatavilla olevia avatareja. Muse on tarkoitettu vähintään 18-vuotiaille käyttäjille.

Metan mukaan äänikeskustelut tulevat pian myös AI Glasses -laseihin ja Muse Charm -laitteeseen. Connect-tapahtumassa yhtiö kuvaili, että laseja voi käyttää handsfree-tilassa ja että Charm on taskukokoinen laite, joka on suunniteltu puhumiseen ja Muse-palvelun kanssa vuorovaikuttamiseen.

Julkaisun keskeinen kehitysaskel on vuorovaikutusmalli: puhe, keskeyttäminen ja tehtävien suorittaminen taustalla tapahtuvat nyt saman istunnon aikana, ja avatar lisää mukaan visuaalisen vastauksen. Seuraava avoin kysymys on, pystyykö Meta tuomaan tämän yhdistelmän myös AI Glasses -laseihin ja Muse Charm -laitteeseen. Nämä versiot ovat edelleen suunnitteilla, kun sovelluksen käyttöönotto etenee Yhdysvalloissa mobiililaitteilla, verkossa ja Macilla.