Alex Smola, Boson AI:n toinen perustaja – haastattelusarja

Alex Smola on Boson AI:n toinen perustaja, ja hän työskentelee keskustelevaan puhekäyttöön tarkoitetun tekoälyn ja multimodaalisten järjestelmien parissa. Hänen uransa ulottuu akateemisesta tutkimuksesta Carnegie Mellon Universityssä laaja-alaisiin tekoälyhankkeisiin AWS:llä. Hän tuo tutkimus- ja tuotekokemuksensa yhteen rakentaessaan avustajia, jotka ymmärtävät keskustelun vihjeitä, osaavat käsitellä keskeytyksiä ja pystyvät tekemään hyödyllisiä tehtäviä.

Boson AI kehittää perusmalleja ja työkaluja puheeseen, ääneen ja multimodaaliseen vuorovaikutukseen. Sen Higgs Realtime -malli mahdollistaa reaaliaikaiset puheesta puheeksi käytävät keskustelut, ja laajempaan alustaan kuuluvat myös ilmeikäs puhesynteesi, avatarit ja yrityskäyttöön tarkoitetut ääniagentit. Tässä haastattelussa Smola puhuu keskustelukykyisestä tekoälystä, monikielisestä suorituskyvystä, päättelyn taloudellisuudesta ja suojatoimista, joita tarvitaan ääniagenttien tuomiseksi osaksi yritysten todellisia työnkulkuja.

Urasi on vienyt sinut akateemisesta tutkimuksesta Carnegie Mellon Universityssä laaja-alaisten tekoälyhankkeiden johtamiseen AWS:llä ja nyt Boson AI:n perustajaksi. Mikä sai sinut keskittymään keskustelevaan puhetekoälyyn, ja millaisia ihmisen ja tekoälyn välisen vuorovaikutuksen perustavanlaatuisia rajoitteita haluat ratkaista?

Ihmiset viestivät paljon muullakin kuin sanoilla. Toisen äänessä voi kuulla epävarmuuden tai huomata, ettei hän ole ymmärtänyt selitystä. Pieni myötäilevä äännähdys voi kertoa, että kannattaa jatkaa puhumista. Havaitsemme tällaisia vihjeitä ajattelematta, mutta niiden tunnistamisen opettaminen tietokoneille on yhä kesken.

Juuri siksi tämä ala kiinnostaa minua niin paljon. Meillä on nyt varsin älykkäitä järjestelmiä, mutta niiden kanssa viestiminen voi silti tuntua hankalalta. Haluan, että ihmiset voivat kertoa tarvitsemastaan omin sanoin ilman, että heidän täytyy ensin opetella, miten ohjelmistolle pitää puhua.

AWS:llä opin kiinnittämään tarkasti huomiota siihen, mitä asiakkaat yrittivät tehdä ja auttoiko tuote heitä siinä. Olemme tuoneet tämän toimintatavan Bosonille, ja samalla meillä on vapaus edetä nopeasti tutkimuksen kehittyessä.

Ääni ja video antavat meille enemmän tietoa hyödynnettäväksi. Jos joku näyttää hämmentyneeltä tai epäröi, avustaja voi reagoida ennen kuin keskustelu ajautuu sivuraiteille. Tällaisten arkisten vuorovaikutustilanteiden onnistunut hoitaminen on tärkeä osa tavoitettamme.

Boson AI esitteli hiljattain Higgs Realtime -mallin, joka on suunniteltu mahdollistamaan luonteva ja reaaliaikainen puheesta puheeksi tapahtuva vuorovaikutus. Miten tämä lähestymistapa eroaa perustavanlaatuisesti perinteisistä järjestelmistä, joissa yhdistetään puheentunnistus, kielimallit ja puhesynteesi, ja miksi tällä erolla on merkitystä tekoälyavustajien tulevaisuudelle?

Perinteisessä käsittelyketjussa puheentunnistus muuntaa puhutut sanat tekstiksi, kielimalli muodostaa vastauksen ja puhemalli lukee sen ääneen. Kukin vaihe riippuu edellisestä, mikä voi saada keskustelun tuntumaan hitaalta ja katkonaiselta.

Higgs Realtime on äänipohjainen puheesta puheeksi -malli, joka on kehitetty reaaliaikaiseen vuorovaikutukseen. Sen koulutuksessa huomioidaan keskustelun ominaispiirteet, kuten puheenvuorojen vaihtuminen ja muuttuviin pyyntöihin vastaaminen. Tämä on hyvin erilaista kuin äänen lisääminen tekstipohjaisen chatbotin päälle.

Ajattele tilannetta, jossa kysyt joltain vaikean kysymyksen. Hän saattaa sanoa: ”Selvitän sen”, ja ryhtyä sitten etsimään vastausta. Tiedät, että hän kuuli kysymyksesi ja selvittää asiaa. Tekoälyavustajan pitäisi toimia samoin hakiessaan tietoa tai käyttäessään työkalua, jotta sinun ei tarvitse jäädä miettimään, ymmärsikö se sinua vai lakkasiko se työskentelemästä.

Tämä on vielä tärkeämpää pidemmissä tehtävissä. Avustajan on pidettävä sinut ajan tasalla työn edetessä ja vastattava, jos kysyt jotain tai muutat mieltäsi.

Yksi keskustelevaan tekoälyyn liittyvistä suurimmista haasteista on tietää, milloin puhua, milloin kuunnella ja miten käsitellä keskeytyksiä tai keskustelun suunnanmuutoksia. Miten Boson AI ratkaisee näitä haasteita, ja millaisia teknisiä läpimurtoja vielä tarvitaan, jotta keskustelut tekoälyn kanssa tuntuisivat aidosti luontevilta?

Myötäilevä kuittaus ja keskeytys voivat kuulostaa hyvin samankaltaisilta, mutta niihin pitää reagoida eri tavoin. Jos joku sanoo ”joo” puhuessasi, hän saattaa haluta sinun jatkavan. Jos hän korjaa puhelinnumeronsa yhtä numeroa, sinun pitää keskeyttää puhe ja käyttää oikeaa numeroa. Tekoälyavustajan pitäisi pystyä erottamaan nämä tilanteet toisistaan.

Higgs Realtime hyödyntää puhujan sanojen merkitystä arvioidessaan, onko tämä lopettanut puhumisen vai pitääkö hän tauon. Nopeasti vastaaminen on tärkeää, mutta yhtä tärkeää on tietää, miten vastata.

Tämän tekeminen luotettavasti on yhä varsin vaikeaa. Ihmiset eivät puhu siististi vuorotellen, ja samat sanat voivat tarkoittaa eri asioita keskustelun mukaan. Avustajan täytyy ymmärtää, mikä muuttui, ja muistaa, mitä se oli tekemässä.

Boson AI on kehittänyt IHBenchin kaltaisia vertailutestejä, joilla mitataan, miten ääniagentit palautuvat keskeytyksistä. Mitä nämä arvioinnit ovat paljastaneet nykyisten johtavien äänimallien heikkouksista, ja miten alan pitäisi arvioida keskustelukykyistä tekoälyä uudella tavalla?

Kehitimme IHBenchin testataksemme, mitä tapahtuu, kun joku keskeyttää ääniagentin. Jos korjaat jotakin varauksen tekemisen puolivälissä, agentin pitäisi ottaa korjaus huomioon ja jatkaa oikeasta kohdasta. Sinun ei pitäisi joutua aloittamaan alusta tai kuuntelemaan uudelleen tietoja, jotka se on jo kertonut. Tulokset vaihtelivat paljon mallin ja keskeytyksen tyypin mukaan. Yksi havainto, jonka julkaisemisesta emme erityisemmin iloinneet, oli se, että suljetuin mallipainoin toimivat järjestelmät käsittelivät keskeytyksiä yleensä paremmin ja suoriutuivat paremmin myös silloin, kun keskeytys tuli keskustelussa myöhemmässä vaiheessa.

Avoimessa ekosysteemissä on todellinen puute, ja mittaamme sen mieluummin julkisesti kuin teeskentelemme, ettei sitä ole. Tämä on myös suurin syy siihen, miksi vertailutesti on olemassa. Puutetta ei voi korjata, ellei ole sovittu, miten sitä mitataan. Julkaisimme vertailutestin ilman omaa malliamme. Kun lisäsimme siihen oman mallimme, Higgs Realtime sai palautumisen laadusta 71,2 pistettä ja päihitti GPT Realtime 1.5:n, joka sai 65,5 pistettä, GPT Realtime 2:n, joka sai 62,4 pistettä, sekä Gemini 3.1 Flash Liven, joka sai 61,1 pistettä. Puute on siis korjattavissa, ja avoimien mallipainojen malli korjasi sen.

Näyttäisin sen mieluummin testissä, jonka suunnittelimme haastavaksi ja julkaisimme ennen kuin meillä oli siitä mitään näytettävää. Yleisemmin ajatellen ala mittaa mielestäni vääriä asioita. Ääni voi kuulostaa täysin luonnolliselta, mutta agentti voi silti epäonnistua tehtävässään, sillä ratkaisevaa on se, saako agentti tehtävän suoritettua. Jos joudut jatkuvasti muistuttamaan sitä siitä, mitä olit tekemässä, äänen miellyttävyydellä ei ole enää kovin pian merkitystä.

Vaikuttavan ääniälykkään tekoälyn esittelyn ja todellisissa asiakaskohtaamisissa toimivan itsenäisen agentin välillä on huomattava ero. Mikä erottaa ne toisistaan, ja mitä ominaisuuksia on kehitettävä, ennen kuin yritykset voivat ottaa ääniagentteja luottavaisin mielin käyttöön liiketoiminnan kannalta kriittisissä työnkuluissa?

Milloin viimeksi soitit kaapelioperaattorillesi hyvillä mielin? Useimmille vastaus on ei koskaan. Sinut siirretään työntekijältä toiselle, ja joka kerta joudut kertomaan nimesi, syntymäaikasi ja ongelmasi uudelleen, jotta seuraava työntekijä voi kysyä ne kaikki uudestaan. Kuvitellaan siis, että soitat samasta ongelmasta neljännen kerran. Haluat, että agentti tietää, mitä tapahtui kolmella ensimmäisellä kerralla. Jos reitittimen uudelleenkäynnistäminen ei ole auttanut, ehkä on aika lähettää teknikko, eikä sinun pitäisi joutua itse perustelemaan sitä. Jotta agentti voi toimia näin, se tarvitsee pääsyn tilisi historiaan ja käynnin varaamiseen käytettävään järjestelmään.

Agentin on myös kyettävä toimimaan, jos varaus epäonnistuu, ja tiedettävä, milloin puhelu pitää siirtää ihmiselle, joka pystyy todella ratkaisemaan ongelman. Yrityksen on testattava tällaiset tilanteet ennen kuin se ottaa agentin käyttöön asiakaspuheluissa. Lisäksi on huomioitava käyttökustannukset. Esittelyssä erinomaisesti toimivan järjestelmän käyttö voi olla liian kallista, jos sillä hoidetaan tuhansia puheluita päivässä. Siksi tehokkuus on olennainen osa yrityskäyttövalmiutta, ei siitä erillinen huolenaihe.

Olemme toteuttaneet juuri tätä käyttötapausta maailmanlaajuisen vakuutusyhtiön kanssa useiden kuukausien ajan. Kyse ei ole varsinaisen järjestelmän rinnalla tehtävästä kokeilusta. Järjestelmä hoitaa todellisia asiakaskeskusteluja, sekä saapuvia että lähteviä puheluita, samassa asiakaspalvelukeskuksessa yhtiön myyntityöntekijöiden kanssa. Se käsittelee tuhansia samanaikaisia puheluita, ja kustannukset ovat noin kolmasosa ihmisagentin kustannuksista.

Kustannuksia kiinnostavampaa minusta on se, että järjestelmä parani käytössä. Yhtiön oman arvioinnin mukaan keskustelujen laatumme sai alussa 30 pistettä. Viisi kuukautta myöhemmin tulos oli 80 pistettä, joka vastaa yhtiön käyttämää pätevän ihmisen tekemän puhelinmyyntityön tulosrajaa. GPT-4o Realtime sai samassa arvioinnissa 55 pistettä. Emme saavuttaneet tätä tulosta virittämällä mallia laboratoriossa. Järjestelmä kehittyi sen puheluliikenteen perusteella, jota se todella käsitteli – ja juuri tällaisella kehityksellä on merkitystä asiakaspalvelukeskukselle.

Kun ääniagentit siirtyvät kysymyksiin vastaamisesta tehtävien suorittamiseen, asiakastietojen käyttöön ja yritysjärjestelmien kanssa asiointiin, miten kehittäjien pitäisi tasapainottaa itsenäinen toiminta ihmisen valvonnan kanssa? Millaiset suojatoimet ovat välttämättömiä pitkäaikaisen luottamuksen rakentamiseksi näihin järjestelmiin?

Aloittaisin kysymällä, mitä haluat uskoa agentin tehtäväksi. Tilin saldon tarkistaminen on aivan eri asia kuin rahan siirtäminen tai palvelun peruuttaminen. Käyttöoikeuksien pitäisi vastata tätä, ja järjestelmien, joihin agentti yhdistyy, on valvottava niiden noudattamista. Kaikkea tätä ei voi jättää kehotteeseen kirjoitetun ohjeen varaan.

Ihmisten pitäisi myös tietää, mihin he suostuvat. Ennen kuin agentti tekee muutoksen, jota olisi vaikea perua, sen pitäisi selittää seuraukset ja pyytää vahvistus. Jos agentti joutuu pulaan, ihmisen mukaan ottamisen pitäisi olla helppoa.

Asiat menevät silti joskus pieleen. Silloin on voitava nähdä, mitä agentti teki ja mihin se pysähtyi, jotta joku voi korjata tilanteen. Itsevarmalta kuulostava ääni voi saada meidät olettamaan, että järjestelmä tietää, mitä se tekee, mutta luottamus on ansaittava järjestelmän luotettavalla toiminnalla.

Higgs Realtime tukee yli 100 kieltä, ja kieltä voi vaihtaa keskustelun aikana. Mitkä ovat suurimmat tekniset haasteet, kun eri kielillä, aksenteilla ja viestintätyyleillä halutaan varmistaa keskustelun älykkyyden tasainen toimivuus – erityisesti tunteiden ja käyttäjän tarkoituksen ymmärtämisessä?

Kielivalikoima kuulostaa luettelolta, mutta siitä ei ole kyse. Jonkin aikaa sitten eräs asiakas tarvitsi thain kieltä. Meillä oli siihen osittainen tuki, ja ensimmäiseksi huomasimme, ettemme tienneet varsinaisesta thain kielestä juuri mitään. Emme esimerkiksi tienneet, ettei kirjoitetussa thaissa käytännössä ole lainkaan välimerkkejä. Tämä rikkoo lauserajoja koskevat oletukset, joiden varaan useimmat puheentunnistusjärjestelmät on rakennettu. Olisimme voineet lykätä markkinoille tuloa. Sen sijaan löysimme tietojenkäsittelytieteilijöitä, jotka puhuivat thaita, ja rakensimme kielen käsittelyn uudelleen asianmukaisesti.

Noin kuusi viikkoa myöhemmin esittelimme sitä Bangkokissa. Demon aikana en pystynyt päättelemään, miten esittely sujui – kuuntelin ihmisten testaavan järjestelmää kielellä, jota en puhu – mutta jälkeenpäin he sanoivat sen toimineen hyvin, mikä oli huomattava helpotus. Käytännöt vaihtelevat yhtä paljon kuin sanastokin. Japanissa kuulijat äännähtelevät pienesti puhujan puhuessa osoittaakseen seuraavansa keskustelua. Jos avustaja pysähtyy joka kerta antaakseen puheenvuoron toiselle, se rikkoo keskustelun rytmin.

Sanat voivat olla täydellisiä, mutta keskustelu voi silti epäonnistua. Myös sillä, miten sanot jotain, on yhtä paljon merkitystä kuin sillä, mitä sanot. Täsmälleen samoja sanoja voi käyttää hellästi tai sarkastisesti, ja tilanteeseen sopiva vastaus on täysin erilainen. Äänensävyn ja asiayhteyden säilyttäminen kielen vaihtuessa kesken lauseen on iso osa sitä, mikä tekee tästä minusta kiinnostavaa.

Yritykset, kuten OpenAI ja Google, investoivat voimakkaasti reaaliaikaiseen multimodaaliseen tekoälyyn. Miten erikoistunut yritys, kuten Boson AI, voi kilpailla organisaatioiden kanssa, joilla on huomattavasti enemmän laskentaresursseja, ja missä näet suurimmat mahdollisuudet erottua mallien arkkitehtuurin, suorituskyvyn ja inferenssin kustannustehokkuuden osalta?

Suurempi laskentateho ei automaattisesti tarkoita, että sitä käytettäisiin hyvin. Keskustelun aikana voi käyttää paljon rahaa erittäin tehokkaan mallin ajamiseen vain siksi, että se käsittelee jonkun sanomaa ”hmm” tai ”joo, luultavasti”. Malli käyttää tällöin suuren osan älystään täytepuheen kuuntelemiseen. Aivot ovat kalliita ja kuluttavat paljon energiaa, ja niin kuluttaa myös inferenssi. Lopulta asiakas maksaa siitä.

Ihmiset ratkaisevat tämän jakamalla tarkkaavaisuutensa. Voit istua kahvilassa käymässä hieman tylsää keskustelua samalla, kun mielesi perukoilla mietit, mitä laittaisit illalliseksi. Tietoinen mielesi pitää keskustelua yllä. Sitten toinen ihminen kysyy sinulta jotain todella vaikeaa, ja uppoudut siihen täysin, käyttäen siihen kaiken huomiosi. Rakennamme keskustelujärjestelmiä samalla tavalla.

Edullinen malli hoitaa keskustelun etualan, ja kalliimpaa päättelyä ja työkalukutsuja käytetään, kun tehtävä niitä todella vaatii. Toinen puoli asiaa on se, että ostimme laskentakapasiteettimme sen sijaan, että olisimme vuokranneet sitä. Laskutoimitus ei ole monimutkainen: kerro pilvipalvelimen tuntihinta vuoden tuntien määrällä, niin saat summan, joka on lähellä laitteiston kertaostohintaa. Laskimme kannattavuusrajan komponentti kerrallaan ja rakensimme sen pohjalta. Se oli vaikeampaa kuin miltä tämä kuulostaa, eikä kaikki sujunut täydellisesti. Mutta näin raa’an voiman varaan rakentuva skaalaus jää pois vaihtoehdoista, mikä tarkoittaa, että jokaisen parannuksen on perustuttava parempaan dataan ja parempaan arkkitehtuuriin. Tästä oli meille myös suojaa: komponentit, joiden hinnaksi meille oli ilmoitettu alle $100,000, maksoivat kuusi kuukautta myöhemmin suunnilleen kaksinkertaisesti. Pienenä, yhteen asiaan keskittyvänä tiiminä pystymme toimimaan nopeasti. Tutkija voi ottaa idean, testata sen ja viedä sen itse tuotteeseen. Hyödymme myös avoimen tutkimuksen yhteisöstä ja annamme sille vastineeksi, minkä ansiosta pieni tiimi pystyy tekemään kokonsa huomioon ottaen melko paljon.

Tutkimuksessasi ProactBenchissä tarkastellaan keskustelutekoälyn tärkeää ulottuvuutta: käyttäjän tarpeiden tunnistamista silloinkin, kun hän ei ole pyytänyt apua suoraan. Miten näet puheagenttien kehittyvän reaktiivisista avustajista ennakoiviksi yhteistyökumppaneiksi, ja missä pitäisi kulkea raja käyttäjän tarpeiden ennakoinnin ja liian pitkälle menemisen välillä?

Oletetaan, että varaat aikaa lääkärille ja mainitset keskustelun alussa, ettet pysty ajamaan autoa. Hyvä avustaja muistaisi tämän ja ehdottaisi etävastaanottoa tai auttaisi kuljetuksen järjestämisessä. Sinun ei pitäisi joutua toistamaan tätä tietoa.

Tätä tutkimme ProactBenchissä: voiko avustaja hyödyntää sille kertomaasi ennakoidakseen tarpeitasi ja tarjotakseen apua, jota et ole suoraan pyytänyt?

Olet tietenkin voinut jo järjestää kyydin vastaanotolle. Avustajan pitäisi tarjota vaihtoehtoa ja antaa sinun päättää sen sijaan, että se olettaisi tietävänsä suunnitelmasi. Haluaisin, että tällaiset järjestelmät vähentävät ihmisten vaivannäköä mutta jättävät heille päätösvallan tapahtumista.

Uskotko, että viiden vuoden kuluttua puheesta tulee ensisijainen käyttöliittymä, jonka kautta ihmiset ovat vuorovaikutuksessa tekoälyn ja ohjelmistojen kanssa? Jos näin käy, miten tämä muutos voisi muokata perinteisiä sovelluksia, yritysohjelmistoja sekä näyttöjen ja graafisten käyttöliittymien roolia?

Uskon, että puhumme tietokoneille paljon nykyistä enemmän ja käytämme usein myös videota. Kun näet jonkun näyttävän hämmentyneeltä, tiedät, että sinun on ehkä selitettävä asia toisin. Ääni- ja videodemonstraatiomme näyttää, millaiselta tällainen vuorovaikutus voi alkaa näyttää: tekoäly vastaa sekä näkemäänsä että kuulemaansa.

Suosin edelleen näppäimistöä koodin kirjoittamiseen, ja jos vertailen tietoja, haluan ehkä tarkastella niitä näytöltä omaan tahtiini.

Liiketoimintaohjelmistojen kohdalla voisin kuvitella aloittavani tehtävän kertomalla, mitä tarvitsen, tarkistavani sitten tuloksen näytöltä ja tekevän muutoksia suoraan. Seuraavien viiden vuoden aikana siirtyminen näiden työtapojen välillä helpottuu mielestäni huomattavasti. Voisit puhua silloin, kun se sinulle sopii, ja käyttää näyttöä, kun tarvitset tarkkuutta.

Kiitos hienosta haastattelusta! Lukijoiden, jotka haluavat tutustua puheeseen perustuvaan keskustelevaan tekoälyyn ja yrityskäyttöön tarkoitettuihin puheagentteihin, kannattaa käydä sivustolla Boson AI.