Alex Smola, medgründer av Boson AI – intervjuserie

Alex Smola er medgründer av Boson AI, der han arbeider med samtalebasert stemme-KI og multimodale systemer. Karrieren hans spenner fra akademisk forskning ved Carnegie Mellon University til storskala KI-initiativer hos AWS. Han kombinerer forsknings- og produktutviklingserfaringen sin for å utvikle assistenter som forstår signaler i samtaler, håndterer avbrytelser og utfører nyttige oppgaver.

Boson AI utvikler grunnmodeller og verktøy for tale, lyd og multimodal samhandling. Modellen Higgs Realtime støtter direkte samtaler fra tale til tale, mens den bredere plattformen omfatter uttrykksfull talesyntese, avatarer og stemmeagenter for bedrifter. I dette intervjuet snakker Smola om samtaleforståelse, flerspråklig ytelse, økonomien i inferens og sikkerhetstiltakene som trengs for å ta i bruk stemmeagenter i reelle arbeidsprosesser.

Karrieren din har ført deg fra akademisk forskning ved Carnegie Mellon University til ledelse av storskala KI-initiativer hos AWS, og nå til å være med på å grunnlegge Boson AI. Hva inspirerte deg til å satse på samtalebasert stemme-KI, og hvilke grunnleggende begrensninger i samspillet mellom mennesker og KI håper du å overvinne?

Mennesker kommuniserer med langt mer enn ord. Du kan høre usikkerhet i stemmen til noen eller se at de ikke har forstått en forklaring. En liten bekreftelse kan fortelle deg at du skal fortsette å snakke. Vi oppfatter slike signaler uten å tenke over det, men arbeidet med å lære datamaskiner å gjenkjenne dem pågår fortsatt.

Det er det som gjør dette feltet så interessant for meg. Vi har nå systemer med betydelig intelligens, men det kan fortsatt føles unaturlig å kommunisere med dem. Jeg vil at folk skal kunne forklare hva de trenger, med sine egne ord, uten å måtte finne ut hvordan de skal snakke med programvaren.

Hos AWS lærte jeg å følge nøye med på hva kundene prøvde å gjøre, og på om produktet hjalp dem med det. Vi har tatt med oss denne tilnærmingen til Boson, samtidig som vi har frihet til å handle raskt etter hvert som forskningen gjør fremskritt.

Tale og video gir oss mer informasjon å arbeide med. Hvis noen ser forvirret ut eller nøler, får assistenten mulighet til å svare før samtalen kommer på avveie. Å få slike hverdagslige samspill til å fungere godt er en viktig del av ambisjonene våre.

Boson AI lanserte nylig Higgs Realtime, som er utviklet for å muliggjøre naturlig tale-til-tale-samhandling i sanntid. Hva gjør denne tilnærmingen grunnleggende forskjellig fra tradisjonelle systemer som kombinerer talegjenkjenning, språkmodeller og tekst-til-tale, og hvorfor er dette skillet viktig for framtidens KI-assistenter?

I en tradisjonell prosess omdanner talegjenkjenning ordene dine til tekst, en språkmodell genererer et svar, og en talemodell leser det opp. Hvert trinn avhenger av det foregående, noe som kan gjøre samtalen treg og oppstykket.

Higgs Realtime er en lydsentrisk tale-til-tale-modell som er utviklet for samhandling i sanntid. Modellen trenes på samtaleatferd, blant annet turtaking og håndtering av endrede forespørsler. Det er svært forskjellig fra å gi en tekstbasert chatbot en stemme.

Tenk på hva som skjer når du stiller noen et vanskelig spørsmål. Mens personen undersøker saken, kan hen si: «La meg slå det opp.» Da vet du at hen har hørt deg og arbeider med spørsmålet. En KI-assistent må gjøre det samme mens den henter informasjon eller bruker et verktøy, slik at du slipper å lure på om den har forstått deg eller sluttet å arbeide.

Dette blir enda viktigere ved lengre oppgaver. Assistenten må holde deg informert mens den arbeider, og svare hvis du stiller et spørsmål eller ombestemmer deg.

En av de største utfordringene innen samtale-KI er å vite når man skal snakke, når man skal lytte, og hvordan man skal håndtere avbrytelser eller endringer i samtalens retning. Hvordan arbeider Boson AI med disse utfordringene, og hvilke teknologiske gjennombrudd trengs fortsatt før KI-samtaler føles genuint naturlige?

En bekreftelse og en avbrytelse kan høres ganske like ut, men krever ulike svar. Hvis noen sier «ja» mens du snakker, vil de kanskje at du skal fortsette. Hvis de retter et siffer i telefonnummeret sitt, må du stoppe og bruke det riktige nummeret. En KI-assistent bør kunne skille mellom de to situasjonene.

Higgs Realtime bruker betydningen av det noen sier til å avgjøre om de er ferdige med å snakke, eller bare tar en pause. Det er viktig å svare raskt, men det er også viktig å vite hvordan man skal svare.

Det er fortsatt ganske vanskelig å få dette riktig hver gang. Folk snakker ikke i ryddige turer, og de samme ordene kan bety ulike ting avhengig av samtalen. Assistenten må forstå hva som har endret seg, og huske hva den holdt på med.

Boson AI har utviklet referansetester som IHBench for å måle hvordan stemmeagenter kommer seg etter avbrytelser. Hva har disse evalueringene avdekket om svakhetene ved dagens ledende stemmemodeller, og hvordan bør bransjen tenke nytt om måten den måler samtaleforståelse på?

Vi utviklet IHBench for å teste hva som skjer når noen avbryter en stemmeagent. Hvis du korrigerer noe halvveis i en bestilling, bør agenten ta til seg korrigeringen og fortsette fra riktig sted. Du skal ikke måtte begynne på nytt eller høre på informasjon den allerede har gitt deg. Resultatene varierte mye avhengig av modellen og typen avbrytelse. Ett funn vi ikke var spesielt begeistret for å offentliggjøre, var at systemer med lukkede vekter stort sett håndterte avbrytelser bedre, og at de presterte bedre jo lenger ut i samtalen avbrytelsen kom.

Dette er et reelt gap i det åpne økosystemet, og vi vil heller måle det offentlig enn å late som om det ikke finnes. Det er også hovedgrunnen til at referansetesten finnes. Man kan ikke lukke et gap som ingen er enige om hvordan skal måles. Vi publiserte referansetesten uten å inkludere noen av våre egne modeller. Da vi først tok med en, fikk Higgs Realtime 71.2 i kvalitet på gjenoppretting, foran GPT Realtime 1.5 med 65.5, GPT Realtime 2 med 62.4 og Gemini 3.1 Flash Live med 61.1. Gapet kan altså lukkes, og en modell med åpne vekter lukket det.

Jeg vil heller vise det i en test vi utformet for å være krevende, og publiserte før vi hadde noe å vise til i den. Mer generelt mener jeg at fagfeltet måler feil ting. En stemme kan høres helt naturlig ut og likevel mislykkes med oppgaven, for den avgjørende testen er om agenten fullfører den. Hvis du stadig må minne den på hva dere holdt på med, slutter det svært raskt å spille noen rolle hvor bra stemmen høres ut.

Det er stor forskjell på en imponerende demonstrasjon av stemmebasert KI og en autonom agent som kan håndtere reelle kundehenvendelser. Hva skiller dem, og hvilke egenskaper må forbedres før bedrifter trygt kan ta i bruk stemmeagenter i forretningskritiske arbeidsflyter?

Når likte du sist å ringe kabelselskapet ditt? For de fleste er svaret aldri. Du blir satt over fra én person til den neste, og hver gang må du forklare navnet ditt, fødselsdatoen din og problemet på nytt, slik at den neste personen kan be deg gjenta alt sammen. Tenk deg så den fjerde samtalen om det samme problemet. Du vil at agenten skal vite hva som skjedde i de tre første samtalene. Hvis det ikke har hjulpet å starte ruteren på nytt, er det kanskje på tide å sende en tekniker, og du skal ikke måtte argumentere for det selv. For å gjøre det trenger agenten historikken for kontoen din og tilgang til systemet som bestiller besøket.

Den må også kunne håndtere situasjoner der bestillingen mislykkes, og vite når den skal sette deg over til en person som faktisk kan løse problemet. Dette er situasjoner en bedrift må teste før den lar en agent håndtere kundehenvendelser. Så kommer kostnadene ved å drifte systemet. Et system som fungerer utmerket i en demonstrasjon, kan være altfor dyrt å bruke til tusenvis av samtaler om dagen. Derfor er effektivitet en del av det å være klar for næringslivet, ikke et separat hensyn.

Vi har kjørt akkurat dette scenariet sammen med et globalt forsikringsselskap i flere måneder. Det er ikke en prøveordning ved siden av det faktiske systemet. Agenten håndterer reelle kundehenvendelser, både innkommende og utgående, side om side med selskapets menneskelige salgsmedarbeidere i kontaktsenteret. Den håndterer tusenvis av samtidige samtaler til omtrent en tredel av kostnaden for en menneskelig medarbeider.

Det jeg synes er mer interessant enn kostnadene, er at systemet ble bedre mens det var i drift. Selskapets egen evaluering ga samtalekvaliteten vår en poengsum på 30 da vi startet. Fem måneder senere var poengsummen 80, som er nivået de bruker for en kvalifisert menneskelig telefonselger. GPT-4o Realtime fikk 55 i den samme evalueringen. Vi oppnådde ikke dette ved å finjustere modellen i et laboratorium. Systemet ble bedre gjennom trafikken det faktisk håndterte, og det er den eneste typen forbedring et kontaktsenter bryr seg om.

Etter hvert som stemmeagenter går fra å svare på spørsmål til å utføre oppgaver, hente kundeinformasjon og samhandle med bedriftssystemer, hvordan bør utviklere balansere autonomi med menneskelig tilsyn? Hvilke sikkerhetstiltak er avgjørende for å bygge langsiktig tillit til disse systemene?

Jeg ville begynt med å spørre hva du stoler på at agenten skal gjøre. Å la den slå opp saldoen på en konto er noe helt annet enn å la den overføre penger eller si opp en tjeneste. Tillatelsene bør gjenspeile dette, og systemene den kobles til, må håndheve dem. Du kan ikke overlate alt dette til en instruksjon i en ledetekst.

Folk bør også vite hva de samtykker til. Før agenten gjør en endring som er vanskelig å reversere, bør den forklare konsekvensene og be om bekreftelse. Da bør det være enkelt å få hjelp av en person hvis agenten står fast.

Det vil fortsatt oppstå problemer. Når det skjer, må du kunne se hva agenten gjorde, og hvor den stoppet, slik at noen kan rette opp i det. En stemme som høres selvsikker ut, kan få oss til å tro at systemet vet hva det holder på med, men tilliten må fortjenes gjennom pålitelig oppførsel.

Higgs Realtime støtter mer enn 100 språk, inkludert muligheten til å bytte språk under en samtale. Hva er de største tekniske utfordringene med å levere en konsistent samtaleforståelse på tvers av ulike språk, aksenter og kommunikasjonsstiler, særlig når det gjelder å forstå følelsesmessige sammenhenger og brukerens hensikt?

Språkdekning høres ut som en liste, men det er det ikke. For en stund siden trengte en kunde støtte for thai. Vi hadde delvis dekning, og det første vi oppdaget, var at vi ikke visste noe som helst om thai i det hele tatt. Det begynte med at skriftspråket thai i praksis ikke har tegnsetting. Det bryter med antakelsene om setningsgrenser som de fleste talegjenkjenningssystemer er bygget på. Vi kunne ha utsatt satsingen på markedet. I stedet fant vi informatikere som snakket thai, og bygget opp håndteringen på nytt på riktig måte.

Omtrent seks uker senere var vi i Bangkok for å demonstrere systemet. Under demonstrasjonen kunne jeg ikke avgjøre hvordan det gikk – jeg lyttet til folk som testet et system på et språk jeg ikke snakker – og etterpå sa de at det fungerte bra, noe som var en stor lettelse. Konvensjonene varierer like mye som ordforrådet. På japansk kommer lytterne med små bekreftende lyder mens du snakker, for å vise at de følger med. Hvis assistenten stopper hver gang for å gi fra seg turen, ødelegger det samtalerytmen.

Ordene kan være helt riktige, og likevel kan samtalen mislykkes. Og måten du sier noe på, betyr like mye som det du sier. Du kan bruke nøyaktig de samme ordene kjærlig eller sarkastisk, og den passende responsen er helt forskjellig. Å bevare tonefall og kontekst mens språket skifter midt i en setning, er en stor del av det jeg synes er interessant med dette.

Selskaper som OpenAI og Google investerer tungt i sanntids multimodal KI. Hvordan kan et spesialisert selskap som Boson AI konkurrere med organisasjoner som har betydelig større regneressurser, og hvor ser du de største mulighetene for å skille seg ut når det gjelder modellarkitektur, ytelse og kostnadsøkonomi for inferens?

Mer regnekraft betyr ikke automatisk at du bruker den godt. I en samtale i sanntid kan du bruke svært mye penger på å kjøre en veldig kraftig modell bare for å behandle at noen sier «hm» eller «ja, sannsynligvis». Modellen vil bruke mye av intelligensen sin på å lytte til fyllord. Hjerner er dyre, de bruker mye energi, og det gjør også inferens. Til syvende og sist er det kunden som betaler.

Mennesker løser dette ved å dele oppmerksomheten. Du kan sitte på en kafé og ha en litt kjedelig samtale mens en del av tankene dine planlegger hva du skal lage til middag. Den fremre delen av bevisstheten følger samtalen. Så stiller den andre personen deg et virkelig vanskelig spørsmål, og du blir helt oppslukt og bruker all oppmerksomheten på det. Vi bygger samtalesystemer på samme måte.

En rimelig modell håndterer den løpende samtalen, mens dyrere resonnering og verktøykall tas i bruk når oppgaven faktisk krever det. En annen del av dette er at vi kjøpte regneressursene våre i stedet for å leie dem. Regnestykket er ikke komplisert: Ta timeprisen for en skyinstans, gang den med antall timer i året, og du kommer nær det maskinvaren koster å kjøpe. Vi regnet ut nullpunktet komponent for komponent og bygget videre derfra. Det var vanskeligere enn det høres ut, og ikke alt gikk helt etter planen. Men det utelukker skalering med rå kraft, noe som betyr at alle fremskritt må komme fra bedre data og bedre arkitektur. Det viste seg også å beskytte oss: Komponenter vi hadde fått pristilbud på til under 100 000 dollar, kostet omtrent dobbelt så mye seks måneder senere. Vi kan jobbe raskt fordi vi er et lite team som arbeider med én ting. En forsker kan selv komme på en idé, teste den og få den inn i produktet. Vi drar også nytte av det åpne forskningsmiljøet og bidrar tilbake til det, noe som gjør at et lite team kan få til langt mer enn størrelsen skulle tilsi.

Forskningen din på ProactBench undersøker en viktig side ved samtaleintelligens: å oppfatte hva brukerne trenger, selv når de ikke har bedt uttrykkelig om det. Hvordan ser du for deg at talebaserte agenter vil utvikle seg fra reaktive assistenter til proaktive samarbeidspartnere, og hvor bør grensene gå mellom å forutse brukernes behov og å gå for langt?

La oss si at du bestiller legetime og tidlig i samtalen nevner at du ikke kan kjøre bil. En god assistent ville huske det og foreslå en konsultasjon på avstand eller hjelpe deg med transport. Du burde ikke måtte gjenta den informasjonen.

Det er dette vi undersøker med ProactBench – om en assistent kan bruke det du har fortalt den, til å forutse behovene dine og tilby hjelp du ikke har bedt direkte om.

Det kan selvsagt hende at du allerede har ordnet skyss til timen. Assistenten bør foreslå dette som et alternativ og la deg bestemme, i stedet for å anta at den vet hvilke planer du har. Jeg ønsker at slike systemer skal gjøre hverdagen enklere for folk, samtidig som de beholder kontrollen over det som skjer.

Når du ser fem år fram i tid, tror du at stemmen blir det primære grensesnittet folk bruker for å samhandle med KI og programvare? I så fall, hvordan kan denne omstillingen endre tradisjonelle applikasjoner, bedriftsprogramvare og rollen til skjermer og grafiske brukergrensesnitt?

Jeg tror vi kommer til å snakke mye mer med datamaskiner, ofte med video i tillegg. Når du kan se at noen ser forvirret ut, skjønner du at du kanskje må forklare noe på en annen måte. Lyd- og videodemonstrasjonen vår viser begynnelsen på denne typen samhandling, der KI reagerer både på det den ser og det den hører.

Jeg foretrekker fortsatt tastatur når jeg skriver kode, og hvis jeg sammenligner informasjon, vil jeg kanskje ha den på en skjerm, slik at jeg kan gå gjennom den i mitt eget tempo.

Når det gjelder programvare for bedrifter, kan jeg se for meg at man starter en oppgave med å forklare hva man trenger, deretter går gjennom resultatet på skjermen og gjør endringer direkte. I løpet av de neste fem årene tror jeg det blir mye enklere å veksle mellom disse arbeidsmåtene. Man kan snakke når det passer, og bruke skjermen når man trenger å være presis.

Takk for et flott intervju. Lesere som ønsker å utforske samtalebasert stemme-KI og stemmeagenter for bedrifter, bør besøke Boson AI.