Alex Smola, medgrundare av Boson AI – intervjuserie

Alex Smola är medgrundare av Boson AI, där han arbetar med röstbaserad AI för samtal och multimodala system. Hans karriär sträcker sig från akademisk forskning vid Carnegie Mellon University till storskaliga AI-satsningar på AWS. Han förenar sin erfarenhet av forskning och produktutveckling för att skapa assistenter som kan förstå samtalssignaler, hantera avbrott och utföra praktiska uppgifter.

Boson AI utvecklar grundmodeller och verktyg för röst, ljud och multimodal interaktion. Företagets modell Higgs Realtime möjliggör tal-till-tal-samtal i realtid, medan den bredare plattformen omfattar uttrycksfull talsyntes, avatarer och röstbaserade AI-agenter för företag. I den här intervjun talar Smola om samtalsintelligens, flerspråkig prestanda, kostnadseffektiv inferens och de skyddsåtgärder som behövs för att införa röstbaserade AI-agenter i verkliga affärsflöden.

Din karriär har tagit dig från akademisk forskning vid Carnegie Mellon University till att leda storskaliga AI-satsningar på AWS, och nu till att vara med och grunda Boson AI. Vad fick dig att fokusera på röstbaserad AI för samtal, och vilka grundläggande begränsningar i samspelet mellan människor och AI hoppas du kunna övervinna?

Människor kommunicerar med mycket mer än ord. Man kan höra osäkerhet i någons röst eller se att personen inte har förstått en förklaring. En liten bekräftelse kan visa att man ska fortsätta prata. Vi uppfattar sådana signaler utan att tänka på det, men att lära datorer att känna igen dem är fortfarande ett pågående arbete.

Det är det som gör området så intressant för mig. Vi har nu system med betydande intelligens, men det kan fortfarande kännas klumpigt att kommunicera med dem. Jag vill att människor ska kunna förklara vad de behöver med egna ord, utan att behöva fundera ut hur de ska prata med programvaran.

På AWS lärde jag mig att noga uppmärksamma vad kunderna försökte göra och om produkten hjälpte dem att göra det. Vi har tagit med oss det arbetssättet till Boson, där vi har friheten att snabbt gå vidare i takt med forskningsutvecklingen.

Röst och video ger oss mer information att arbeta med. Om någon ser förvirrad ut eller tvekar får assistenten möjlighet att reagera innan samtalet hamnar på villovägar. Att få de här vardagliga interaktionerna att fungera väl är en viktig del av våra ambitioner.

Boson AI presenterade nyligen Higgs Realtime, som har utformats för att möjliggöra naturliga tal-till-tal-interaktioner i realtid. Vad skiljer den här metoden i grunden från traditionella system som kombinerar taligenkänning, språkmodeller och talsyntes, och varför är den skillnaden viktig för framtidens AI-assistenter?

I en traditionell kedja omvandlar taligenkänning det du säger till text, en språkmodell genererar ett svar och en talsyntesmodell läser upp det. Varje steg är beroende av det föregående, vilket kan få samtalet att kännas långsamt och ryckigt.

Higgs Realtime är en ljudbaserad tal-till-tal-modell som har utvecklats för interaktion i realtid. I träningen hanteras samtalsbeteenden, bland annat turtagning och anpassning till ändrade önskemål. Det skiljer sig mycket från att ge en textchattbot en röst.

Tänk på när du ställer en svår fråga till någon. Personen kanske säger: ”Låt mig slå upp det”, medan hen arbetar med frågan. Du vet då att personen har hört dig och arbetar med den. En AI-assistent behöver göra samma sak när den hämtar information eller använder ett verktyg, så att du inte behöver undra om den har förstått dig eller slutat arbeta.

Det blir ännu viktigare vid längre uppgifter. Assistenten behöver hålla dig informerad medan den arbetar och svara om du ställer en fråga eller ändrar dig.

En av de största utmaningarna inom samtalsbaserad AI är att veta när man ska tala, när man ska lyssna och hur man hanterar avbrott eller ändrade riktningar. Hur arbetar Boson AI med de här utmaningarna, och vilka tekniska genombrott behövs fortfarande innan AI-samtal känns verkligt naturliga?

En bekräftelse och ett avbrott kan låta ganska lika, men kräver olika reaktioner. Om någon säger ”ja” medan du pratar kanske personen vill att du ska fortsätta. Om personen rättar en siffra i sitt telefonnummer behöver du avbryta och använda rätt nummer. En AI-assistent bör kunna skilja mellan de här situationerna.

Higgs Realtime använder innebörden i det någon säger för att avgöra om personen har pratat färdigt eller gör en paus. Det är viktigt att svara snabbt, men också att veta hur man ska svara.

Det är fortfarande ganska svårt att få det att fungera konsekvent. Människor talar inte i prydligt avgränsade turer, och samma ord kan betyda olika saker beroende på samtalet. Assistenten måste förstå vad som har ändrats och komma ihåg vad den höll på med.

Boson AI har utvecklat riktmärken som IHBench för att mäta hur röstbaserade AI-agenter återhämtar sig efter avbrott. Vad har dessa utvärderingar visat om svagheterna hos dagens ledande röstmodeller, och hur bör branschen tänka om när det gäller att mäta samtalsintelligens?

Vi byggde IHBench för att testa vad som händer när någon avbryter en röstagent. Om du rättar något mitt under en bokning ska agenten ta till sig rättelsen och fortsätta från rätt ställe. Du ska inte behöva börja om eller lyssna på information som agenten redan har gett dig. Resultaten varierade mycket beroende på modell och typ av avbrott. Ett resultat som vi inte direkt tyckte om att publicera var att modeller med slutna vikter i allmänhet hanterade avbrott bättre, och klarade sig bättre ju längre in i samtalet avbrottet kom.

Det är en verklig lucka i det öppna ekosystemet, och vi mäter den hellre offentligt än låtsas som att den inte finns. Det är också den främsta anledningen till att riktmärket finns. Det går inte att överbrygga en lucka som ingen har enats om hur man ska mäta. Vi publicerade riktmärket utan att ta med någon egen modell. När vi väl tog med en fick Higgs Realtime 71,2 i återhämtningskvalitet, före GPT Realtime 1.5 med 65,5, GPT Realtime 2 med 62,4 och Gemini 3.1 Flash Live med 61,1. Så luckan går att överbrygga, och en modell med öppna vikter gjorde det.

Jag visar hellre det med ett test som vi utformade för att vara svårt och publicerade innan vi hade något att visa upp i det. Mer generellt tycker jag att branschen mäter fel saker. En röst kan låta helt naturlig och ändå misslyckas med uppgiften, eftersom det avgörande testet är om agenten slutför den. Om du hela tiden måste påminna den om vad du höll på med spelar det väldigt snabbt mindre roll hur bra rösten låter.

Det är stor skillnad mellan en imponerande demonstration av röstbaserad AI och en autonom agent som kan hantera verkliga kundkontakter. Vad skiljer dem åt, och vilka förmågor måste förbättras innan företag tryggt kan använda röstagenter i verksamhetskritiska arbetsflöden?

När ringde du senast till ditt kabel-tv-bolag och tyckte att det var trevligt? För de flesta är svaret aldrig. Du kopplas från en person till nästa, och varje gång får du på nytt förklara ditt namn, ditt födelsedatum och ditt problem, så att nästa person kan be dig upprepa allt igen. Tänk dig då det fjärde samtalet om samma problem. Du vill att agenten ska känna till vad som hände under de tre första samtalen. Om det inte har hjälpt att starta om routern kanske det är dags att skicka en tekniker, och du ska inte behöva argumentera för det själv. För att agenten ska kunna göra det behöver den tillgång till din kontohistorik och till systemet som bokar besöket.

Agenten måste också kunna hantera situationer där bokningen misslyckas och veta när den ska koppla dig vidare till en person som faktiskt kan lösa problemet. Det är sådana situationer ett företag behöver testa innan det låter en agent ta emot kundsamtal. Sedan tillkommer driftskostnaden. Ett system som fungerar utmärkt i en demonstration kan vara alldeles för dyrt att köra för tusentals samtal om dagen, så effektivitet är en del av att vara redo för företagsanvändning, inte en separat fråga.

Vi har kört just det här scenariot tillsammans med ett globalt försäkringsbolag i flera månader. Det är inte ett försök vid sidan av det verkliga systemet. Agenten hanterar inkommande och utgående kundsamtal i skarpt läge, sida vid sida med bolagets mänskliga säljare på kontaktcentret. Tusentals samtidiga samtal, till ungefär en tredjedel av kostnaden för en mänsklig agent.

Det jag tycker är mer intressant än kostnaden är att systemet förbättrades under drift. Bolagets egen utvärdering gav vår samtalskvalitet betyget 30 när vi började. Fem månader senare var betyget 80, vilket är den poäng de använder för en kvalificerad telefonförsäljare. GPT-4o Realtime fick 55 i samma utvärdering. Vi nådde inte dit genom att finjustera systemet i ett labb. Det blev bättre utifrån den trafik det faktiskt hanterade, och det är den enda sortens förbättring ett kontaktcenter bryr sig om.

När röstagenter går från att besvara frågor till att utföra uppgifter, komma åt kundinformation och interagera med företagssystem, hur bör utvecklare balansera autonomi med mänsklig tillsyn? Vilka skyddsåtgärder är nödvändiga för att skapa långsiktigt förtroende för dessa system?

Jag skulle börja med att fråga vad du litar på att agenten ska göra. Att låta den hämta ett kontosaldo är något helt annat än att låta den föra över pengar eller säga upp en tjänst. Behörigheterna bör återspegla den skillnaden, och systemen som agenten ansluter till måste upprätthålla dem. Du kan inte överlåta allt det till en instruktion i en prompt.

Människor bör också veta vad de går med på. Innan agenten gör en ändring som skulle vara svår att ångra bör den förklara följderna och be om bekräftelse. Då bör det vara enkelt att koppla in en person om agenten kör fast.

Det kommer fortfarande att gå fel ibland. När det händer måste du kunna se vad agenten gjorde och var den stannade, så att någon kan rätta till problemet. En självsäker röst kan få oss att anta att ett system vet vad det gör, men det förtroendet måste systemet förtjäna genom att agera tillförlitligt.

Higgs Realtime stöder fler än 100 språk, inklusive möjligheten att byta språk under ett samtal. Vilka är de största tekniska utmaningarna med att leverera en konsekvent förmåga att föra samtal på olika språk, med olika accenter och kommunikationsstilar, särskilt när det gäller att förstå känslomässiga sammanhang och användarens avsikt?

Språktäckning låter som en uppräkning, men det är det inte. För ett tag sedan behövde en kund stöd för thai. Vi hade delvis stöd, och det första vi upptäckte var att vi inte visste någonting alls om thailändska, med början i det faktum att skriven thai i princip saknar interpunktion. Det kullkastar antagandena om meningsgränser som de flesta talsystem bygger på. Vi kunde ha skjutit upp lanseringen på den marknaden. I stället hittade vi datavetare som talade thai och byggde om hanteringen ordentligt.

Ungefär sex veckor senare var vi i Bangkok och demonstrerade systemet. Under demonstrationen kunde jag inte avgöra hur det gick – jag lyssnade på människor som testade ett system på ett språk jag inte talar – och efteråt sa de att det fungerade bra, vilket var en stor lättnad. Konventioner skiljer sig lika mycket som ordförråd. På japanska ger lyssnare små bekräftelser medan man pratar för att visa att de hänger med. Om assistenten stannar varje gång för att lämna över turen förstörs samtalets rytm.

Orden kan vara perfekta och samtalet ändå misslyckas. Och hur man säger något är lika viktigt som vad man säger. Man kan använda exakt samma ord kärleksfullt eller sarkastiskt, och då är det helt olika svar som passar. Att bevara tonfall och sammanhang när språket ändras mitt i en mening är en stor del av det som gör detta intressant för mig.

Företag som OpenAI och Google investerar stort i multimodal AI i realtid. Hur kan ett specialiserat företag som Boson AI konkurrera med organisationer som har betydligt större beräkningsresurser, och var ser du de största möjligheterna att särskilja sig när det gäller modellarkitektur, prestanda och inferensekonomi?

Mer beräkningskraft innebär inte automatiskt att man använder den väl. I ett samtal i realtid kan man lägga mycket pengar på att köra en mycket kraftfull modell bara för att bearbeta när någon säger ”hm” eller ”ja, förmodligen”. Den modellen kommer att använda mycket av sin intelligens till att lyssna på utfyllnad. Hjärnor kostar mycket och drar mycket energi, och det gör inferens också. I slutändan är det kunden som betalar.

Människor löser det här genom att dela upp uppmärksamheten. Man kan sitta på ett kafé och ha ett småtråkigt samtal samtidigt som en del av ens tankar funderar på vad man ska laga till middag. Den främre delen av hjärnan sköter samtalet. Sedan ställer den andra personen en riktigt svår fråga, och då är man helt uppslukad och ägnar all sin uppmärksamhet åt den. Vi bygger samtalssystem på samma sätt.

En billig modell hanterar den främre delen av samtalet, medan mer kostsam resonemangsförmåga och verktygsanrop tas till när uppgiften faktiskt kräver det. Den andra delen handlar om att vi köpte vår beräkningskapacitet i stället för att hyra den. Beräkningen är inte komplicerad: ta timkostnaden för en molninstans, multiplicera den med antalet timmar på ett år, så hamnar man nära inköpspriset för hårdvaran. Vi räknade ut nollpunkten komponent för komponent och byggde vidare därifrån. Det var svårare än det låter, och allt gick inte perfekt. Men det gör att vi inte kan förlita oss på att skala upp med rå kraft, vilket innebär att varje förbättring måste komma från bättre data och bättre arkitektur. Det visade sig också skydda oss: komponenter som vi hade fått offerter på för under 100 000 dollar kostade ungefär dubbelt så mycket sex månader senare. Vi kan arbeta snabbt eftersom vi är ett litet team som arbetar med en enda sak. En forskare kan själv ta en idé, testa den och få in den i produkten. Vi drar också nytta av den öppna forskningsgemenskapen och bidrar tillbaka till den, vilket gör att ett litet team kan åstadkomma betydligt mer än vad dess storlek antyder.

Din forskning om ProactBench undersöker en viktig aspekt av samtalsintelligens: att förstå vad användare behöver även när de inte uttryckligen har bett om det. Hur tror du att röstbaserade agenter kommer att utvecklas från reaktiva assistenter till proaktiva samarbetspartner, och var bör gränsen gå mellan att förutse användarnas behov och att gå för långt?

Tänk dig att du bokar en läkartid och tidigt i samtalet nämner att du inte kan köra bil. En bra assistent skulle komma ihåg det och föreslå ett distansbesök eller hjälpa till med transporten. Du skulle inte behöva upprepa den informationen.

Det är det vi undersöker med ProactBench – om en assistent kan använda det du har berättat för att förutse dina behov och erbjuda hjälp som du inte uttryckligen har bett om.

Du kanske förstås redan har ordnat skjuts till läkarbesöket. Assistenten bör erbjuda möjligheten och låta dig bestämma, i stället för att utgå från att den känner till dina planer. Jag vill att sådana system ska underlätta för människor, men samtidigt låta dem ha kontroll över vad som händer.

Tror du att rösten kommer att bli det främsta gränssnittet för människors interaktion med AI och programvara under de kommande fem åren? Om så är fallet, hur kan den omvandlingen förändra traditionella appar, företagsprogramvara samt skärmarnas och grafiska användargränssnitts roll?

Jag tror att vi kommer att prata mycket mer med datorer, ofta med video också. När man ser att någon ser förbryllad ut förstår man att man kanske behöver förklara något på ett annat sätt. Vår ljud- och videodemonstration visar början på den typen av interaktion, där AI reagerar på det den ser såväl som på det den hör.

Jag föredrar fortfarande ett tangentbord när jag skriver kod, och om jag jämför information vill jag kanske ha den på en skärm där jag kan gå igenom den i min egen takt.

För affärsprogramvara kan jag föreställa mig att man börjar en uppgift med att förklara vad man behöver, sedan granskar resultatet på skärmen och gör ändringar direkt. Under de kommande fem åren tror jag att det blir mycket enklare att växla mellan de här arbetssätten. Man skulle kunna prata när det passar och använda skärmen när man behöver vara precis.

Tack för den fina intervjun. Läsare som vill utforska konversationsbaserad röst-AI och röstagenter för företag bör besöka Boson AI.