Alex Smola, medstifter af Boson AI – interviewserie

Alex Smola er medstifter af Boson AI, hvor han arbejder med konversationsbaseret stemme-AI og multimodale systemer. Hans karriere spænder fra akademisk forskning ved Carnegie Mellon University til AI-initiativer i stor skala hos AWS. Han trækker på kombinationen af forskningserfaring og produktudvikling, når han skaber assistenter, der kan forstå signaler i samtaler, håndtere afbrydelser og udføre nyttige opgaver.

Boson AI udvikler grundmodeller og værktøjer til stemme, lyd og multimodal interaktion. Virksomhedens Higgs Realtime-model understøtter direkte tale-til-tale-samtaler, mens den bredere platform omfatter udtryksfuld talesyntese, avatarer og stemmeassistenter til virksomheder. I dette interview fortæller Smola om samtaleintelligens, flersproget ydeevne, økonomien i inferens og de sikkerhedsforanstaltninger, der skal til for at integrere stemmeassistenter i virksomheders daglige arbejdsgange.

Din karriere har ført dig fra akademisk forskning ved Carnegie Mellon University til ledelse af AI-initiativer i stor skala hos AWS og nu til medstiftelsen af Boson AI. Hvad inspirerede dig til at fokusere på konversationsbaseret stemme-AI, og hvilke grundlæggende begrænsninger i samspillet mellem mennesker og AI håber du at overvinde?

Mennesker kommunikerer med meget mere end ord. Man kan høre usikkerhed i en persons stemme eller se, at vedkommende ikke har forstået en forklaring. En lille tilkendegivelse kan vise, at man skal fortsætte med at tale. Vi opfatter disse signaler uden at tænke over det, men det er stadig et igangværende arbejde at lære computere at genkende dem.

Det er det, der gør området så interessant for mig. Vi har nu systemer med betydelig intelligens, men det kan stadig føles akavet at kommunikere med dem. Jeg ønsker, at folk skal kunne forklare, hvad de har brug for, med deres egne ord uden først at skulle finde ud af, hvordan de skal tale til softwaren.

Hos AWS lærte jeg at være meget opmærksom på, hvad kunderne forsøgte at gøre, og på, om produktet hjalp dem med det. Vi har taget den tilgang med til Boson, hvor vi samtidig har friheden til at rykke hurtigt, efterhånden som forskningen gør fremskridt.

Stemme og video giver os mere at arbejde med. Hvis nogen ser forvirret ud eller tøver, får assistenten mulighed for at reagere, før samtalen kommer på afveje. At få disse hverdagssituationer til at fungere godt er en vigtig del af vores ambition.

Boson AI har for nylig lanceret Higgs Realtime, der er udviklet til at muliggøre naturlig tale-til-tale-interaktion i realtid. Hvad gør denne tilgang grundlæggende anderledes end traditionelle systemer, der kombinerer talegenkendelse, sprogmodeller og talesyntese, og hvorfor er denne forskel vigtig for AI-assistenternes fremtid?

I en traditionel pipeline omsætter talegenkendelse dine ord til tekst, en sprogmodel genererer et svar, og en talemodel læser det højt. Hvert trin afhænger af det foregående, hvilket kan få samtalen til at føles langsom og usammenhængende.

Higgs Realtime er en tale-til-tale-model, der er baseret direkte på lyd og udviklet til interaktion i realtid. Modellen trænes til at håndtere samtaler, herunder turtagning og reaktion på ændrede ønsker. Det er noget helt andet end at give en tekstchatbot en stemme.

Tænk på, når du stiller nogen et vanskeligt spørgsmål. Vedkommende siger måske: »Lad mig lige slå det op«, mens han eller hun arbejder på det. Så ved du, at personen har hørt dig og er i gang med at finde svaret. En AI-assistent skal gøre det samme, mens den henter oplysninger eller bruger et værktøj, så du ikke skal spekulere på, om den har forstået dig eller er holdt op med at arbejde.

Det bliver endnu vigtigere ved længerevarende opgaver. Assistenten skal holde dig orienteret, mens den arbejder, og reagere, hvis du stiller et spørgsmål eller skifter mening.

En af de største udfordringer inden for konversationsbaseret AI er at vide, hvornår man skal tale, hvornår man skal lytte, og hvordan man håndterer afbrydelser eller ændringer i samtalens retning. Hvordan arbejder Boson AI med disse udfordringer, og hvilke teknologiske gennembrud mangler der stadig, før samtaler med AI føles helt naturlige?

En tilkendegivelse og en afbrydelse kan lyde meget ens, men de kræver forskellige reaktioner. Hvis nogen siger »ja«, mens du taler, vil vedkommende måske gerne have, at du fortsætter. Hvis personen retter et ciffer i sit telefonnummer, skal du stoppe og bruge det korrekte nummer. En AI-assistent bør kunne kende forskel.

Higgs Realtime bruger betydningen af det, en person siger, til at afgøre, om vedkommende er færdig med at tale eller blot holder en pause. Det er vigtigt at reagere hurtigt, men det er også vigtigt at vide, hvordan man skal reagere.

Det er stadig ret vanskeligt at gøre konsekvent. Folk taler ikke i pænt afgrænsede ture, og de samme ord kan betyde forskellige ting afhængigt af samtalen. Assistenten skal forstå, hvad der har ændret sig, og huske, hvad den var i gang med.

Boson AI har udviklet målemetoder som IHBench til at vurdere, hvordan stemmeassistenter kommer sig efter afbrydelser. Hvad har disse evalueringer afsløret om svaghederne ved nutidens førende stemmemodeller, og hvordan bør branchen gentænke sin måling af samtaleintelligens?

Vi udviklede IHBench for at undersøge, hvad der sker, når nogen afbryder en stemmeagent. Hvis du retter noget midt i en booking, bør agenten tage rettelsen til sig og fortsætte fra det rigtige sted. Du bør ikke skulle begynde forfra eller sidde og høre oplysninger, den allerede har givet dig, igen. Resultaterne varierede meget afhængigt af modellen og typen af afbrydelse. Et fund, vi ikke ligefrem nød at offentliggøre, var, at systemer med lukkede vægte generelt håndterede afbrydelser bedre, og at de klarede sig bedre, jo længere inde i samtalen afbrydelsen kom.

Det er en reel mangel i det åbne økosystem, og vi vil hellere måle den offentligt end lade, som om den ikke findes. Det er også hovedårsagen til, at benchmarken findes. Man kan ikke lukke et hul, som ingen er blevet enige om, hvordan man måler. Vi offentliggjorde benchmarken uden at have vores egen model med. Da vi senere inkluderede en, fik Higgs Realtime 71,2 i kvaliteten af genopretningen, foran GPT Realtime 1.5 med 65,5, GPT Realtime 2 med 62,4 og Gemini 3.1 Flash Live med 61,1. Så forskellen kan udlignes, og det blev den af en model med åbne vægte.

Jeg vil hellere vise det på en test, vi designede til at være svær, og offentliggjorde, før vi havde noget at vise på den. Mere generelt mener jeg, at branchen måler de forkerte ting. En stemme kan lyde helt naturlig og stadig være dårlig til opgaven, for den afgørende test er, om agenten fuldfører opgaven. Hvis du hele tiden er nødt til at minde den om, hvad du var i gang med, bliver det meget hurtigt ligegyldigt, hvor godt stemmen lyder.

Der er stor forskel på en imponerende demonstration af stemmebaseret AI og en selvstændig agent, der kan håndtere reelle kundehenvendelser. Hvad adskiller de to, og hvilke funktioner skal forbedres, før virksomheder trygt kan bruge stemmeagenter i forretningskritiske arbejdsgange?

Hvornår nød du sidst at ringe til dit kabel-tv-selskab? For de fleste er svaret aldrig. Du bliver stillet videre fra den ene person til den næste, og hver gang skal du forklare dit navn, din fødselsdato og dit problem igen, så den næste person kan bede dig om at gentage det hele. Tænk så på det fjerde opkald om det samme problem. Du vil gerne have, at agenten ved, hvad der skete under de første tre opkald. Hvis det ikke har hjulpet at genstarte routeren, er det måske på tide at sende en tekniker, og du bør ikke selv skulle argumentere for det. For at agenten kan gøre det, skal den have adgang til din kontohistorik og det system, der booker besøget.

Den skal også kunne håndtere situationer, hvor bookingen mislykkes, og vide, hvornår den skal stille dig videre til en person, der rent faktisk kan løse problemet. Det er den slags situationer, en virksomhed skal teste, før den sætter en agent til at besvare kundeopkald. Så er der driftsomkostningerne. Et system, der klarer en demonstration til perfektion, kan være alt for dyrt at drive ved tusindvis af opkald om dagen. Derfor er effektivitet en del af at være klar til erhvervsbrug, ikke et separat hensyn.

Vi har kørt netop dette scenarie med et globalt forsikringsselskab i flere måneder. Det er ikke et forsøg, der kører ved siden af det rigtige system. Systemet håndterer reelle kundesamtaler, både indgående og udgående, side om side med deres menneskelige salgsmedarbejdere i deres kontaktcenter. Tusindvis af samtidige opkald til omtrent en tredjedel af prisen for en menneskelig medarbejder.

Det, jeg finder mere interessant end omkostningerne, er, at systemet blev bedre undervejs. Deres egen evaluering gav vores samtalekvalitet en score på 30, da vi begyndte. Fem måneder senere var scoren 80, hvilket er den score, de bruger for en kvalificeret telefonsælger. GPT-4o Realtime fik 55 i den samme evaluering. Vi opnåede ikke det resultat ved at finjustere systemet i et laboratorium. Systemet blev bedre med de samtaler, det faktisk håndterede, og det er den eneste form for forbedring, et kontaktcenter interesserer sig for.

Efterhånden som stemmeagenter går fra at besvare spørgsmål til at udføre opgaver, tilgå kundeoplysninger og interagere med virksomhedssystemer, hvordan bør udviklere så afveje selvstændighed over for menneskeligt tilsyn? Hvilke sikkerhedsforanstaltninger er afgørende for at skabe tillid til disse systemer på lang sigt?

Jeg ville begynde med at spørge, hvad man har tillid til, at agenten kan gøre. Det er meget forskelligt at lade den slå en kontosaldo op og at give den lov til at overføre penge eller opsige en tjeneste. Adgangsrettighederne bør afspejle den forskel, og de systemer, den opretter forbindelse til, skal håndhæve dem. Man kan ikke overlade det hele til en instruktion i en prompt.

Folk bør også vide, hvad de siger ja til. Før en agent foretager en ændring, der er svær at gøre om, bør den forklare konsekvenserne og bede om bekræftelse. Så bør det være enkelt at få et menneske ind over, når agenten går i stå.

Der vil stadig ske fejl. Når det sker, skal man kunne se, hvad agenten gjorde, og hvor den gik i stå, så nogen kan rette op på det. En stemme, der lyder sikker, kan få os til at tro, at systemet ved, hvad det gør, men den tillid skal vi gøre os fortjent til gennem pålidelig adfærd.

Higgs Realtime understøtter mere end 100 sprog, herunder skift mellem sprog under en samtale. Hvad er de største tekniske udfordringer ved at levere ensartet samtaleforståelse på tværs af forskellige sprog, accenter og kommunikationsstile, særligt når det gælder forståelsen af følelsesmæssig kontekst og brugerens hensigt?

Sprogunderstøttelse lyder som en liste, men det er det ikke. For et stykke tid siden havde en kunde brug for thai. Vi havde delvis understøttelse, og det første, vi opdagede, var, at vi stort set intet vidste om thai, ikke mindst at skriftsproget i praksis ikke har nogen tegnsætning. Det bryder med de antagelser om sætningsgrænser, som de fleste talebehandlingssystemer er bygget på. Vi kunne have udskudt vores indtræden på markedet. I stedet fandt vi dataloger, der talte thai, og byggede håndteringen ordentligt om.

Omkring seks uger senere var vi i Bangkok for at demonstrere det. Under demonstrationen kunne jeg ikke afgøre, hvordan det gik – jeg lyttede til folk, der afprøvede et system på et sprog, jeg ikke taler – og bagefter sagde de, at det var godt, hvilket var en betydelig lettelse. Konventioner varierer lige så meget som ordforråd. På japansk kommer lyttere med små bekræftende lyde, mens man taler, for at vise, at de følger med. Hvis assistenten hver gang stopper for at give den anden ordet, ødelægger det samtalens rytme.

Ordene kan være helt rigtige, og samtalen kan alligevel mislykkes. Og måden, du siger noget på, betyder lige så meget som det, du siger. Du kan bruge præcis de samme ord kærligt eller sarkastisk, og det passende svar er helt forskelligt. At fastholde tone og kontekst, mens sproget skifter midt i en sætning, er en stor del af det, der gør dette interessant for mig.

Virksomheder som OpenAI og Google investerer massivt i multimodal AI i realtid. Hvordan kan en specialiseret virksomhed som Boson AI konkurrere med organisationer, der har markant større regneressourcer, og hvor ser du de største muligheder for at skille sig ud, når det gælder modelarkitektur, ydeevne og inferensøkonomi?

Mere regnekraft betyder ikke automatisk, at man udnytter den godt. I en samtale i realtid kan man bruge rigtig mange penge på at køre en meget kraftfuld model, bare for at behandle, at nogen siger »hm« eller »ja, sandsynligvis«. Modellen kommer til at bruge en stor del af sin intelligens på at lytte til fyldord. Hjerner er dyre, de bruger meget energi, og det gør inferens også. I sidste ende er det kunden, der betaler.

Mennesker løser det ved at dele opmærksomheden. Man kan sidde på en café og have en lidt kedelig samtale, mens en del af ens bevidsthed prøver at finde ud af, hvad man skal lave til aftensmad. Den forreste del af bevidstheden holder samtalen i gang. Så stiller den anden person et virkelig svært spørgsmål, og man bliver fuldt opslugt og bruger alle sine ressourcer på det. Vi bygger samtalesystemer på samme måde.

En billig model håndterer den første del af samtalen, og dyrere ræsonnering og værktøjskald sættes ind, når opgaven faktisk kræver det. Den anden del handler om, at vi købte vores regnekraft i stedet for at leje den. Regnestykket er ikke kompliceret: Tag timeprisen for en cloud-instans, gang den med antallet af timer på et år, og så kommer du tæt på, hvad det koster at købe hardwaren direkte. Vi beregnede break-even-punktet komponent for komponent og byggede videre derfra. Det var sværere, end det lyder, og ikke alt gik perfekt. Men det udelukker skalering med rå kraft, hvilket betyder, at alle fremskridt skal komme fra bedre data og bedre arkitektur. Det viste sig også at beskytte os: Komponenter, som vi havde fået tilbudt til under 100.000 dollars, kostede omtrent det dobbelte seks måneder senere. Vi kan arbejde hurtigt, fordi vi er et lille team, der arbejder med én ting. En forsker kan selv tage en idé, afprøve den og få den ind i produktet. Og vi drager nytte af det åbne forskningsmiljø og bidrager selv til det, så et lille team kan udrette en hel del mere, end størrelsen antyder.

Din forskning i ProactBench undersøger en vigtig dimension af samtaleintelligens: at genkende, hvad brugerne har brug for, selv når de ikke har bedt direkte om det. Hvordan forestiller du dig, at stemmeassistenter udvikler sig fra reaktive assistenter til proaktive samarbejdspartnere, og hvor bør grænserne gå mellem at forudse brugernes behov og at gå for vidt?

Lad os sige, at du bestiller en tid hos lægen og tidligt i samtalen nævner, at du ikke kan køre bil. En god assistent ville huske det og foreslå en konsultation på afstand eller hjælpe med transport. Du burde ikke skulle gentage de oplysninger.

Det er det, vi undersøger med ProactBench – om en assistent kan bruge det, du har fortalt den, til at forudse dine behov og tilbyde hjælp, som du ikke direkte har bedt om.

Du har selvfølgelig måske allerede arrangeret transport til din aftale. Assistenten bør tilbyde muligheden og lade dig beslutte, i stedet for at gå ud fra, at den kender dine planer. Jeg vil gerne have, at sådanne systemer gør tingene lettere for folk, men samtidig lader dem bevare kontrollen over, hvad der sker.

Når du ser fem år frem, tror du så, at tale bliver den primære grænseflade, som folk bruger til at interagere med AI og software? Hvis ja, hvordan kan den forandring ændre traditionelle programmer, virksomhedssoftware og skærmenes og de grafiske brugergrænsefladers rolle?

Jeg forventer, at vi kommer til at tale meget mere med computere, ofte også med video. Når man kan se, at nogen ser forvirret ud, ved man, at man måske skal forklare noget på en anden måde. Vores lyd- og videodemo viser begyndelsen på den slags interaktion, hvor AI reagerer på det, den ser, såvel som det, den hører.

Jeg foretrækker stadig et tastatur, når jeg skriver kode, og hvis jeg sammenligner oplysninger, vil jeg måske gerne have dem på en skærm, hvor jeg kan gennemgå dem i mit eget tempo.

Når det gælder erhvervssoftware, kan jeg forestille mig at starte en opgave med at forklare, hvad jeg har brug for, derefter gennemgå resultatet på skærmen og foretage ændringer direkte. I løbet af de næste fem år tror jeg, at det bliver meget lettere at skifte mellem de måder at arbejde på. Man kunne tale, når det passer, og bruge skærmen, når man har brug for at være præcis.

Tak for det gode interview. Læsere, der ønsker at udforske konversationsbaseret stemme-AI og stemmeagenter til virksomheder, bør besøge Boson AI.