Alex Smola, medeoprichter van Boson AI – interviewreeks

Alex Smola is medeoprichter van Boson AI, waar hij werkt aan conversationele spraak-AI en multimodale systemen. Zijn loopbaan omvat academisch onderzoek aan Carnegie Mellon University en grootschalige AI-initiatieven bij AWS. Die combinatie van onderzoeks- en productervaring zet hij in om assistenten te bouwen die gesprekssignalen begrijpen, met onderbrekingen kunnen omgaan en nuttig werk kunnen uitvoeren.

Boson AI ontwikkelt basismodellen en tools voor spraak, audio en multimodale interactie. Het Higgs Realtime-model ondersteunt live gesprekken waarbij spraak rechtstreeks in spraak wordt omgezet. Het bredere platform omvat daarnaast expressieve spraakgeneratie, avatars en zakelijke spraakassistenten. In dit interview bespreekt Smola conversationele intelligentie, prestaties in meerdere talen, de economie van inferentie en de waarborgen die nodig zijn om spraakassistenten in echte bedrijfsprocessen in te zetten.

Uw loopbaan bracht u van academisch onderzoek aan Carnegie Mellon University en het leiden van grootschalige AI-initiatieven bij AWS naar de medeoprichting van Boson AI. Wat inspireerde u om u te richten op conversationele spraak-AI, en welke fundamentele beperkingen in de interactie tussen mens en AI wilt u overwinnen?

Mensen communiceren met veel meer dan alleen woorden. Je kunt onzekerheid in iemands stem horen of zien dat diegene een uitleg niet heeft begrepen. Een kleine bevestiging kan je laten weten dat je kunt doorgaan met praten. We pikken zulke signalen vanzelf op, maar computers leren ze herkennen is nog steeds werk in uitvoering.

Dat maakt dit vakgebied voor mij zo interessant. We beschikken inmiddels over systemen met een aanzienlijke intelligentie, maar communiceren ermee kan nog steeds ongemakkelijk aanvoelen. Ik wil dat mensen in hun eigen woorden kunnen uitleggen wat ze nodig hebben, zonder eerst te hoeven uitzoeken hoe ze met de software moeten praten.

Bij AWS leerde ik goed te letten op wat klanten probeerden te doen en of het product hen daarbij hielp. Die aanpak hebben we meegenomen naar Boson, met de vrijheid om snel te handelen naarmate het onderzoek vordert.

Spraak en video bieden ons meer aanknopingspunten. Als iemand verward kijkt of aarzelt, kan de assistent reageren voordat het gesprek ontspoort. Zulke alledaagse interacties goed laten verlopen, vormt een belangrijk onderdeel van onze ambitie.

Boson AI heeft onlangs Higgs Realtime geïntroduceerd, dat is ontworpen voor natuurlijke spraak-naar-spraakinteracties in realtime. Waarin verschilt deze aanpak fundamenteel van traditionele systemen die spraakherkenning, taalmodellen en tekst-naar-spraak combineren, en waarom is dat onderscheid van belang voor de toekomst van AI-assistenten?

In een traditionele pijplijn zet spraakherkenning je woorden om in tekst, genereert een taalmodel een antwoord en leest een spraakmodel dat hardop voor. Elke stap is afhankelijk van de voorgaande, waardoor het gesprek traag en onsamenhangend kan aanvoelen.

Higgs Realtime is een spraak-naar-spraakmodel dat van oorsprong op audio is gebaseerd en is ontwikkeld voor live-interactie. Bij de training is rekening gehouden met gesprekspatronen, zoals elkaar afwisselen en reageren op veranderende verzoeken. Dat is heel iets anders dan een tekstchatbot een stem geven.

Denk eens aan een moment waarop je iemand een lastige vraag stelt. Diegene zegt misschien: ‘Laat me dat even opzoeken’ terwijl die ermee bezig is. Je weet dan dat diegene je heeft gehoord en aan het werk is. Een AI-assistent moet hetzelfde doen wanneer die informatie opzoekt of een tool gebruikt, zodat je je niet hoeft af te vragen of die je heeft begrepen of is gestopt met werken.

Dat wordt nog belangrijker bij langere taken. De assistent moet je tijdens het werk op de hoogte houden en reageren als je een vraag stelt of van gedachten verandert.

Een van de grootste uitdagingen in conversationele AI is weten wanneer je moet spreken, wanneer je moet luisteren en hoe je met onderbrekingen of koerswijzigingen omgaat. Hoe pakt Boson AI deze uitdagingen aan, en welke technische doorbraken zijn nog nodig voordat gesprekken met AI echt natuurlijk aanvoelen?

Een bevestiging en een onderbreking kunnen erg op elkaar lijken, maar vragen om verschillende reacties. Als iemand ‘ja’ zegt terwijl jij praat, wil diegene misschien dat je doorgaat. Corrigeert diegene een cijfer in het telefoonnummer, dan moet je stoppen en het juiste nummer gebruiken. Een AI-assistent moet het verschil kunnen herkennen.

Higgs Realtime gebruikt de betekenis van wat iemand zegt om te bepalen of diegene is uitgesproken of even pauzeert. Snel reageren is belangrijk, maar weten hoe je moet reageren is dat ook.

Het blijft behoorlijk moeilijk om dit consequent goed te doen. Mensen spreken niet netjes om de beurt en dezelfde woorden kunnen, afhankelijk van het gesprek, iets anders betekenen. De assistent moet begrijpen wat er is veranderd en onthouden waar die mee bezig was.

Boson AI heeft benchmarks zoals IHBench ontwikkeld om te meten hoe spraakassistenten zich herstellen na onderbrekingen. Wat hebben deze evaluaties aan het licht gebracht over de zwakke punten van de huidige toonaangevende spraakmodellen, en hoe zou de sector de manier waarop conversationele intelligentie wordt gemeten moeten herzien?

We hebben IHBench ontwikkeld om te testen wat er gebeurt wanneer iemand een spraakagent onderbreekt. Als je halverwege een boeking iets corrigeert, moet de agent die correctie verwerken en vanaf het juiste punt verdergaan. Je zou niet opnieuw moeten hoeven beginnen of informatie moeten aanhoren die de agent al heeft gegeven. De resultaten liepen sterk uiteen, afhankelijk van het model en het soort onderbreking. Een bevinding die we niet bepaald graag publiceerden: systemen met gesloten modelgewichten konden over het algemeen beter met onderbrekingen omgaan en presteerden beter naarmate de onderbreking later in het gesprek plaatsvond.

Dat is een echte lacune in het open ecosysteem, en we brengen die liever publiekelijk in kaart dan te doen alsof ze niet bestaat. Dat is ook grotendeels de reden waarom de benchmark bestaat. Je kunt een lacune niet dichten als niemand het eens is over hoe je die moet meten. We publiceerden de benchmark zonder er een eigen model in op te nemen. Toen we er wel een toevoegden, behaalde Higgs Realtime een score van 71.2 voor herstelkwaliteit, hoger dan GPT Realtime 1.5 met 65.5, GPT Realtime 2 met 62.4 en Gemini 3.1 Flash Live met 61.1. De lacune is dus te dichten, en een model met open gewichten heeft dat gedaan.

Ik laat dat liever zien met een test die we bewust moeilijk hebben gemaakt en gepubliceerd voordat we er zelf iets mee konden aantonen. Meer in het algemeen denk ik dat het vakgebied de verkeerde dingen meet. Een stem kan volkomen natuurlijk klinken en toch niet geschikt zijn voor de taak, want het gaat erom of de agent die taak afrondt. Als je steeds moet herhalen waar je mee bezig was, doet het er al snel niet meer toe hoe goed de stem klinkt.

Er is een groot verschil tussen een indrukwekkende demonstratie van spraak-AI en een autonome agent die echte klantgesprekken kan afhandelen. Wat onderscheidt die twee, en welke capaciteiten moeten worden verbeterd voordat bedrijven spraakagenten met vertrouwen kunnen inzetten in bedrijfskritische werkprocessen?

Wanneer heb je voor het laatst met plezier je kabelmaatschappij gebeld? Voor de meeste mensen is het antwoord: nooit. Je wordt van de ene medewerker naar de andere doorverbonden en moet telkens opnieuw je naam, geboortedatum en probleem uitleggen, zodat de volgende medewerker je er weer naar kan vragen. Stel je nu het vierde telefoontje over hetzelfde probleem voor. Je wilt dat de agent weet wat er tijdens de eerste drie gesprekken is gebeurd. Als het opnieuw opstarten van de router niet heeft geholpen, is het misschien tijd om een monteur te sturen; je zou dat zelf niet hoeven aan te kaarten. Daarvoor heeft de agent je accountgeschiedenis nodig en toegang tot het systeem waarin de afspraak wordt ingepland.

De agent moet ook kunnen omgaan met een mislukte boeking en weten wanneer die je moet doorverbinden met iemand die het probleem daadwerkelijk kan oplossen. Dat zijn de situaties die een bedrijf moet testen voordat het een agent klantgesprekken laat afhandelen. Dan zijn er nog de gebruikskosten. Een systeem dat een demonstratie uitstekend doorstaat, kan veel te duur zijn om duizenden gesprekken per dag af te handelen. Efficiëntie is dus onderdeel van de bedrijfsgereedheid, niet een losstaand aandachtspunt.

We voeren dit scenario al enkele maanden uit met een internationale verzekeringsmaatschappij. Het is geen proef die naast het echte systeem draait. De agent handelt in hun contactcenter live klantgesprekken af, zowel inkomende als uitgaande, naast hun menselijke verkoopmedewerkers. Duizenden gelijktijdige gesprekken, tegen ongeveer een derde van de kosten van een menselijke medewerker.

Wat ik interessanter vind dan de kosten, is dat het systeem zich tijdens het gebruik verbeterde. Bij de start beoordeelde hun eigen evaluatie de kwaliteit van onze gesprekken met een 30. Vijf maanden later was dat een 80, de score die zij hanteren voor een gekwalificeerde menselijke telemarketeer. GPT-4o Realtime scoorde 55 in dezelfde evaluatie. We hebben dat resultaat niet in een laboratorium bereikt door het model bij te stellen. Het systeem verbeterde op basis van de gesprekken die het daadwerkelijk afhandelde, en dat is de enige vorm van verbetering die voor een contactcenter van belang is.

Naarmate spraakagenten niet alleen vragen beantwoorden, maar ook taken uitvoeren, klantgegevens raadplegen en met bedrijfssystemen communiceren, hoe moeten ontwikkelaars dan autonomie afwegen tegen menselijk toezicht? Welke waarborgen zijn essentieel om op lange termijn vertrouwen in deze systemen op te bouwen?

Ik zou beginnen met de vraag waarvoor je de agent vertrouwt. Het saldo van een account laten opzoeken is iets heel anders dan toestaan dat de agent geld overmaakt of een dienst opzegt. De toegangsrechten moeten daarop zijn afgestemd en de systemen waarmee de agent verbinding maakt, moeten die rechten afdwingen. Je kunt dit niet volledig overlaten aan een instructie in een prompt.

Mensen moeten ook weten waarmee ze instemmen. Voordat een agent een wijziging doorvoert die moeilijk ongedaan te maken is, moet die de gevolgen uitleggen en om bevestiging vragen. Zo moet het eenvoudig zijn om een medewerker in te schakelen wanneer de agent vastloopt.

Er zal nog steeds iets misgaan. Als dat gebeurt, moet je kunnen zien wat de agent heeft gedaan en waar die is vastgelopen, zodat iemand het probleem kan verhelpen. Een zelfverzekerd klinkende stem kan ons doen aannemen dat een systeem weet wat het doet, maar dat vertrouwen moeten we verdienen met betrouwbaar gedrag.

Higgs Realtime ondersteunt meer dan 100 talen, waaronder de mogelijkheid om tijdens een gesprek van taal te wisselen. Wat zijn de grootste technische uitdagingen bij het leveren van consistente gespreksintelligentie in verschillende talen, met verschillende accenten en communicatiestijlen, met name als het gaat om het begrijpen van emotionele context en de intentie van de gebruiker?

Taaldekking klinkt alsof het om een lijst gaat, maar dat is niet zo. Een tijdje geleden had een klant Thais nodig. We hadden gedeeltelijke ondersteuning, maar het eerste wat we ontdekten, was dat we werkelijk niets van het Thais wisten. Om te beginnen heeft geschreven Thai vrijwel geen leestekens. Daardoor gaan de aannames over zinsgrenzen waarop de meeste spraaksystemen zijn gebaseerd niet meer op. We hadden de markt kunnen uitstellen. In plaats daarvan vonden we computerwetenschappers die Thai spraken en bouwden we de verwerking op de juiste manier opnieuw op.

Ongeveer zes weken later waren we in Bangkok om het te demonstreren. Tijdens de demo kon ik niet inschatten hoe het ging — ik luisterde naar mensen die een systeem testten in een taal die ik niet spreek — en achteraf zeiden ze dat het goed was, tot mijn grote opluchting. Gebruiksconventies verschillen net zo sterk als woordenschat. In het Japans geven luisteraars tijdens het spreken kleine bevestigingen om te laten merken dat ze volgen. Als de assistent telkens stopt om de beurt af te staan, verstoort dat het ritme van het gesprek.

De woorden kunnen perfect zijn en toch kan het gesprek mislukken. Ook hoe je iets zegt, is net zo belangrijk als wat je zegt. Je kunt precies dezelfde woorden liefdevol of sarcastisch gebruiken, en de passende reactie is dan totaal anders. Dat je toon en context kunt vasthouden terwijl de taal midden in een zin verandert, is voor mij een groot deel van wat dit interessant maakt.

Bedrijven als OpenAI en Google investeren fors in realtime multimodale AI. Hoe kan een gespecialiseerd bedrijf als Boson AI concurreren met organisaties die over aanzienlijk meer rekenkracht beschikken, en waar liggen volgens u de grootste kansen om zich te onderscheiden op het gebied van modelarchitectuur, prestaties en de kosten van inferentie?

Meer rekenkracht hebben betekent niet automatisch dat je die goed benut. In een livegesprek kun je veel geld uitgeven aan een zeer krachtig model, alleen maar om te verwerken dat iemand ‘hmm’ of ‘ja, waarschijnlijk’ zegt. Dat model besteedt dan een groot deel van zijn intelligentie aan het verwerken van opvulgeluiden. Rekenkracht is duur en kost veel energie, en inferentie ook. Uiteindelijk betaalt de klant daarvoor.

Mensen lossen dit op door hun aandacht te verdelen. Je kunt in een koffiebar een wat saai gesprek voeren terwijl je ondertussen op de achtergrond bedenkt wat je voor het avondeten gaat koken. Je bewuste aandacht blijft bij het gesprek. Dan stelt de ander je iets wat echt moeilijk is en ben je er volledig bij, met al je aandacht. Op dezelfde manier bouwen we gesprekssystemen.

Een goedkoop model handelt het gesprek op de voorgrond af; duurdere redeneerstappen en aanroepen van tools komen pas in beeld wanneer de taak daar echt om vraagt. De andere helft van het verhaal is dat we onze rekenkracht hebben gekocht in plaats van gehuurd. De rekensom is niet ingewikkeld: neem de uurprijs van een cloudserver, vermenigvuldig die met het aantal uren in een jaar en je komt uit op ongeveer de aanschafprijs van de hardware. We hebben het omslagpunt voor elk onderdeel afzonderlijk berekend en zijn van daaruit verder gegaan. Dat was moeilijker dan het klinkt en niet alles verliep vlekkeloos. Maar zo valt brute-force opschaling af, wat betekent dat elke verbetering moet voortkomen uit betere data en een betere architectuur. Het bleek ons ook te beschermen: onderdelen waarvoor ons minder dan $100.000 was geoffreerd, kostten zes maanden later ongeveer twee keer zoveel. We kunnen snel werken omdat we een klein team zijn dat zich op één ding richt. Een onderzoeker kan zelf een idee oppakken, testen en in het product verwerken. Bovendien profiteren we van de open onderzoeksgemeenschap en dragen we daar zelf aan bij. Daardoor kan een klein team aanzienlijk meer doen dan je op basis van zijn omvang zou verwachten.

Uw onderzoek naar ProactBench richt zich op een belangrijk aspect van gespreksintelligentie: herkennen wat gebruikers nodig hebben, zelfs als ze daar niet expliciet om hebben gevraagd. Hoe ziet u spraakagenten zich ontwikkelen van reactieve assistenten tot proactieve samenwerkingspartners, en waar moeten de grenzen liggen tussen anticiperen op de behoeften van gebruikers en te ver gaan?

Stel dat je een afspraak met de dokter maakt en al vroeg in het gesprek zegt dat je niet kunt autorijden. Een goede assistent zou dat onthouden en een afspraak op afstand voorstellen of helpen met vervoer. Je zou die informatie niet opnieuw hoeven te geven.

Dat onderzoeken we met ProactBench: of een assistent kan gebruiken wat je hem hebt verteld om op je behoeften te anticiperen en hulp aan te bieden waar je niet rechtstreeks om hebt gevraagd.

Natuurlijk kan het zijn dat je al vervoer naar je afspraak hebt geregeld. De assistent moet de mogelijkheid aanbieden en jou laten beslissen, in plaats van aan te nemen dat hij weet wat je plannen zijn. Ik zou graag zien dat zulke systemen mensen moeite besparen, terwijl ze zelf de controle houden over wat er gebeurt.

Denkt u dat spraak over vijf jaar de belangrijkste manier zal zijn waarop mensen met AI en software communiceren? Zo ja, hoe zou die verandering traditionele toepassingen en bedrijfssoftware kunnen veranderen, en welke rol blijven schermen en grafische gebruikersinterfaces spelen?

Ik verwacht dat we veel vaker met computers zullen praten, vaak ook met video. Als je iemand verbaasd ziet kijken, weet je dat je iets misschien anders moet uitleggen. Onze audio-videodemo laat het begin van zo’n interactie zien, waarbij AI reageert op wat het ziet én hoort.

Ik schrijf nog altijd liever code op een toetsenbord. En als ik informatie vergelijk, wil ik die misschien op een scherm bekijken, zodat ik er op mijn eigen tempo doorheen kan gaan.

Voor bedrijfssoftware kan ik me voorstellen dat je een taak begint door uit te leggen wat je nodig hebt, vervolgens het resultaat op het scherm bekijkt en rechtstreeks wijzigingen aanbrengt. In de komende vijf jaar zal het volgens mij veel gemakkelijker worden om tussen die manieren van werken te schakelen. Je kunt praten wanneer het jou uitkomt en het scherm gebruiken wanneer je precies moet zijn.

Dank voor het geweldige interview. Lezers die zich willen verdiepen in gespreksgerichte spraak-AI en spraakagenten voor bedrijven, kunnen terecht bij Boson AI.