Alex Smola, cofondatore di Boson AI – Serie di interviste

Alex Smola è cofondatore di Boson AI, dove si occupa di IA vocale conversazionale e sistemi multimodali. La sua carriera spazia dalla ricerca accademica alla Carnegie Mellon University alle iniziative di IA su larga scala presso AWS. Mette a frutto questa combinazione di esperienza nella ricerca e nello sviluppo di prodotti per creare assistenti capaci di cogliere le sfumature della conversazione, gestire le interruzioni e svolgere attività utili.

Boson AI sviluppa modelli fondazionali e strumenti per l’interazione vocale, audio e multimodale. Il suo modello Higgs Realtime consente conversazioni vocali in tempo reale, mentre la piattaforma più ampia comprende la generazione espressiva della voce, avatar e agenti vocali per le aziende. In questa intervista, Smola parla di intelligenza conversazionale, prestazioni multilingue, costi dell’inferenza e misure di sicurezza necessarie per integrare gli agenti vocali nei flussi di lavoro aziendali reali.

La sua carriera l’ha portata dalla ricerca accademica alla Carnegie Mellon University alla guida di iniziative di IA su larga scala presso AWS, fino alla fondazione di Boson AI. Cosa l’ha spinta a concentrarsi sull’IA vocale conversazionale e quali limiti fondamentali dell’interazione tra esseri umani e IA spera di superare?

Gli esseri umani comunicano con ben più delle parole. Si può sentire l’incertezza nella voce di qualcuno o capire che non ha compreso una spiegazione. Un piccolo cenno di assenso può indicare di continuare a parlare. Cogliamo questi segnali senza pensarci, ma insegnare ai computer a riconoscerli è ancora un lavoro in corso.

È questo che rende quest’area così interessante per me. Oggi disponiamo di sistemi dotati di notevole intelligenza, ma comunicare con loro può ancora risultare impacciato. Vorrei che le persone potessero spiegare ciò di cui hanno bisogno con parole proprie, senza dover capire come rivolgersi al software.

In AWS ho imparato a prestare molta attenzione a ciò che i clienti cercavano di fare e a verificare se il prodotto li aiutasse a riuscirci. Abbiamo adottato questo approccio anche in Boson, con la libertà di procedere rapidamente man mano che la ricerca avanza.

La voce e il video ci offrono più elementi su cui lavorare. Se qualcuno sembra confuso o esita, l’assistente ha l’opportunità di intervenire prima che la conversazione deragli. Riuscire a gestire bene queste interazioni quotidiane è una parte importante della nostra ambizione.

Boson AI ha presentato di recente Higgs Realtime, progettato per consentire interazioni vocali naturali in tempo reale. In che cosa questo approccio si differenzia fondamentalmente dai sistemi tradizionali che combinano riconoscimento vocale, modelli linguistici e sintesi vocale, e perché questa distinzione è importante per il futuro degli assistenti IA?

In una pipeline tradizionale, il riconoscimento vocale trasforma le parole in testo, un modello linguistico genera una risposta e un modello vocale la legge ad alta voce. Ogni passaggio dipende da quello precedente, e questo può rendere la conversazione lenta e frammentata.

Higgs Realtime è un modello da parlato a parlato nativo dell’audio, progettato per l’interazione in tempo reale. Il suo addestramento tiene conto dei comportamenti conversazionali, tra cui l’alternanza dei turni e la risposta a richieste che cambiano. È un approccio molto diverso dal dare voce a un chatbot testuale.

Pensate a quando ponete a qualcuno una domanda difficile. Potrebbe dire: «Lasciami cercare la risposta», mentre si mette al lavoro. Sapete che vi ha ascoltato e che sta cercando una risposta. Un assistente IA deve comportarsi allo stesso modo mentre recupera informazioni o usa uno strumento, così non vi chiedete se vi abbia capito o se abbia smesso di funzionare.

Questo diventa ancora più importante quando si tratta di attività più lunghe. L’assistente deve tenervi aggiornati mentre lavora e rispondere se gli fate una domanda o cambiate idea.

Una delle sfide più grandi dell’IA conversazionale è capire quando parlare, quando ascoltare e come gestire le interruzioni o i cambi di direzione. In che modo Boson AI affronta queste sfide e quali progressi tecnici sono ancora necessari perché le conversazioni con l’IA risultino davvero naturali?

Un cenno di assenso e un’interruzione possono sembrare molto simili, ma richiedono risposte diverse. Se qualcuno dice «sì» mentre state parlando, potrebbe volere che continuiate. Se corregge una cifra del proprio numero di telefono, invece, dovete fermarvi e usare il numero corretto. Un assistente IA dovrebbe saper distinguere le due situazioni.

Higgs Realtime usa il significato di ciò che dice una persona per stabilire se ha finito di parlare o sta facendo una pausa. È importante rispondere rapidamente, ma lo è anche sapere come rispondere.

Riuscire a farlo con costanza è ancora molto difficile. Le persone non parlano seguendo turni ordinati e le stesse parole possono assumere significati diversi a seconda della conversazione. L’assistente deve capire che cosa è cambiato e ricordare a cosa stava lavorando.

Boson AI ha sviluppato benchmark come IHBench per misurare la capacità degli agenti vocali di riprendersi dopo un’interruzione. Che cosa hanno rivelato queste valutazioni sui punti deboli dei principali modelli vocali di oggi e come dovrebbe ripensare il settore il modo in cui misura l’intelligenza conversazionale?

Abbiamo creato IHBench per verificare cosa succede quando qualcuno interrompe un agente vocale. Se correggi un’informazione a metà di una prenotazione, l’agente dovrebbe recepire la correzione e riprendere dal punto giusto. Non dovresti dover ricominciare da capo né ascoltare di nuovo informazioni che ti ha già dato. I risultati variavano molto a seconda del modello e del tipo di interruzione. Una delle conclusioni che non ci ha fatto particolarmente piacere pubblicare è che, in generale, i sistemi a pesi chiusi gestivano meglio le interruzioni e se la cavavano meglio quanto più avanti nella conversazione avveniva l’interruzione.

È una lacuna concreta nell’ecosistema open e preferiamo misurarla pubblicamente, piuttosto che fingere che non esista. È anche il motivo principale per cui esiste il benchmark. Non si può colmare una lacuna se non c’è accordo su come misurarla. Abbiamo pubblicato il benchmark senza includervi un nostro modello. Quando ne abbiamo inserito uno, Higgs Realtime ha ottenuto 71.2 nella qualità del recupero, superando GPT Realtime 1.5, con 65.5, GPT Realtime 2, con 62.4, e Gemini 3.1 Flash Live, con 61.1. Quindi la lacuna si può colmare, e l’ha colmata un modello open-weight.

Preferisco dimostrarlo con un test che abbiamo progettato per essere difficile e pubblicato prima di avere un modello da presentare. Più in generale, penso che il settore misuri gli aspetti sbagliati. Una voce può sembrare del tutto naturale e tuttavia non riuscire a svolgere il compito, perché il test che conta è verificare se l’agente porta a termine l’attività. Se devi continuare a ricordargli cosa stavate facendo, la qualità della voce smette molto presto di essere importante.

C’è una differenza sostanziale tra una dimostrazione impressionante di IA vocale e un agente autonomo capace di gestire interazioni reali con i clienti. Che cosa distingue le due cose e quali capacità devono migliorare prima che le aziende possano implementare con fiducia gli agenti vocali in flussi di lavoro essenziali per il business?

Quand’è stata l’ultima volta che ti ha fatto piacere chiamare la tua compagnia via cavo? Per la maggior parte delle persone, la risposta è mai. Ti passano da una persona all’altra e ogni volta devi ripetere il tuo nome, la data di nascita e il problema, così che la persona successiva possa chiederti di nuovo tutte queste informazioni. Immagina allora la quarta chiamata per lo stesso problema. Vuoi che l’agente sappia cos’è successo nelle prime tre. Se riavviare il router non è servito, forse è il momento di mandare un tecnico, e non dovresti dover insistere tu per ottenerlo. Per farlo, l’agente ha bisogno dello storico del tuo account e dell’accesso al sistema che prenota l’intervento.

Deve anche saper gestire i casi in cui la prenotazione non va a buon fine e capire quando trasferirti a una persona in grado di risolvere davvero il problema. Sono le situazioni che un’azienda deve verificare prima di affidare a un agente le chiamate dei clienti. C’è poi il costo di gestione. Un sistema che funziona benissimo in una dimostrazione può essere troppo costoso da usare per migliaia di chiamate al giorno: l’efficienza, quindi, è parte integrante della preparazione all’uso aziendale, non una questione separata.

Da diversi mesi stiamo gestendo proprio questo scenario con una compagnia assicurativa globale. Non è una prova che affianca il sistema reale: l’agente gestisce conversazioni effettive con i clienti, sia in entrata sia in uscita, insieme ai loro operatori umani nel centro di contatto. Migliaia di chiamate simultanee, a circa un terzo del costo di un operatore umano.

Più del costo, trovo interessante il fatto che il sistema sia migliorato mentre era in funzione. All’inizio, secondo la loro valutazione, la qualità delle nostre conversazioni era pari a 30. Cinque mesi dopo era arrivata a 80, il punteggio che usano per un operatore di telemarketing qualificato. GPT-4o Realtime ha ottenuto 55 nella stessa valutazione. Non abbiamo raggiunto quel risultato ottimizzando il sistema in laboratorio: è migliorato lavorando sul traffico che gestiva davvero, l’unico tipo di miglioramento che interessa a un centro di contatto.

Man mano che gli agenti vocali passano dal rispondere alle domande all’eseguire attività, accedere alle informazioni dei clienti e interagire con i sistemi aziendali, come dovrebbero bilanciare gli sviluppatori autonomia e supervisione umana? Quali misure di protezione sono essenziali per instaurare una fiducia duratura in questi sistemi?

Comincerei chiedendomi che cosa ci si aspetta che faccia l’agente. Consentirgli di consultare il saldo di un conto è molto diverso dal permettergli di trasferire denaro o disdire un servizio. Le autorizzazioni dovrebbero riflettere questa differenza, e i sistemi a cui si collega devono farle rispettare. Non si può affidare tutto a un’istruzione nel prompt.

Le persone dovrebbero anche sapere a cosa stanno acconsentendo. Prima di apportare una modifica difficile da annullare, l’agente dovrebbe spiegarne le conseguenze e chiedere conferma. In questo modo, se si blocca, coinvolgere una persona dovrebbe essere semplice.

Qualcosa andrà comunque storto. Quando succede, bisogna poter vedere cosa ha fatto l’agente e dove si è fermato, così che qualcuno possa rimediare. Una voce sicura di sé può indurci a pensare che il sistema sappia cosa sta facendo, ma dobbiamo guadagnarci quella fiducia con un comportamento affidabile.

Higgs Realtime supporta più di 100 lingue e può anche passare da una lingua all’altra durante una conversazione. Quali sono le principali sfide tecniche per garantire un’intelligenza conversazionale coerente tra lingue, accenti e stili comunicativi diversi, soprattutto quando si tratta di comprendere il contesto emotivo e le intenzioni dell’utente?

La copertura linguistica sembra un semplice elenco, ma non è così. Qualche tempo fa un cliente aveva bisogno del thailandese. Avevamo una copertura parziale e la prima cosa che scoprimmo fu di non sapere assolutamente nulla del thailandese vero e proprio, a cominciare dal fatto che nella lingua scritta praticamente non si usa la punteggiatura. Questo vanifica le ipotesi sui confini delle frasi su cui si basano la maggior parte dei sistemi vocali. Avremmo potuto rimandare l’ingresso in quel mercato. Invece, trovammo informatici che parlavano thailandese e ricostruimmo da capo il modo in cui il sistema gestiva la lingua.

Circa sei settimane dopo eravamo a Bangkok per presentarlo. Durante la dimostrazione non riuscivo a capire come stesse andando: ascoltavo persone mettere alla prova un sistema in una lingua che non parlo; alla fine mi dissero che era andata bene, con mio grande sollievo. Le convenzioni variano tanto quanto il vocabolario. In giapponese, mentre parli, gli interlocutori fanno piccoli cenni di assenso per mostrare che stanno seguendo. Se l’assistente si interrompe ogni volta per cedere il turno, distrugge il ritmo della conversazione.

Le parole possono essere perfette e la conversazione fallire comunque. E il modo in cui si dice qualcosa conta tanto quanto ciò che si dice. Si possono usare esattamente le stesse parole con affetto o con sarcasmo, ma la risposta appropriata è completamente diversa. Riuscire a mantenere tono e contesto mentre la lingua cambia a metà frase è una parte importante di ciò che trovo interessante in questo ambito.

Aziende come OpenAI e Google stanno investendo molto nell’IA multimodale in tempo reale. Come può un’azienda specializzata come Boson AI competere con organizzazioni che dispongono di risorse di calcolo nettamente superiori? E dove vede le maggiori opportunità di differenziarsi in termini di architettura dei modelli, prestazioni ed economia dell’inferenza?

Avere più potenza di calcolo non significa automaticamente saperla usare bene. In una conversazione in tempo reale si possono spendere molti soldi per eseguire un modello potentissimo solo per elaborare qualcuno che dice «mh» o «sì, probabilmente». Quel modello finirà per impiegare gran parte della sua intelligenza ad ascoltare intercalari. I modelli potenti sono costosi e consumano molta energia, così come l’inferenza. Alla fine, il costo ricade sul cliente.

Gli esseri umani risolvono il problema distribuendo l’attenzione. Puoi essere in un bar, impegnato in una conversazione un po’ noiosa, mentre una parte della tua mente pensa a cosa preparare per cena. La parte più consapevole segue la conversazione. Poi l’altra persona ti pone una domanda davvero difficile e ti ci immergi completamente, dedicandole tutte le tue risorse. Costruiamo i sistemi conversazionali allo stesso modo.

Un modello economico gestisce la parte iniziale della conversazione; il ragionamento più costoso e le chiamate agli strumenti entrano in gioco quando il compito lo richiede davvero. Un altro aspetto è che abbiamo acquistato la nostra capacità di calcolo anziché noleggiarla. Il calcolo è semplice: si prende il costo orario di un’istanza cloud, lo si moltiplica per le ore di un anno e si ottiene una cifra vicina al costo di acquisto dell’hardware. Abbiamo calcolato il punto di pareggio componente per componente e siamo partiti da lì. È stato più difficile di quanto possa sembrare e non tutto è andato alla perfezione. Ma così abbiamo escluso la possibilità di crescere semplicemente aumentando la potenza di calcolo, il che significa che ogni progresso deve derivare da dati e architetture migliori. Inoltre, questa scelta si è rivelata una forma di protezione: componenti per cui ci era stato preventivato un costo inferiore a 100.000 dollari sono arrivati a costare circa il doppio sei mesi dopo. Possiamo muoverci rapidamente perché siamo un piccolo team concentrato su un’unica attività. Un ricercatore può sviluppare un’idea, metterla alla prova e integrarla direttamente nel prodotto. Inoltre, beneficiamo della comunità di ricerca aperta e contribuiamo a nostra volta: questo permette a un piccolo team di fare molto più di quanto le sue dimensioni lascerebbero immaginare.

La sua ricerca su ProactBench esplora una dimensione importante dell’intelligenza conversazionale: riconoscere ciò di cui gli utenti hanno bisogno anche quando non lo chiedono esplicitamente. Come immagina l’evoluzione degli agenti vocali, da assistenti reattivi a collaboratori proattivi? E dove dovrebbero essere tracciati i confini tra l’anticipare le esigenze degli utenti e l’andare oltre il dovuto?

Mettiamo che tu stia fissando un appuntamento dal medico e che, all’inizio della conversazione, dica di non poter guidare. Un buon assistente se ne ricorderebbe e ti proporrebbe un appuntamento a distanza o ti aiuterebbe a organizzare il trasporto. Non dovresti dover ripetere quell’informazione.

È ciò che stiamo studiando con ProactBench: se un assistente sia in grado di usare le informazioni che gli hai dato per anticipare le tue esigenze e offrirti un aiuto che non hai chiesto direttamente.

Naturalmente, potresti aver già organizzato un passaggio per raggiungere l’appuntamento. L’assistente dovrebbe proporti questa possibilità e lasciare che sia tu a decidere, invece di presumere di sapere quali siano i tuoi piani. Vorrei che questi sistemi facessero risparmiare fatica alle persone, lasciando però a loro il controllo su ciò che accade.

Guardando ai prossimi cinque anni, pensa che la voce diventerà l’interfaccia principale attraverso cui le persone interagiscono con l’IA e il software? Se sì, in che modo questa trasformazione potrebbe ridefinire le applicazioni tradizionali, il software aziendale e il ruolo degli schermi e delle interfacce grafiche?

Mi aspetto che parleremo molto di più con i computer, spesso anche usando i video. Quando vedi qualcuno dall’aria perplessa, capisci che potresti dover spiegare qualcosa in modo diverso. La nostra dimostrazione audio-video mostra i primi passi verso questo tipo di interazione, in cui l’IA risponde sia a ciò che vede sia a ciò che sente.

Per scrivere codice preferisco ancora la tastiera e, se sto confrontando delle informazioni, potrei volerle visualizzare su uno schermo per esaminarle con calma, al mio ritmo.

Per quanto riguarda i software aziendali, posso immaginare di iniziare un’attività spiegando di cosa ho bisogno, per poi esaminare il risultato sullo schermo e apportare direttamente le modifiche. Nei prossimi cinque anni, credo che passare da una modalità di lavoro all’altra diventerà molto più semplice. Si potrà parlare quando è comodo e usare lo schermo quando serve essere precisi.

Grazie per la splendida intervista. I lettori che desiderano approfondire l’IA vocale conversazionale e gli agenti vocali per le aziende dovrebbero visitare Boson AI.