Alex Smola, cofondator al Boson AI – Serie de interviuri

Alex Smola este cofondator al Boson AI, unde lucrează la IA vocală conversațională și la sisteme multimodale. Cariera sa cuprinde cercetare academică la Carnegie Mellon University și inițiative de IA la scară largă la AWS. El îmbină experiența în cercetare și dezvoltarea de produse pentru a crea asistenți capabili să înțeleagă indiciile din conversație, să gestioneze întreruperile și să ducă la bun sfârșit sarcini utile.

Boson AI dezvoltă modele fundamentale și instrumente pentru interacțiunea vocală, audio și multimodală. Modelul său Higgs Realtime permite conversații vocale în timp real, în care vorbirea este transformată direct în vorbire, iar platforma sa mai largă include generarea expresivă a vorbirii, avatare și agenți vocali pentru companii. În acest interviu, Smola discută despre inteligența conversațională, performanța multilingvă, economia inferenței și măsurile de protecție necesare pentru integrarea agenților vocali în fluxuri de lucru reale ale companiilor.

Cariera dumneavoastră v-a purtat de la cercetarea academică de la Carnegie Mellon University la conducerea unor inițiative de IA la scară largă la AWS, iar acum la cofondarea Boson AI. Ce v-a inspirat să vă concentrați asupra IA vocale conversaționale și ce limitări fundamentale ale interacțiunii dintre oameni și IA sperați să depășiți?

Oamenii comunică prin mult mai mult decât cuvinte. Poți auzi nesiguranța în vocea cuiva sau poți vedea că nu a înțeles o explicație. Un mic semn de confirmare îți poate arăta că poți continua să vorbești. Sesizăm aceste indicii fără să ne gândim, dar învățarea calculatoarelor să le recunoască este încă în desfășurare.

Tocmai asta face acest domeniu atât de interesant pentru mine. Avem acum sisteme cu o inteligență considerabilă, dar comunicarea cu ele poate fi în continuare stângace. Vreau ca oamenii să-și poată explica nevoile cu propriile cuvinte, fără să fie nevoiți să-și dea seama cum să vorbească cu software-ul.

La AWS, am învățat să fiu foarte atent la ce încercau clienții să facă și dacă produsul îi ajuta să-și atingă scopul. Am adus această abordare la Boson, având libertatea de a avansa rapid pe măsură ce cercetarea progresează.

Vocea și imaginea video ne oferă mai multe indicii. Dacă cineva pare nedumerit sau ezită, asistentul are ocazia să reacționeze înainte ca discuția să devieze. O parte importantă a ambiției noastre este să facem bine aceste interacțiuni de zi cu zi.

Boson AI a lansat recent Higgs Realtime, conceput pentru a permite interacțiuni naturale, în timp real, în care vorbirea este transformată direct în vorbire. Prin ce se deosebește fundamental această abordare de sistemele tradiționale care combină recunoașterea vocală, modelele lingvistice și sinteza vocală și de ce contează această diferență pentru viitorul asistenților IA?

Într-un flux tradițional, recunoașterea vocală transformă cuvintele tale în text, un model lingvistic generează un răspuns, iar un model vocal îl rostește. Fiecare etapă depinde de cea anterioară, ceea ce poate face conversația să pară lentă și fragmentată.

Higgs Realtime este un model audio nativ, de la vorbire la vorbire, conceput pentru interacțiuni în timp real. Antrenarea sa vizează comportamente conversaționale, inclusiv alternarea vorbitorilor și răspunsul la solicitări care se schimbă. Este o abordare foarte diferită de simpla adăugare a unei voci la un chatbot bazat pe text.

Gândește-te la o situație în care îi adresezi cuiva o întrebare dificilă. S-ar putea să spună „Lasă-mă să caut”, în timp ce se ocupă de asta. Știi că te-a auzit și că lucrează la răspuns. Un asistent IA ar trebui să facă la fel când caută informații sau folosește un instrument, ca să nu te întrebi dacă te-a înțeles sau dacă a încetat să lucreze.

Acest lucru devine și mai important în cazul sarcinilor mai lungi. Asistentul trebuie să te țină la curent în timp ce lucrează și să răspundă dacă îi pui o întrebare sau te răzgândești.

Una dintre cele mai mari provocări ale IA conversaționale este să știe când să vorbească, când să asculte și cum să gestioneze întreruperile sau schimbările de direcție. Cum abordează Boson AI aceste provocări și ce progrese tehnice mai sunt necesare înainte ca discuțiile cu IA să pară cu adevărat naturale?

O confirmare și o întrerupere pot suna foarte asemănător, dar necesită răspunsuri diferite. Dacă cineva spune „da” în timp ce vorbești, poate că vrea să continui. Dacă îți corectează o cifră din numărul său de telefon, trebuie să te oprești și să folosești numărul corect. Un asistent IA ar trebui să poată face diferența.

Higgs Realtime folosește sensul spuselor cuiva pentru a stabili dacă persoana a terminat de vorbit sau doar face o pauză. Este important să răspundă rapid, dar la fel de important este să știe cum să răspundă.

Este încă destul de dificil să faci asta în mod consecvent. Oamenii nu vorbesc pe rânduri ordonate, iar aceleași cuvinte pot însemna lucruri diferite în funcție de conversație. Asistentul trebuie să înțeleagă ce s-a schimbat și să-și amintească ce făcea.

Boson AI a dezvoltat repere de evaluare precum IHBench pentru a măsura capacitatea agenților vocali de a-și reveni după întreruperi. Ce au dezvăluit aceste evaluări despre punctele slabe ale celor mai performante modele vocale de astăzi și cum ar trebui industria să regândească modul în care măsoară inteligența conversațională?

Am creat IHBench pentru a testa ce se întâmplă când cineva întrerupe un agent vocal. Dacă corectezi ceva la jumătatea unei rezervări, agentul ar trebui să țină cont de corectură și să continue din punctul potrivit. N-ar trebui să fii nevoit să o iei de la capăt sau să asculți din nou informații pe care ți le-a oferit deja. Rezultatele au variat considerabil în funcție de model și de tipul întreruperii. O constatare pe care nu ne-a făcut o deosebită plăcere să o publicăm: în general, sistemele cu ponderi închise au gestionat mai bine întreruperile și au funcționat mai bine cu cât întreruperea a avut loc mai târziu în conversație.

Aceasta este o lacună reală în ecosistemul cu ponderi deschise și preferăm să o măsurăm în mod public, în loc să ne prefacem că nu există. Acesta este, de altfel, motivul principal pentru care există benchmarkul. Nu poți acoperi o lacună pe care nimeni nu a convenit cum să o măsoare. Am publicat benchmarkul fără să includem vreun model de-al nostru. Când am inclus unul, Higgs Realtime a obținut 71.2 la calitatea reluării conversației, depășind GPT Realtime 1.5, cu 65.5, GPT Realtime 2, cu 62.4, și Gemini 3.1 Flash Live, cu 61.1. Așadar, lacuna poate fi acoperită, iar un model cu ponderi deschise a acoperit-o.

Aș prefera să demonstrez asta într-un test pe care l-am conceput să fie dificil și pe care l-am publicat înainte să avem vreun rezultat de arătat. În sens mai larg, cred că domeniul măsoară lucrurile greșite. O voce poate suna cât se poate de natural și totuși să nu-și îndeplinească sarcina, pentru că testul important este dacă agentul duce sarcina la bun sfârșit. Dacă trebuie să-i reamintești mereu ce făceai, calitatea vocii nu mai contează prea curând.

Există o diferență semnificativă între o demonstrație impresionantă de inteligență artificială vocală și un agent autonom capabil să gestioneze interacțiuni reale cu clienții. Ce le deosebește și ce capabilități trebuie îmbunătățite înainte ca întreprinderile să poată implementa cu încredere agenți vocali în fluxuri de lucru esențiale pentru activitatea lor?

Când te-ai bucurat ultima oară să suni la compania de cablu? Pentru majoritatea oamenilor, răspunsul este niciodată. Ești pasat de la o persoană la alta și, de fiecare dată, trebuie să-ți spui din nou numele, data nașterii și problema, pentru ca următoarea persoană să-ți ceară iar toate aceste informații. Să luăm, așadar, al patrulea apel despre aceeași problemă. Vrei ca agentul să știe ce s-a întâmplat la primele trei apeluri. Dacă repornirea routerului nu a rezolvat problema, poate că e timpul să trimită un tehnician, iar tu n-ar trebui să fii nevoit să justifici singur această decizie. Pentru a face asta, agentul are nevoie de istoricul contului tău și de acces la sistemul care programează vizita.

Agentul trebuie, de asemenea, să se descurce când rezervarea eșuează și să știe când să te transfere unei persoane care chiar poate rezolva problema. Acestea sunt situațiile pe care o companie trebuie să le testeze înainte de a pune un agent să preia apelurile clienților. Apoi, trebuie luat în calcul costul de funcționare. Un sistem care se descurcă minunat într-o demonstrație poate fi mult prea costisitor pentru a gestiona mii de apeluri pe zi, așa că eficiența face parte din pregătirea pentru utilizarea în mediul de afaceri și nu este o preocupare separată.

De câteva luni, testăm exact acest scenariu împreună cu o companie de asigurări internațională. Nu este un proiect-pilot care rulează în paralel cu sistemul real. Sistemul gestionează conversații reale cu clienții, atât apeluri primite, cât și efectuate, alături de agenții umani de vânzări, în centrul lor de contact. Mii de apeluri simultane, la aproximativ o treime din costul unui agent uman.

Mi se pare mai interesant faptul că sistemul s-a îmbunătățit în timp ce funcționa decât costul. La început, evaluarea lor proprie a acordat calității conversațiilor noastre un scor de 30. Cinci luni mai târziu, scorul ajunsese la 80, nivelul pe care îl folosesc pentru un operator de telemarketing calificat. GPT-4o Realtime a obținut 55 la aceeași evaluare. Nu am ajuns la acest rezultat ajustând modelul într-un laborator. Sistemul s-a îmbunătățit pe baza apelurilor pe care le gestiona efectiv, iar acesta este singurul tip de îmbunătățire care contează pentru un centru de contact.

Pe măsură ce agenții vocali trec de la răspunsul la întrebări la executarea sarcinilor, accesarea informațiilor despre clienți și interacțiunea cu sistemele întreprinderilor, cum ar trebui dezvoltatorii să găsească echilibrul între autonomie și supravegherea umană? Ce măsuri de protecție sunt esențiale pentru a clădi o încredere de durată în aceste sisteme?

Aș începe prin a întreba ce anume îi încredințezi agentului să facă. Să-i permiți să consulte soldul unui cont este cu totul altceva decât să-i dai voie să transfere bani sau să anuleze un serviciu. Permisiunile ar trebui să reflecte această diferență, iar sistemele la care se conectează trebuie să le aplice. Nu poți lăsa toate acestea în seama unei instrucțiuni dintr-un prompt.

Oamenii ar trebui, de asemenea, să știe cu ce sunt de acord. Înainte ca un agent să facă o schimbare greu de anulat, ar trebui să explice consecințele și să ceară confirmarea. Astfel, dacă se blochează, va fi simplu să intervină o persoană.

Tot vor exista probleme. Când apar, trebuie să poți vedea ce a făcut agentul și unde s-a oprit, pentru ca cineva să poată remedia situația. O voce sigură pe sine ne poate face să presupunem că sistemul știe ce face, dar trebuie să ne câștige încrederea prin comportamentul său fiabil.

Higgs Realtime acceptă peste 100 de limbi, inclusiv schimbarea limbii în timpul unei conversații. Care sunt cele mai mari provocări tehnice în asigurarea unei inteligențe conversaționale consecvente în diferite limbi, accente și stiluri de comunicare, mai ales când vine vorba de înțelegerea contextului emoțional și a intenției utilizatorului?

Acoperirea lingvistică pare o simplă listă, dar nu este. Cu ceva timp în urmă, un client avea nevoie de limba thailandeză. Aveam o acoperire parțială, iar primul lucru pe care l-am descoperit a fost că nu știam absolut nimic despre limba thailandeză propriu-zisă, începând cu faptul că, în scrierea thailandeză, practic nu există punctuație. Asta contrazice presupunerile privind limitele dintre propoziții pe care se bazează majoritatea sistemelor de recunoaștere vocală. Am fi putut amâna intrarea pe piață. În schimb, am găsit informaticieni care vorbeau thailandeză și am reconstruit corect modul de procesare.

După aproximativ șase săptămâni, eram la Bangkok, unde făceam o demonstrație. În timpul demonstrației, nu-mi puteam da seama cum decurgea — îi ascultam pe oameni testând un sistem într-o limbă pe care nu o vorbesc —, iar după aceea mi-au spus că funcționa bine, spre marea mea ușurare. Convențiile diferă la fel de mult ca vocabularul. În japoneză, interlocutorii fac mici gesturi de confirmare în timp ce vorbești, ca să arate că te urmăresc. Dacă asistentul se oprește de fiecare dată pentru a-i da celuilalt rândul la vorbire, distruge ritmul conversației.

Cuvintele pot fi perfecte și, totuși, conversația poate eșua. Iar felul în care spui ceva contează la fel de mult ca ceea ce spui. Poți folosi exact aceleași cuvinte cu afecțiune sau cu sarcasm, iar răspunsul potrivit este complet diferit. O mare parte din ceea ce mi se pare interesant aici ține de păstrarea tonului și a contextului atunci când limba se schimbă în mijlocul unei propoziții.

Companii precum OpenAI și Google investesc masiv în inteligența artificială multimodală în timp real. Cum poate o companie specializată precum Boson AI să concureze cu organizații care dispun de resurse de calcul mult mai mari și unde vedeți cele mai bune oportunități de diferențiere în arhitectura modelelor, performanță și costurile inferenței?

Mai multă putere de calcul nu înseamnă automat că o folosești bine. Într-o conversație în timp real, poți cheltui foarte mulți bani pentru a rula un model extrem de puternic doar ca să proceseze pe cineva spunând „hmm” sau „da, probabil”. Modelul își va folosi o mare parte din capacitatea de înțelegere ascultând cuvinte de umplutură. Creierele sunt costisitoare și consumă multă energie, la fel și inferența. În cele din urmă, clientul plătește pentru asta.

Oamenii rezolvă problema împărțindu-și atenția. Poți sta într-o cafenea, purtând o conversație puțin plictisitoare, în timp ce, în fundalul minții, te gândești ce să gătești la cină. Partea conștientă a minții susține conversația. Apoi, celălalt îți pune o întrebare cu adevărat dificilă și te concentrezi pe deplin, alocându-i toate resursele. Construim sistemele conversaționale în același fel.

Un model ieftin gestionează partea inițială a conversației, iar raționamentul mai costisitor și apelurile către instrumente intervin atunci când sarcina chiar le cere. Un alt aspect este că ne-am cumpărat puterea de calcul, în loc să o închiriem. Calculul este simplu: înmulțești costul orar al unei instanțe cloud cu numărul de ore dintr-un an și ajungi la o sumă apropiată de costul achiziționării echipamentului. Am calculat pragul de rentabilitate pentru fiecare componentă în parte și am construit pornind de acolo. A fost mai greu decât pare și nu totul a mers perfect. Dar asta exclude scalarea prin forță brută, ceea ce înseamnă că fiecare progres trebuie să vină din date mai bune și o arhitectură mai bună. S-a dovedit, de asemenea, că această abordare ne-a protejat: componente pentru care ni se oferiseră prețuri sub 100.000 de dolari au ajuns să coste aproximativ de două ori mai mult șase luni mai târziu. Ne putem mișca rapid pentru că suntem o echipă mică și ne ocupăm de un singur lucru. Un cercetător poate veni cu o idee, o poate testa și o poate integra chiar el în produs. În plus, beneficiem de comunitatea cercetării deschise și contribuim la rândul nostru la aceasta, ceea ce îi permite unei echipe mici să realizeze mult mai mult decât ai presupune după dimensiunea ei.

Cercetarea dumneavoastră despre ProactBench explorează o dimensiune importantă a inteligenței conversaționale: recunoașterea nevoilor utilizatorilor chiar și atunci când aceștia nu le-au exprimat explicit. Cum vă imaginați evoluția agenților vocali, de la asistenți reactivi la colaboratori proactivi, și unde ar trebui trasate limitele dintre anticiparea nevoilor utilizatorilor și depășirea măsurii?

Să presupunem că vă faceți o programare la medic și, la începutul conversației, menționați că nu puteți conduce. Un asistent bun și-ar aminti acest lucru și v-ar sugera o consultație la distanță sau v-ar ajuta să găsiți o modalitate de transport. Nu ar trebui să repetați această informație.

Asta studiem cu ProactBench: dacă un asistent se poate folosi de ceea ce i-ați spus pentru a vă anticipa nevoile și a vă oferi ajutor pe care nu l-ați solicitat direct.

Desigur, este posibil să fi aranjat deja transportul până la programare. Asistentul ar trebui să vă ofere această opțiune și să vă lase să decideți, nu să presupună că știe ce planuri aveți. Mi-aș dori ca aceste sisteme să le ușureze viața oamenilor, lăsându-i totodată să păstreze controlul asupra celor întâmplate.

Privind spre următorii cinci ani, credeți că vocea va deveni principala interfață prin care oamenii interacționează cu inteligența artificială și cu software-ul? Dacă da, cum ar putea această transformare să remodeleze aplicațiile tradiționale, software-ul pentru companii și rolul ecranelor și al interfețelor grafice cu utilizatorul?

Mă aștept să vorbim mult mai mult cu computerele, adesea și prin video. Când vezi că cineva pare nedumerit, îți dai seama că poate trebuie să explici ceva altfel. Demonstrația noastră audio-video arată începuturile acestui tip de interacțiune, în care inteligența artificială răspunde atât la ceea ce vede, cât și la ceea ce aude.

Prefer în continuare o tastatură pentru a scrie cod, iar dacă compar informații, s-ar putea să vreau să le văd pe un ecran, unde le pot parcurge în ritmul meu.

În cazul software-ului destinat companiilor, îmi pot imagina că o sarcină ar putea începe prin a explica de ce am nevoie, apoi a examina rezultatul pe ecran și a face modificări direct. În următorii cinci ani, cred că va deveni mult mai ușor să trecem de la un mod de lucru la altul. Ai putea vorbi când îți este convenabil și folosi ecranul când ai nevoie de precizie.

Vă mulțumesc pentru interviul excelent. Cititorii care doresc să exploreze inteligența artificială vocală conversațională și agenții vocali pentru companii pot vizita Boson AI.