Alex Smola, spoluzakladatel Boson AI – série rozhovorů

Alex Smola je spoluzakladatelem společnosti Boson AI, kde se věnuje konverzační hlasové umělé inteligenci a multimodálním systémům. Jeho kariéra zahrnuje akademický výzkum na Carnegie Mellon University i rozsáhlé projekty v oblasti umělé inteligence ve společnosti AWS. Tyto zkušenosti s výzkumem i vývojem produktů nyní využívá při tvorbě asistentů, kteří dokážou rozpoznat konverzační signály, zvládat přerušení a vykonávat užitečné úkoly.

Boson AI vyvíjí základní modely a nástroje pro hlasovou, zvukovou a multimodální interakci. Její model Higgs Realtime umožňuje živé konverzace mezi řečí a řečí, zatímco širší platforma zahrnuje expresivní generování řeči, avatary a hlasové agenty pro podniky. V tomto rozhovoru Smola hovoří o konverzační inteligenci, vícejazyčných schopnostech, ekonomice inference a bezpečnostních opatřeních potřebných k nasazení hlasových agentů v reálných pracovních procesech firem.

Vaše kariéra vás zavedla od akademického výzkumu na Carnegie Mellon University přes vedení rozsáhlých projektů v oblasti umělé inteligence ve společnosti AWS až k založení Boson AI. Co vás přivedlo k zaměření na konverzační hlasovou umělou inteligenci a jaká zásadní omezení interakce mezi člověkem a umělou inteligencí chcete překonat?

Lidé komunikují mnohem více než jen slovy. V něčím hlase můžete slyšet nejistotu nebo si všimnout, že člověk neporozuměl vysvětlení. I drobné přitakání vám může napovědět, abyste pokračovali. Tyto signály zachytáváme, aniž bychom nad tím přemýšleli, ale naučit počítače, aby je rozpoznávaly, je stále nedokončený úkol.

Právě proto mě tato oblast tolik zajímá. Dnes máme k dispozici systémy s pozoruhodnými schopnostmi, komunikace s nimi ale může být stále nepřirozená. Chci, aby lidé mohli vlastními slovy vysvětlit, co potřebují, aniž by museli přemýšlet, jak se softwarem mluvit.

Ve společnosti AWS jsem se naučil věnovat velkou pozornost tomu, čeho se zákazníci snaží dosáhnout a zda jim v tom produkt pomáhá. Tento přístup jsme přenesli i do Boson AI, kde máme zároveň volnost rychle postupovat s tím, jak se výzkum posouvá vpřed.

Hlas a video nám poskytují více informací. Když někdo vypadá zmateně nebo zaváhá, asistent může zareagovat dříve, než se konverzace začne ubírat nesprávným směrem. Jedním z hlavních cílů je, aby tyto každodenní interakce fungovaly správně.

Společnost Boson AI nedávno představila Higgs Realtime, který má umožnit přirozenou komunikaci v reálném čase mezi řečí a řečí. V čem se tento přístup zásadně liší od tradičních systémů, které kombinují rozpoznávání řeči, jazykové modely a převod textu na řeč, a proč je tento rozdíl důležitý pro budoucnost asistentů s umělou inteligencí?

V tradičním procesu se řeč nejprve převede na text, jazykový model vygeneruje odpověď a hlasový model ji přečte nahlas. Každý krok závisí na předchozím, takže konverzace může působit pomalu a nesouvisle.

Higgs Realtime je hlasový model typu řeč–řeč, navržený pro interakci v reálném čase. Při jeho trénování se klade důraz na konverzační chování, včetně střídání v hovoru a reakcí na měnící se požadavky. To se zásadně liší od pouhého doplnění textového chatbota o hlasový výstup.

Představte si, že někomu položíte složitou otázku. Může říct: „Podívám se na to,“ a mezitím hledat odpověď. Víte, že vás slyšel a že se tomu věnuje. Asistent s umělou inteligencí by se měl zachovat stejně, když vyhledává informace nebo používá nějaký nástroj, abyste nemuseli přemýšlet, zda vám porozuměl, nebo přestal pracovat.

U delších úkolů je to ještě důležitější. Asistent vás musí průběžně informovat o tom, na čem pracuje, a reagovat, když položíte otázku nebo změníte názor.

Jedním z největších problémů konverzační umělé inteligence je poznat, kdy mluvit, kdy naslouchat a jak zvládat přerušení nebo změny tématu. Jak se Boson AI s těmito výzvami vypořádává a jaké technické průlomy jsou ještě potřeba, aby konverzace s umělou inteligencí působily skutečně přirozeně?

Přitakání a přerušení mohou znít velmi podobně, ale vyžadují odlišnou reakci. Když někdo během vašeho hovoru řekne „jo“, možná chce, abyste pokračovali. Pokud vás opraví v jedné číslici svého telefonního čísla, musíte přestat a použít správné číslo. Asistent s umělou inteligencí by měl umět tento rozdíl rozpoznat.

Higgs Realtime využívá význam toho, co člověk říká, aby pomohl určit, zda už domluvil, nebo se jen odmlčel. Rychlá reakce je důležitá, stejně jako schopnost správně zareagovat.

Dosahovat toho spolehlivě je stále velmi obtížné. Lidé nemluví v úhledně oddělených tazích a stejná slova mohou mít v různých konverzacích odlišný význam. Asistent musí pochopit, co se změnilo, a pamatovat si, čemu se právě věnoval.

Boson AI vyvinula benchmarky, například IHBench, které měří, jak se hlasoví agenti zotavují po přerušení. Co tato hodnocení odhalila o slabinách současných předních hlasových modelů a jak by měl obor přehodnotit způsob, jakým měří konverzační inteligenci?

Vytvořili jsme IHBench, abychom ověřili, co se stane, když někdo přeruší hlasového agenta. Pokud při rezervaci něco upřesníte, agent by měl opravu zohlednit a pokračovat od správného místa. Neměli byste muset začínat znovu ani znovu poslouchat informace, které vám už sdělil. Výsledky se výrazně lišily podle modelu a typu přerušení. Jedno zjištění jsme nepublikovali zrovna s nadšením: systémy s uzavřenými vahami si s přerušeními obvykle poradily lépe a lépe obstály i tehdy, když k přerušení došlo až v pozdější fázi rozhovoru.

V otevřeném ekosystému jde o skutečný nedostatek a raději ho veřejně změříme, než abychom předstírali, že neexistuje. Právě to je také hlavní důvod, proč tento benchmark vznikl. Nedostatek nelze odstranit, pokud se nikdo neshodne na tom, jak ho měřit. Benchmark jsme zveřejnili bez vlastního modelu. Když jsme do něj později jeden zařadili, dosáhl Higgs Realtime v kvalitě zotavení skóre 71,2, čímž předčil GPT Realtime 1.5 se skóre 65,5, GPT Realtime 2 se skóre 62,4 a Gemini 3.1 Flash Live se skóre 61,1. Nedostatek tedy lze odstranit — a odstranil ho model s otevřenými vahami.

Raději bych to ukázal na testu, který jsme navrhli tak, aby byl náročný, a zveřejnili ho ještě předtím, než jsme měli co předvést. Obecněji si myslím, že obor měří nesprávné věci. Hlas může znít naprosto přirozeně, a přesto nemusí svou úlohu zvládnout, protože rozhodující je, zda agent dokončí úkol. Pokud mu musíte neustále připomínat, co jste dělali, přestane velmi rychle záležet na tom, jak dobře jeho hlas zní.

Mezi působivou ukázkou hlasové umělé inteligence a autonomním agentem schopným zvládat skutečnou komunikaci se zákazníky je zásadní rozdíl. V čem se liší a které schopnosti je třeba zlepšit, než budou podniky moci s jistotou nasadit hlasové agenty v pracovních postupech kritických pro chod firmy?

Kdy jste si naposledy užili telefonát s kabelovou společností? Většina lidí odpoví, že nikdy. Přepojují vás od jednoho člověka k druhému a pokaždé znovu vysvětlujete své jméno, datum narození i svůj problém, aby se vás další člověk mohl na všechno zeptat znovu. Představte si tedy čtvrtý telefonát kvůli témuž problému. Chcete, aby agent věděl, co se stalo při prvních třech hovorech. Pokud restartování routeru nepomohlo, možná je čas vyslat technika — a neměli byste to muset sami zdůvodňovat. Aby to agent dokázal, potřebuje znát historii vašeho účtu a mít přístup do systému, ve kterém se objednávají návštěvy.

Musí si také poradit, když se rezervace nezdaří, a poznat, kdy vás předat člověku, který problém skutečně dokáže vyřešit. Právě takové situace musí firma otestovat, než nasadí agenta pro hovory se zákazníky. Pak je tu také cena provozu. Systém, který skvěle zvládá ukázkovou demonstraci, může být příliš nákladný na provoz při tisících hovorů denně. Efektivita je proto součástí připravenosti na nasazení ve firmě, nikoli samostatnou otázkou.

Tento konkrétní scénář už několik měsíců provozujeme ve spolupráci s globální pojišťovnou. Nejde o pilotní projekt vedle skutečného systému. Agent ve firemním kontaktním centru komunikuje v reálném provozu se zákazníky, a to při příchozích i odchozích hovorech, souběžně s lidskými obchodními zástupci. Zvládá tisíce souběžných hovorů, a to přibližně za třetinu nákladů na lidského agenta.

Ještě zajímavější než náklady mi připadá to, že se systém zlepšil přímo v provozu. Vlastní hodnocení pojišťovny přiřadilo kvalitě našich konverzací na začátku skóre 30. O pět měsíců později dosáhla skóre 80, které pojišťovna používá pro kvalifikovaného lidského telefonního prodejce. GPT-4o Realtime získal ve stejném hodnocení skóre 55. Tohoto výsledku jsme nedosáhli laděním v laboratoři. Systém se zlepšoval na základě hovorů, které skutečně vyřizoval — a právě na takovém zlepšování záleží kontaktnímu centru.

Hlasoví agenti se posouvají od odpovídání na otázky k vykonávání úkolů, přístupu k zákaznickým údajům a interakci s podnikovými systémy. Jak by měli vývojáři vyvažovat autonomii a lidský dohled? Jaká ochranná opatření jsou nezbytná pro budování dlouhodobé důvěry v tyto systémy?

Začal bych otázkou, co od agenta očekáváte a co mu svěřujete. Nechat ho zjistit zůstatek na účtu je něco úplně jiného než mu dovolit převádět peníze nebo rušit službu. Tomu musí odpovídat nastavení oprávnění a musí je vynucovat i systémy, k nimž se agent připojuje. To všechno nelze nechat pouze na pokynu v promptu.

Lidé by také měli vědět, s čím souhlasí. Než agent provede změnu, kterou by bylo obtížné vrátit zpět, měl by vysvětlit její důsledky a požádat o potvrzení. Když se pak dostane do úzkých, mělo by být snadné zapojit člověka.

I tak se budou věci kazit. Když k tomu dojde, musíte mít možnost zjistit, co agent udělal a kde se zastavil, aby to někdo mohl napravit. Sebejistě znějící hlas v nás může vyvolat dojem, že systém ví, co dělá. Důvěru si ale musíme zasloužit tím, jak spolehlivě se systém chová.

Higgs Realtime podporuje více než 100 jazyků a umožňuje během konverzace přecházet mezi jazyky. Jaké jsou největší technické výzvy při zajištění konzistentní konverzační inteligence napříč různými jazyky, přízvuky a komunikačními styly, zejména při rozpoznávání emočního kontextu a záměru uživatele?

Pokrytí jazyků zní jako položka na seznamu, ale ve skutečnosti to tak není. Před časem jeden zákazník potřeboval thajštinu. Měli jsme částečné pokrytí a jako první jsme zjistili, že o samotné thajštině nevíme vůbec nic — počínaje tím, že psaná thajština v podstatě nepoužívá interpunkci. To narušuje předpoklady o hranicích vět, na nichž je založena většina systémů pro rozpoznávání řeči. Mohli jsme vstup na tento trh odložit. Místo toho jsme našli informatiky, kteří mluvili thajsky, a zpracování jazyka řádně přepracovali.

Asi o šest týdnů později jsme předváděli systém v Bangkoku. Během ukázky jsem nedokázal poznat, jak se daří — poslouchal jsem lidi, kteří zkoušeli systém v jazyce, kterým nemluvím — a po jejím skončení mi řekli, že je dobrý, což mi přineslo značnou úlevu. Zvyklosti se liší stejně jako slovní zásoba. V japonštině posluchači během vašeho hovoru drobnými projevy souhlasu dávají najevo, že vás sledují. Pokud asistent pokaždé přestane mluvit, aby předal slovo, naruší tím rytmus rozhovoru.

Slova mohou být dokonalá, a přesto rozhovor selže. Záleží také na tom, jak něco říkáte, stejně jako na tom, co říkáte. Úplně stejná slova můžete pronést láskyplně nebo sarkasticky a vhodná reakce bude v každém případě zcela jiná. Právě zachování tónu a kontextu ve chvíli, kdy se jazyk uprostřed věty změní, je velkou částí toho, co mě na této oblasti tolik zajímá.

Společnosti jako OpenAI a Google výrazně investují do multimodální umělé inteligence pracující v reálném čase. Jak může specializovaná společnost, jako je Boson AI, konkurovat organizacím s výrazně většími výpočetními zdroji a kde vidíte největší příležitosti k odlišení v architektuře modelů, výkonu a ekonomice odvozování?

Větší výpočetní výkon automaticky neznamená, že ho využíváte dobře. Při živém rozhovoru můžete utratit spoustu peněz za provoz velmi výkonného modelu jen proto, aby zpracoval něčí „hmm“ nebo „jo, nejspíš“. Takový model pak věnuje velkou část své inteligence poslouchání výplňkových slov. Mozky jsou drahé a spotřebovávají spoustu energie; totéž platí pro odvozování. Nakonec to zaplatí zákazník.

Lidé tento problém řeší rozdělením pozornosti. Můžete sedět v kavárně a vést trochu nudný rozhovor, zatímco někde v pozadí mysli přemýšlíte, co uvaříte k večeři. V popředí mysli udržujete rozhovor. Pak vám druhý člověk položí opravdu složitou otázku a vy se do ní plně ponoříte a věnujete jí veškerou pozornost. Konverzační systémy vytváříme stejným způsobem.

Jednodušší a levnější model zajišťuje základní průběh rozhovoru a dražší uvažování i volání nástrojů přicházejí na řadu, až když si to úloha skutečně vyžaduje. Druhá věc je, že jsme výpočetní kapacitu koupili, místo abychom si ji pronajímali. Výpočet není složitý: vezmete hodinovou cenu cloudové instance, vynásobíte ji počtem hodin v roce a dostanete částku blízkou ceně samotného hardwaru. Bod zvratu jsme vypočítali pro každou komponentu zvlášť a podle toho jsme postupovali. Bylo to těžší, než to takto zní, a ne všechno proběhlo dokonale. Díky tomu ale nepřichází v úvahu hrubé škálování, takže veškeré zlepšení musí vycházet z kvalitnějších dat a lepší architektury. Ukázalo se také, že nás tento přístup chrání: komponenty, jejichž cena nám byla nabídnuta za méně než 100 000 dolarů, stály o šest měsíců později zhruba dvojnásobek. Můžeme postupovat rychle, protože jsme malý tým zaměřený na jedinou věc. Výzkumník může přijít s nápadem, otestovat ho a sám ho začlenit do produktu. Těžíme také z otevřené výzkumné komunity a sami jí přispíváme, díky čemuž malý tým dokáže mnohem víc, než by jeho velikost napovídala.

Váš výzkum v rámci ProactBench se zabývá důležitou stránkou konverzační inteligence: rozpoznáním toho, co uživatelé potřebují, i když o to výslovně nepožádali. Jak podle vás budou hlasoví agenti přecházet od reaktivních asistentů k proaktivním spolupracovníkům a kde by měla ležet hranice mezi předvídáním potřeb uživatelů a překračováním mezí?

Představte si, že si domlouváte návštěvu lékaře a hned na začátku rozhovoru zmíníte, že nemůžete řídit. Dobrý asistent by si to zapamatoval a navrhl vzdálenou konzultaci nebo pomohl zajistit dopravu. Neměli byste tuto informaci muset opakovat.

Právě to zkoumáme v rámci ProactBench – zda asistent dokáže využít informace, které jste mu sdělili, předvídat vaše potřeby a nabídnout pomoc, o kterou jste přímo nepožádali.

Samozřejmě se může stát, že už máte odvoz k lékaři domluvený. Asistent by měl nabídnout tuto možnost a nechat rozhodnutí na vás, místo aby předpokládal, že zná vaše plány. Chtěl bych, aby tyto systémy lidem šetřily námahu, ale zároveň jim ponechaly kontrolu nad tím, co se bude dít.

Myslíte si, že se hlas během příštích pěti let stane hlavním rozhraním, jehož prostřednictvím budou lidé komunikovat s umělou inteligencí a softwarem? Pokud ano, jak by tato proměna mohla změnit tradiční aplikace, podnikový software a roli obrazovek a grafických uživatelských rozhraní?

Očekávám, že budeme s počítači mnohem více mluvit, často také za využití videa. Když vidíte, že někdo vypadá zmateně, víte, že možná budete muset něco vysvětlit jinak. Naše zvukově-obrazová ukázka předvádí základy tohoto typu interakce: umělá inteligence reaguje na to, co vidí, i na to, co slyší.

Při psaní kódu stále dávám přednost klávesnici a když porovnávám informace, možná je chci mít na obrazovce, kde si je mohu prohlížet vlastním tempem.

U podnikového softwaru si dokážu představit, že úkol začnete tím, že vysvětlíte, co potřebujete, pak si výsledek prohlédnete na obrazovce a přímo v něm provedete změny. Myslím, že během příštích 5 let bude přecházení mezi těmito způsoby práce mnohem snazší. Můžete mluvit, když se vám to hodí, a použít obrazovku, když potřebujete být přesní.

Děkuji za skvělý rozhovor. Čtenáři, kteří chtějí prozkoumat konverzační hlasovou umělou inteligenci a hlasové agenty pro podnikové prostředí, by měli navštívit Boson AI.