Alex Smola, współzałożyciel Boson AI – cykl wywiadów

Alex Smola jest współzałożycielem Boson AI, gdzie pracuje nad konwersacyjną sztuczną inteligencją głosową i systemami multimodalnymi. Jego kariera obejmuje badania akademickie na Carnegie Mellon University oraz realizację zakrojonych na szeroką skalę inicjatyw związanych ze sztuczną inteligencją w AWS. Łączy doświadczenie badawcze i produktowe, by tworzyć asystentów, którzy potrafią rozumieć sygnały w rozmowie, radzić sobie z przerwaniem wypowiedzi i wykonywać przydatne zadania.

Boson AI rozwija modele bazowe i narzędzia do interakcji głosowych, dźwiękowych i multimodalnych. Jej model Higgs Realtime umożliwia prowadzenie rozmów na żywo, w których mowa jest przekształcana bezpośrednio w mowę, a szersza oferta platformy obejmuje ekspresyjne generowanie mowy, awatary i głosowych agentów dla przedsiębiorstw. W tym wywiadzie Smola opowiada o inteligencji konwersacyjnej, skuteczności w wielu językach, ekonomice wnioskowania oraz zabezpieczeniach potrzebnych, by wdrażać głosowych agentów w rzeczywistych procesach biznesowych.

Pańska kariera prowadziła od badań akademickich na Carnegie Mellon University, przez kierowanie zakrojonymi na szeroką skalę inicjatywami związanymi ze sztuczną inteligencją w AWS, aż po współzałożenie Boson AI. Co skłoniło Pana do skupienia się na konwersacyjnej sztucznej inteligencji głosowej i jakie fundamentalne ograniczenia w interakcjach między ludźmi a sztuczną inteligencją chce Pan przezwyciężyć?

Ludzie komunikują się na wiele sposobów, nie tylko za pomocą słów. W głosie rozmówcy można usłyszeć niepewność, a po jego zachowaniu poznać, że nie zrozumiał wyjaśnienia. Krótkie potwierdzenie może dać znać, że warto mówić dalej. Bez zastanowienia wychwytujemy takie sygnały, ale nauczenie komputerów ich rozpoznawania wciąż pozostaje wyzwaniem.

Właśnie dlatego ta dziedzina tak bardzo mnie interesuje. Dysponujemy już systemami o znacznej inteligencji, ale rozmowa z nimi nadal może być niezręczna. Chcę, by ludzie mogli wyjaśniać własnymi słowami, czego potrzebują, bez konieczności zastanawiania się, jak rozmawiać z oprogramowaniem.

W AWS nauczyłem się uważnie przyglądać temu, co klienci próbują zrobić i czy produkt im w tym pomaga. W Boson stosujemy to samo podejście, a jednocześnie możemy szybko działać w miarę postępów badań.

Obraz i dźwięk dają nam więcej informacji. Jeśli ktoś wygląda na zdezorientowanego lub się waha, asystent może zareagować, zanim rozmowa zboczy z właściwego toru. Dopracowanie takich codziennych interakcji jest ważną częścią naszych ambicji.

Firma Boson AI niedawno zaprezentowała Higgs Realtime, zaprojektowany z myślą o naturalnych interakcjach głosowych w czasie rzeczywistym, w których mowa jest przekształcana bezpośrednio w mowę. Czym to podejście zasadniczo różni się od tradycyjnych systemów łączących rozpoznawanie mowy, modele językowe i syntezę mowy oraz dlaczego to rozróżnienie ma znaczenie dla przyszłości asystentów AI?

W tradycyjnym potoku przetwarzania system rozpoznawania mowy zamienia wypowiedziane słowa na tekst, model językowy generuje odpowiedź, a model mowy odczytuje ją na głos. Każdy etap zależy od poprzedniego, przez co rozmowa może sprawiać wrażenie powolnej i niespójnej.

Higgs Realtime to model przetwarzający mowę bezpośrednio na mowę, zaprojektowany z myślą o interakcji na żywo. Podczas jego trenowania uwzględniono zachowania charakterystyczne dla rozmowy, takie jak zabieranie głosu na zmianę i reagowanie na zmieniające się prośby. To zupełnie inne podejście niż dodanie głosu do tekstowego chatbota.

Pomyśl o sytuacji, gdy zadajesz komuś trudne pytanie. Ta osoba może powiedzieć: „Już to sprawdzam”, i zająć się szukaniem odpowiedzi. Wiesz wtedy, że cię usłyszała i pracuje nad odpowiedzią. Asystent AI powinien zachowywać się tak samo, gdy wyszukuje informacje lub korzysta z narzędzia, aby nie pozostawiać cię w niepewności, czy cię zrozumiał, czy przestał działać.

Jest to jeszcze ważniejsze w przypadku dłuższych zadań. Asystent powinien na bieżąco informować cię o postępach i reagować, gdy zadasz pytanie lub zmienisz zdanie.

Jednym z największych wyzwań w dziedzinie sztucznej inteligencji konwersacyjnej jest ustalenie, kiedy mówić, kiedy słuchać i jak radzić sobie z przerwaniem wypowiedzi lub zmianą tematu. Jak Boson AI mierzy się z tymi wyzwaniami i jakich przełomów technicznych wciąż potrzeba, by rozmowy z AI stały się naprawdę naturalne?

Potwierdzenie i przerwanie wypowiedzi mogą brzmieć bardzo podobnie, ale wymagają odmiennych reakcji. Jeśli ktoś mówi „mhm”, gdy rozmawiasz, może chcieć, żebyś mówił dalej. Jeśli poprawia cyfrę w swoim numerze telefonu, musisz przerwać i użyć właściwego numeru. Asystent AI powinien umieć rozpoznać tę różnicę.

Higgs Realtime wykorzystuje znaczenie wypowiedzi rozmówcy, by pomóc ustalić, czy skończył mówić, czy tylko robi przerwę. Szybka reakcja jest ważna, ale równie ważne jest to, by wiedzieć, jak zareagować.

Niezawodne radzenie sobie z takimi sytuacjami nadal jest bardzo trudne. Ludzie nie zabierają głosu w równych, uporządkowanych turach, a te same słowa mogą znaczyć co innego w zależności od przebiegu rozmowy. Asystent musi rozumieć, co się zmieniło, i pamiętać, czym się zajmował.

Boson AI opracowała testy porównawcze, takie jak IHBench, które pozwalają mierzyć, jak głosowi agenci radzą sobie z powrotem do rozmowy po przerwaniu. Co te oceny ujawniły na temat słabości czołowych współczesnych modeli głosowych i jak branża powinna na nowo przemyśleć sposób mierzenia inteligencji konwersacyjnej?

Stworzyliśmy IHBench, aby sprawdzić, co się dzieje, gdy ktoś przerywa agentowi głosowemu. Jeśli w połowie rezerwacji poprawisz jakąś informację, agent powinien uwzględnić poprawkę i kontynuować od właściwego momentu. Nie powinieneś musieć zaczynać od nowa ani słuchać ponownie informacji, które agent już podał. Wyniki znacznie się różniły w zależności od modelu i rodzaju przerwania. Jeden z wniosków, których publikowanie nie sprawiło nam szczególnej przyjemności, był taki, że systemy o zamkniętych wagach na ogół lepiej radziły sobie z przerwaniem i zachowywały skuteczność, gdy dochodziło do niego coraz później w rozmowie.

To rzeczywista luka w otwartym ekosystemie. Wolimy ją publicznie mierzyć, niż udawać, że jej nie ma. To zresztą główny powód, dla którego powstał ten test porównawczy. Nie da się zamknąć luki, której nikt nie uzgodnił, jak mierzyć. Opublikowaliśmy ten test, nie uwzględniając w nim żadnego własnego modelu. Kiedy dodaliśmy do niego nasz model, Higgs Realtime uzyskał wynik 71.2 w zakresie jakości powrotu do zadania, wyprzedzając GPT Realtime 1.5 z wynikiem 65.5, GPT Realtime 2 z wynikiem 62.4 oraz Gemini 3.1 Flash Live z wynikiem 61.1. A zatem tę lukę można zamknąć — i zamknął ją model o otwartych wagach.

Wolałbym pokazać to na teście, który zaprojektowaliśmy tak, by był trudny, i opublikowaliśmy, zanim mieliśmy jakiekolwiek wyniki do zaprezentowania. Mówiąc szerzej, uważam, że branża mierzy niewłaściwe rzeczy. Głos może brzmieć całkowicie naturalnie, a mimo to agent może nie wykonać zadania, bo liczy się to, czy doprowadzi je do końca. Jeśli trzeba mu ciągle przypominać, co się robiło, jakość głosu bardzo szybko przestaje mieć znaczenie.

Istnieje zasadnicza różnica między imponującą demonstracją sztucznej inteligencji głosowej a autonomicznym agentem zdolnym obsługiwać rzeczywiste interakcje z klientami. Na czym polega ta różnica i jakie możliwości trzeba udoskonalić, zanim przedsiębiorstwa będą mogły z pełnym przekonaniem wdrażać agentów głosowych w procesach o krytycznym znaczeniu dla działalności?

Kiedy ostatnio z przyjemnością dzwoniłeś do swojego dostawcy telewizji kablowej? Większość osób odpowie: nigdy. Przekazują cię od jednej osoby do drugiej, a za każdym razem musisz ponownie podać swoje imię i nazwisko, datę urodzenia oraz opisać problem, żeby kolejna osoba mogła poprosić cię o te same informacje. Wyobraź sobie więc czwarty telefon w tej samej sprawie. Chcesz, żeby agent wiedział, co wydarzyło się podczas trzech poprzednich rozmów. Jeśli ponowne uruchomienie routera nie pomogło, być może pora wysłać technika — nie powinieneś musieć samodzielnie przekonywać o tym obsługi. Żeby agent mógł to zrobić, potrzebuje dostępu do historii twojego konta oraz systemu rezerwacji wizyt.

Agent musi też umieć poradzić sobie z nieudaną rezerwacją i wiedzieć, kiedy przekazać sprawę człowiekowi, który rzeczywiście może ją rozwiązać. To właśnie takie sytuacje firma powinna przetestować, zanim powierzy agentowi obsługę połączeń od klientów. Trzeba też wziąć pod uwagę koszt jego działania. System, który świetnie radzi sobie podczas demonstracji, może okazać się zbyt drogi w eksploatacji przy tysiącach połączeń dziennie, dlatego efektywność jest warunkiem gotowości do wdrożenia w firmie, a nie osobną kwestią.

Od kilku miesięcy wdrażamy dokładnie taki scenariusz w globalnej firmie ubezpieczeniowej. Nie jest to test prowadzony równolegle z rzeczywistym systemem. Agent obsługuje rzeczywiste rozmowy z klientami — połączenia przychodzące i wychodzące — u boku ludzkich agentów sprzedaży w centrum kontaktowym firmy. Obsługuje tysiące równoczesnych połączeń, a jego koszt wynosi mniej więcej jedną trzecią kosztu pracy ludzkiego agenta.

Bardziej niż koszt interesuje mnie to, że system poprawiał się w trakcie działania. W przeprowadzonej przez firmę ocenie jakość naszych rozmów uzyskała na początku wynik 30. Po pięciu miesiącach było to już 80 — tyle samo, ile wynosi wynik wykwalifikowanego ludzkiego telemarketera w stosowanej przez nich skali. W tej samej ocenie GPT-4o Realtime uzyskał 55. Nie osiągnęliśmy tego wyniku przez dostrajanie systemu w laboratorium. Poprawiał się on w oparciu o połączenia, które rzeczywiście obsługiwał, a tylko taki rodzaj poprawy ma znaczenie dla centrum kontaktowego.

W miarę jak agenci głosowi zaczynają nie tylko odpowiadać na pytania, lecz także wykonywać zadania, uzyskiwać dostęp do informacji o klientach i korzystać z systemów przedsiębiorstw, jak programiści powinni równoważyć autonomię z nadzorem człowieka? Jakie zabezpieczenia są niezbędne, by zbudować długoterminowe zaufanie do tych systemów?

Zacząłbym od pytania, co właściwie powierzasz agentowi. Umożliwienie mu sprawdzenia salda konta to zupełnie co innego niż pozwolenie mu na przelanie pieniędzy czy anulowanie usługi. Zakres uprawnień powinien to odzwierciedlać, a systemy, z którymi agent się łączy, muszą te uprawnienia egzekwować. Nie można pozostawić tego wyłącznie instrukcji zawartej w poleceniu.

Ludzie powinni też wiedzieć, na co się zgadzają. Zanim agent wprowadzi trudną do odwrócenia zmianę, powinien wyjaśnić jej konsekwencje i poprosić o potwierdzenie. Dzięki temu, gdy napotka problem, łatwo będzie włączyć do sprawy człowieka.

Problemy i tak będą się zdarzać. Kiedy do nich dojdzie, trzeba móc sprawdzić, co zrobił agent i na jakim etapie się zatrzymał, żeby ktoś mógł naprawić sytuację. Pewny siebie głos może sprawić, że założymy, iż system wie, co robi, ale na takie zaufanie trzeba sobie zasłużyć niezawodnym działaniem.

Higgs Realtime obsługuje ponad 100 języków i potrafi przełączać się między nimi w trakcie rozmowy. Jakie są największe wyzwania techniczne związane z zapewnieniem spójnej inteligencji konwersacyjnej w różnych językach, przy różnych akcentach i stylach komunikacji — zwłaszcza jeśli chodzi o rozumienie kontekstu emocjonalnego i intencji użytkownika?

Zasięg językowy brzmi jak lista, ale wcale nią nie jest. Jakiś czas temu klient potrzebował obsługi języka tajskiego. Mieliśmy częściowe wsparcie, ale szybko odkryliśmy, że tak naprawdę nie wiemy o tajskim zupełnie nic — choćby tego, że w piśmie tajskim praktycznie nie używa się interpunkcji. To podważa założenia dotyczące granic zdań, na których opiera się większość systemów rozpoznawania mowy. Mogliśmy odłożyć wejście na ten rynek. Zamiast tego znaleźliśmy informatyków mówiących po tajsku i odpowiednio przebudowaliśmy sposób obsługi tego języka.

Około sześć tygodni później byliśmy w Bangkoku, gdzie prezentowaliśmy system. Podczas pokazu nie potrafiłem ocenić, jak nam idzie — słuchałem, jak ludzie testują system w języku, którego nie znam — a potem usłyszałem, że wypadł dobrze, co było dla mnie ogromną ulgą. Konwencje komunikacyjne różnią się tak samo jak słownictwo. W języku japońskim słuchacze wtrącają krótkie potwierdzenia, gdy ktoś mówi, by pokazać, że nadążają za rozmową. Jeśli asystent za każdym razem przerywa, by oddać głos rozmówcy, burzy rytm konwersacji.

Słowa mogą być idealnie dobrane, a rozmowa i tak może się nie udać. Sposób, w jaki coś mówisz, jest równie ważny jak to, co mówisz. Dokładnie tych samych słów można użyć z czułością albo sarkazmem, a właściwa reakcja będzie zupełnie inna. Możliwość zachowania tonu i kontekstu, gdy język zmienia się w połowie zdania, to jedna z najciekawszych rzeczy w tej dziedzinie.

Firmy takie jak OpenAI i Google intensywnie inwestują w multimodalną sztuczną inteligencję działającą w czasie rzeczywistym. Jak wyspecjalizowana firma, taka jak Boson AI, może konkurować z organizacjami dysponującymi znacznie większymi zasobami obliczeniowymi? Gdzie dostrzega Pan największe możliwości wyróżnienia się pod względem architektury modeli, wydajności i ekonomiki wnioskowania?

Większa moc obliczeniowa nie oznacza automatycznie, że dobrze ją wykorzystujemy. Podczas rozmowy na żywo można wydać mnóstwo pieniędzy na uruchomienie bardzo wydajnego modelu tylko po to, by przetworzył czyjeś „hmm” albo „tak, chyba”. Taki model zużyje dużą część swoich możliwości, słuchając wypełniaczy. Moc obliczeniowa jest kosztowna i pochłania dużo energii; wnioskowanie również. Ostatecznie płaci za to klient.

Ludzie radzą sobie z tym, dzieląc uwagę. Możesz siedzieć w kawiarni i prowadzić nieco nudną rozmowę, a jednocześnie w głębi umysłu zastanawiać się, co ugotować na kolację. Świadoma część umysłu podtrzymuje rozmowę. Potem druga osoba zadaje naprawdę trudne pytanie i całkowicie się angażujesz, poświęcając mu całą uwagę. W ten sam sposób budujemy systemy konwersacyjne.

Niedrogi model obsługuje początkową część rozmowy, a kosztowniejsze rozumowanie i wywoływanie narzędzi wchodzą do gry dopiero wtedy, gdy zadanie rzeczywiście tego wymaga. Drugim ważnym elementem jest to, że kupiliśmy własną moc obliczeniową, zamiast ją wynajmować. Rachunek jest prosty: wystarczy pomnożyć godzinowy koszt instancji w chmurze przez liczbę godzin w roku, by otrzymać kwotę zbliżoną do ceny zakupu sprzętu na własność. Dla każdego komponentu osobno obliczyliśmy punkt opłacalności, a potem na tej podstawie zbudowaliśmy infrastrukturę. Było to trudniejsze, niż może się wydawać, i nie wszystko poszło idealnie. Pozwala nam to jednak uniknąć konkurowania przez samo zwiększanie skali, więc każdy postęp musi wynikać z lepszych danych i lepszej architektury. Okazało się też, że takie podejście nas chroni: komponenty, które wyceniono nam na mniej niż 100 000 USD, sześć miesięcy później kosztowały mniej więcej dwa razy tyle. Możemy działać szybko, bo jesteśmy małym zespołem skupionym na jednym zadaniu. Badacz może samodzielnie wziąć pomysł, przetestować go i wdrożyć w produkcie. Korzystamy też z dorobku otwartej społeczności badawczej i sami dokładamy do niego swoją cegiełkę, dzięki czemu mały zespół może osiągnąć znacznie więcej, niż sugerowałaby jego wielkość.

W swoich badaniach nad ProactBench analizuje Pan ważny aspekt inteligencji konwersacyjnej: rozpoznawanie potrzeb użytkowników, nawet gdy nie wyrazili ich wprost. Jak wyobraża Pan sobie rozwój agentów głosowych, którzy z reaktywnych asystentów staną się proaktywnymi współpracownikami? Gdzie powinny przebiegać granice między przewidywaniem potrzeb użytkowników a nadmierną ingerencją?

Załóżmy, że umawiasz się na wizytę u lekarza i na początku rozmowy wspominasz, że nie możesz prowadzić samochodu. Dobry asystent zapamięta tę informację i zaproponuje wizytę zdalną albo pomoże zorganizować transport. Nie powinieneś musieć powtarzać tej informacji.

Właśnie to badamy w ramach ProactBench — czy asystent potrafi wykorzystać przekazane mu informacje, by przewidzieć twoje potrzeby i zaoferować pomoc, o którą nie poprosiłeś bezpośrednio.

Oczywiście, być może masz już zapewniony dojazd na wizytę. Asystent powinien zaproponować taką możliwość i pozwolić ci zdecydować, zamiast zakładać, że zna twoje plany. Chciałbym, żeby te systemy oszczędzały ludziom wysiłku, ale pozostawiały im kontrolę nad tym, co się dzieje.

Czy uważa Pan, że w perspektywie pięciu lat głos stanie się głównym interfejsem, za pośrednictwem którego ludzie będą korzystać ze sztucznej inteligencji i oprogramowania? Jeśli tak, jak ta zmiana może wpłynąć na tradycyjne aplikacje, oprogramowanie dla firm oraz rolę ekranów i graficznych interfejsów użytkownika?

Spodziewam się, że będziemy znacznie częściej rozmawiać z komputerami, nierzadko także korzystając z obrazu wideo. Gdy widzisz, że ktoś ma zdezorientowaną minę, wiesz, że być może trzeba coś wyjaśnić inaczej. Nasza prezentacja audio-wideo pokazuje początki tego rodzaju interakcji: sztuczna inteligencja reaguje zarówno na to, co widzi, jak i na to, co słyszy.

Do pisania kodu nadal wolę używać klawiatury, a gdy porównuję informacje, mogę chcieć mieć je na ekranie, żeby spokojnie przejrzeć je we własnym tempie.

W przypadku oprogramowania biznesowego wyobrażam sobie, że zadanie można rozpocząć od wyjaśnienia, czego potrzebuję, a następnie przejrzeć wynik na ekranie i wprowadzić w nim zmiany bezpośrednio. Myślę, że w ciągu najbliższych pięciu lat przechodzenie między tymi sposobami pracy stanie się znacznie łatwiejsze. Można będzie rozmawiać wtedy, gdy jest to wygodne, a korzystać z ekranu, gdy potrzebna jest precyzja.

Dziękuję za świetny wywiad. Czytelnicy, którzy chcą poznać konwersacyjną sztuczną inteligencję głosową i głosowych agentów dla przedsiębiorstw, powinni odwiedzić Boson AI.