Boson AI 공동 창업자 Alex Smola – 인터뷰 시리즈

Alex Smola는 Boson AI의 공동 창업자로, 대화형 음성 AI와 멀티모달 시스템을 개발하고 있다. 그의 경력은 Carnegie Mellon University에서의 학술 연구부터 AWS의 대규모 AI 프로젝트까지 아우른다. 그는 연구와 제품 개발을 모두 경험한 이력을 바탕으로 대화의 단서를 이해하고, 대화 중 끼어들기에 대응하며, 유용한 작업을 수행할 수 있는 어시스턴트를 만들고 있다.

Boson AI는 음성, 오디오, 멀티모달 상호작용을 위한 기반 모델과 도구를 개발한다. Higgs Realtime 모델은 실시간 음성 대 음성 대화를 지원하며, 더 폭넓은 플랫폼에는 표현력이 풍부한 음성 생성, 아바타, 기업용 음성 에이전트가 포함된다. 이번 인터뷰에서 Smola는 대화 지능, 다국어 성능, 추론 비용, 그리고 음성 에이전트를 실제 비즈니스 업무 흐름에 도입하는 데 필요한 안전장치에 관해 이야기한다.

학술 연구를 수행한 Carnegie Mellon University에서 대규모 AI 프로젝트를 이끈 AWS를 거쳐, 이제 Boson AI를 공동 창업하기까지 경력이 이어졌습니다. 대화형 음성 AI에 집중하게 된 계기는 무엇이며, 인간과 AI의 상호작용에서 어떤 근본적인 한계를 극복하고자 하십니까?

사람은 말보다 훨씬 많은 것을 통해 소통합니다. 상대방의 목소리에서 망설임을 듣거나 설명을 이해하지 못했다는 사실을 표정으로 알아차릴 수 있습니다. 짧은 맞장구만으로도 계속 말해도 된다는 신호를 보낼 수 있습니다. 우리는 이런 단서를 무의식적으로 파악하지만, 컴퓨터가 이를 알아차리도록 가르치는 일은 여전히 진행 중입니다.

바로 그런 점 때문에 저는 이 분야가 무척 흥미롭습니다. 이제 상당한 지능을 갖춘 시스템이 등장했지만, 여전히 시스템과 소통하는 일은 어색하게 느껴질 수 있습니다. 사람들이 소프트웨어와 어떻게 대화해야 할지 고민하지 않고도 자기 말로 필요한 것을 설명할 수 있기를 바랍니다.

AWS에서 일하며 고객이 무엇을 하려는지, 제품이 그 일을 돕는지를 세심하게 살펴보는 법을 배웠습니다. 연구가 발전함에 따라 빠르게 움직일 수 있는 자율성을 갖추고, 이러한 접근 방식을 Boson에도 적용했습니다.

음성과 영상은 활용할 수 있는 정보를 더 많이 제공합니다. 상대방이 혼란스러워 보이거나 머뭇거리면, 대화가 엉뚱한 방향으로 흘러가기 전에 어시스턴트가 대응할 수 있습니다. 일상적인 상호작용을 제대로 구현하는 일은 우리의 중요한 목표입니다.

Boson AI는 최근 자연스러운 실시간 음성 대 음성 상호작용을 구현하도록 설계된 Higgs Realtime을 선보였습니다. 이 방식은 음성 인식, 언어 모델, 음성 합성을 결합하는 기존 시스템과 근본적으로 무엇이 다르며, 그 차이가 AI 어시스턴트의 미래에 중요한 이유는 무엇입니까?

기존 파이프라인에서는 음성 인식이 사용자의 말을 텍스트로 변환하고, 언어 모델이 답변을 생성한 뒤, 음성 모델이 이를 소리 내어 읽습니다. 각 단계가 앞선 단계의 결과에 의존하므로 대화가 느리고 매끄럽지 않게 느껴질 수 있습니다.

Higgs Realtime은 실시간 상호작용을 위해 만들어진 오디오 기반 음성 대 음성 모델입니다. 이 모델은 발화 순서를 주고받고 요청의 변화에 대응하는 등 대화 행동을 다루도록 학습됩니다. 이는 텍스트 챗봇에 음성만 입히는 것과는 매우 다릅니다.

누군가에게 어려운 질문을 했을 때를 떠올려 보세요. 상대방은 답을 찾는 동안 “잠깐 찾아볼게요”라고 말할 수 있습니다. 그러면 상대방이 질문을 듣고 답을 찾고 있다는 걸 알 수 있습니다. AI 어시스턴트도 정보를 검색하거나 도구를 사용하는 동안 그렇게 해야 합니다. 그래야 어시스턴트가 내 말을 이해했는지, 아니면 작동을 멈췄는지 궁금해하며 기다릴 필요가 없습니다.

작업이 길어질수록 이는 더욱 중요해집니다. 어시스턴트는 작업하는 동안 진행 상황을 알려야 하며, 사용자가 질문하거나 마음을 바꾸면 이에 대응해야 합니다.

대화형 AI의 가장 큰 과제 중 하나는 언제 말하고 언제 들어야 하는지, 그리고 끼어들기나 대화 방향의 변화에 어떻게 대응할지를 아는 것입니다. Boson AI는 이러한 과제를 어떻게 해결하고 있으며, AI와의 대화가 진정으로 자연스럽게 느껴지려면 어떤 기술적 돌파구가 더 필요합니까?

맞장구와 끼어들기는 소리가 매우 비슷할 수 있지만, 서로 다른 방식으로 대응해야 합니다. 상대방이 내가 말하는 동안 “응”이라고 하면 계속 말해 달라는 뜻일 수 있습니다. 전화번호의 숫자를 정정한다면 말을 멈추고 올바른 번호를 사용해야 합니다. AI 어시스턴트는 이 차이를 구분할 수 있어야 합니다.

Higgs Realtime은 상대방이 말을 마쳤는지, 아니면 잠시 멈춘 것인지를 판단할 때 발화의 의미를 활용합니다. 신속하게 응답하는 것도 중요하지만, 어떻게 응답할지 아는 것 역시 중요합니다.

이런 판단을 일관되게 해내는 일은 여전히 상당히 어렵습니다. 사람들은 깔끔하게 차례를 나눠 말하지 않으며, 같은 말도 대화의 맥락에 따라 의미가 달라질 수 있습니다. 어시스턴트는 무엇이 바뀌었는지 이해하고 자신이 하던 일을 기억해야 합니다.

Boson AI는 음성 에이전트가 대화 중 끼어들기에 어떻게 대응하는지 측정하기 위해 IHBench와 같은 벤치마크를 개발했습니다. 이러한 평가를 통해 오늘날 선도적인 음성 모델의 약점은 무엇으로 드러났으며, 업계는 대화 지능을 측정하는 방식을 어떻게 다시 생각해야 합니까?

음성 에이전트가 누군가의 말을 듣고 대화가 중단된 뒤 어떤 일이 벌어지는지 알아보기 위해 IHBench를 만들었습니다. 예약을 진행하다가 중간에 내용을 정정하면, 에이전트는 정정 사항을 반영하고 올바른 지점부터 계속 진행해야 합니다. 처음부터 다시 시작하거나 이미 안내받은 내용을 또 들어야 해서는 안 됩니다. 결과는 모델과 중단 유형에 따라 크게 달랐습니다. 특히 공개하기가 썩 유쾌하지 않았던 한 가지 결과는, 가중치를 공개하지 않는 시스템이 대체로 대화 중단에 더 잘 대응했고 대화가 더 많이 진행된 시점에 중단되더라도 성능을 더 잘 유지했다는 점입니다.

이는 오픈 생태계에 실제로 존재하는 격차이며, 없는 척하기보다는 이를 공개적으로 측정하는 편이 낫다고 생각합니다. 벤치마크를 만든 가장 큰 이유도 바로 여기에 있습니다. 어떻게 측정할지 합의된 적이 없는 격차는 좁힐 수 없습니다. 처음 벤치마크를 공개했을 때는 우리 모델을 포함하지 않았습니다. 이후 모델 하나를 포함했을 때 Higgs Realtime은 복구 품질에서 71.2점을 받아 GPT Realtime 1.5의 65.5점, GPT Realtime 2의 62.4점, Gemini 3.1 Flash Live의 61.1점보다 높은 점수를 기록했습니다. 즉, 이 격차는 좁힐 수 있으며 오픈 웨이트 모델이 실제로 격차를 좁혔습니다.

우리가 어려운 시험을 설계하고 그 시험에서 보여줄 만한 결과가 나오기도 전에 공개했다는 점을 통해 이를 보여주는 편이 낫겠습니다. 좀 더 넓게 보면, 이 분야는 잘못된 것을 측정하고 있다고 생각합니다. 음성이 아무리 자연스럽게 들려도 맡은 일을 해내지 못할 수 있습니다. 중요한 평가 기준은 에이전트가 작업을 완료하는지 여부이기 때문입니다. 에이전트에게 계속해서 무슨 일을 하던 중이었는지 상기시켜야 한다면, 음성이 얼마나 그럴듯한지는 금세 중요하지 않게 됩니다.

인상적인 음성 AI 시연과 실제 고객 응대를 처리할 수 있는 자율 에이전트 사이에는 상당한 차이가 있습니다. 둘을 가르는 것은 무엇이며, 기업이 비즈니스에 핵심적인 업무 흐름에 음성 에이전트를 안심하고 도입하려면 어떤 역량이 먼저 개선되어야 할까요?

케이블 회사에 전화해서 마지막으로 기분 좋았던 때가 언제인가요? 대부분의 사람에게 그런 적은 한 번도 없습니다. 한 상담원에게서 다음 상담원에게로 연결될 때마다 이름과 생년월일, 문제를 다시 설명해야 하고, 다음 상담원은 그 모든 내용을 또 물어봅니다. 같은 문제로 네 번째 전화하는 상황을 생각해 보세요. 상담원이 앞선 세 번의 통화에서 무슨 일이 있었는지 알고 있기를 바라게 됩니다. 라우터를 재부팅해도 해결되지 않았다면 이제 기술자를 보내야 할 수도 있습니다. 이를 직접 일일이 설명하지 않아도 되어야 합니다. 에이전트가 그렇게 하려면 고객 계정 이력에 접근할 수 있어야 하고, 방문 일정을 예약하는 시스템도 이용할 수 있어야 합니다.

예약이 실패했을 때도 대응할 수 있어야 하며, 실제로 문제를 해결할 수 있는 상담원에게 언제 연결해야 하는지도 알아야 합니다. 기업은 에이전트에게 고객 전화를 맡기기 전에 이런 상황을 시험해야 합니다. 운영 비용도 고려해야 합니다. 시연에서는 훌륭하게 작동하는 시스템이라도 하루 수천 통의 전화를 처리하려면 비용이 지나치게 많이 들 수 있습니다. 따라서 효율성은 사업 운영에 대비하기 위한 필수 요소이지, 별개의 고려 사항이 아닙니다.

우리는 글로벌 보험사와 함께 이와 똑같은 시나리오를 몇 달째 운영하고 있습니다. 실제 시스템과 나란히 놓고 진행하는 시험이 아닙니다. 해당 보험사의 콜센터에서 실제 고객과의 인바운드 및 아웃바운드 통화를 처리하며, 인간 영업 상담원과 함께 일하고 있습니다. 인간 상담원 비용의 대략 3분의 1로 수천 건의 통화를 동시에 처리합니다.

비용보다 더 흥미로운 점은 시스템이 실제 운영 환경에서 개선되었다는 것입니다. 운영을 시작했을 때 해당 보험사의 자체 평가에서 우리 대화 품질 점수는 30점이었습니다. 5개월 후에는 80점으로 올랐는데, 이는 해당 보험사가 자격을 갖춘 인간 텔레마케터에게 부여하는 점수입니다. 같은 평가에서 GPT-4o Realtime은 55점을 받았습니다. 연구실에서 시스템을 조정해 그런 성과를 낸 것이 아닙니다. 실제로 처리하고 있던 통화를 통해 시스템이 개선된 것입니다. 콜센터가 중요하게 여기는 개선은 오직 이런 종류입니다.

음성 에이전트가 질문에 답하는 수준을 넘어 작업을 수행하고 고객 정보에 접근하며 기업 시스템과 상호작용하게 되면, 개발자는 자율성과 사람의 감독 사이에서 어떻게 균형을 잡아야 할까요? 이러한 시스템에 대한 장기적인 신뢰를 구축하는 데 꼭 필요한 안전장치는 무엇일까요?

먼저 에이전트가 어떤 일을 하도록 맡길 것인지 생각해 보겠습니다. 계좌 잔액을 조회하게 하는 것과 돈을 이체하거나 서비스를 해지하도록 허용하는 것은 전혀 다릅니다. 권한은 그 차이를 반영해야 하고, 에이전트가 연결되는 시스템도 해당 권한을 강제해야 합니다. 이 모든 것을 프롬프트에 적힌 지시 하나에만 맡길 수는 없습니다.

사람들은 자신이 무엇에 동의하는지도 알아야 합니다. 에이전트가 되돌리기 어려운 변경을 하기 전에는 그 결과를 설명하고 확인을 요청해야 합니다. 그래야 에이전트가 막혔을 때 사람에게 손쉽게 넘길 수 있습니다.

그래도 문제가 생길 수 있습니다. 그럴 때는 누군가가 바로잡을 수 있도록 에이전트가 무엇을 했고 어디에서 멈췄는지 확인할 수 있어야 합니다. 자신감 넘치는 목소리를 들으면 시스템이 무엇을 하는지 알고 있다고 여기기 쉽지만, 그 신뢰는 시스템이 얼마나 안정적으로 작동하는지를 통해 얻어야 합니다.

Higgs Realtime은 대화 중에 언어를 바꾸는 기능을 포함해 100개가 넘는 언어를 지원합니다. 특히 감정적 맥락과 사용자의 의도를 이해할 때, 서로 다른 언어와 억양, 의사소통 방식 전반에서 일관된 대화 지능을 구현하려면 어떤 기술적 과제를 해결해야 할까요?

언어 지원 범위는 목록처럼 들리지만, 실제로는 그렇지 않습니다. 얼마 전 한 고객이 태국어 지원을 원했습니다. 태국어를 일부 지원하고 있었지만, 처음으로 깨달은 것은 태국어 자체에 대해 아는 것이 거의 전혀 없다는 사실이었습니다. 예를 들어 태국어 문어에는 사실상 문장 부호가 없습니다. 이는 대부분의 음성 시스템이 기반으로 삼는 문장 경계에 대한 가정을 무너뜨립니다. 시장 진출을 미룰 수도 있었습니다. 하지만 대신 태국어를 구사하는 컴퓨터 과학자들을 찾아 처리 방식을 제대로 다시 구축했습니다.

약 6주 뒤, 우리는 방콕에서 시스템을 시연하고 있었습니다. 시연 중에는 제가 그 진행 상황을 전혀 파악할 수 없었습니다. 제가 할 줄 모르는 언어로 사람들이 시스템을 시험하는 모습을 듣고 있었기 때문입니다. 그런데 시연이 끝난 뒤 사람들이 좋았다고 말해 주어 무척 안심했습니다. 관습은 어휘만큼이나 서로 다릅니다. 일본어에서는 상대의 말을 잘 따라가고 있다는 것을 보여 주기 위해 듣는 사람이 말하는 도중에 짧게 맞장구를 칩니다. 매번 어시스턴트가 멈춰 상대에게 발언권을 넘긴다면 대화의 흐름이 깨집니다.

말 자체는 완벽해도 대화는 실패할 수 있습니다. 그리고 무슨 말을 하느냐만큼이나 어떻게 말하느냐도 중요합니다. 똑같은 말을 다정하게 할 수도, 비꼬듯이 할 수도 있는데, 그에 적절한 반응은 완전히 달라집니다. 문장 중간에 언어가 바뀌더라도 말투와 맥락을 유지하는 것이 제가 이 분야를 흥미롭게 생각하는 큰 이유입니다.

OpenAI와 Google 같은 기업들은 실시간 멀티모달 AI에 막대한 투자를 하고 있습니다. Boson AI처럼 전문 분야에 집중하는 기업은 훨씬 더 많은 컴퓨팅 자원을 보유한 조직들과 어떻게 경쟁할 수 있을까요? 모델 아키텍처, 성능, 추론 비용 측면에서 차별화를 이룰 가장 큰 기회는 어디에 있다고 보십니까?

컴퓨팅 자원이 더 많다고 해서 반드시 이를 잘 활용하고 있다는 뜻은 아닙니다. 실시간 대화에서 누군가가 “음”이나 “네, 아마도요”라고 말하는 것을 처리하는 데만 아주 강력한 모델을 돌리느라 큰돈을 쓸 수도 있습니다. 그러면 그 모델은 군더더기 표현을 듣는 데 지능의 상당 부분을 쓰게 됩니다. 두뇌는 비용이 많이 들고 에너지도 많이 소모하며, 추론도 마찬가지입니다. 결국 그 비용은 고객이 부담합니다.

사람은 주의를 나누어 이런 문제를 해결합니다. 커피숍에서 조금 지루한 대화를 나누면서도 마음 한편으로는 저녁에 무엇을 요리할지 생각할 수 있습니다. 마음의 한쪽은 대화에 집중합니다. 그러다 상대방이 정말 어려운 질문을 하면 온전히 몰입해 가진 역량을 전부 쏟습니다. 대화형 시스템도 같은 방식으로 만듭니다.

대화의 앞부분은 저렴한 모델이 처리하고, 실제로 필요한 경우에만 더 비싼 추론과 도구 호출이 이뤄집니다. 또 다른 핵심은 컴퓨팅 자원을 임대하지 않고 직접 구매했다는 점입니다. 계산은 복잡하지 않습니다. 클라우드 인스턴스의 시간당 비용에 1년의 시간을 곱하면 하드웨어를 완전히 구매하는 비용에 가까운 금액이 나옵니다. 우리는 부품별로 손익분기점을 계산한 뒤 그 결과를 토대로 구축했습니다. 말처럼 간단하지는 않았고 모든 일이 순조롭게 진행된 것도 아닙니다. 하지만 막대한 물량을 투입해 규모를 키우는 방식을 선택지에서 제외했기 때문에, 모든 성능 향상은 더 나은 데이터와 아키텍처에서 나와야 합니다. 이 결정은 우리를 보호하는 효과도 있었습니다. 10만 달러 미만으로 견적을 받았던 부품이 6개월 뒤에는 대략 두 배의 가격이 되었기 때문입니다. 우리는 한 가지에 집중하는 소규모 팀이어서 빠르게 움직일 수 있습니다. 연구자가 아이디어를 내고 시험한 뒤 직접 제품에 반영할 수 있습니다. 또한 공개 연구 커뮤니티의 혜택을 누리는 동시에 그 커뮤니티에 기여하고 있어, 작은 팀도 규모만으로는 예상하기 어려울 만큼 많은 일을 해낼 수 있습니다.

귀하의 연구 프로젝트인 ProactBench는 대화형 지능의 중요한 측면, 즉 사용자가 명시적으로 요청하지 않았을 때도 필요한 것을 알아차리는 능력을 탐구합니다. 음성 에이전트가 반응형 어시스턴트에서 능동적인 협력자로 발전해 나가는 모습을 어떻게 전망하십니까? 사용자의 필요를 미리 헤아리는 것과 지나치게 나서는 것 사이의 경계는 어디에 있어야 할까요?

의사 진료 예약을 하면서 대화 초반에 운전을 할 수 없다고 말했다고 가정해 보겠습니다. 좋은 어시스턴트라면 그 사실을 기억해 원격 진료를 제안하거나 교통편을 알아보도록 도와줄 것입니다. 같은 정보를 반복해서 말할 필요가 없어야 합니다.

이것이 바로 ProactBench를 통해 연구하는 내용입니다. 어시스턴트가 사용자가 말해 준 정보를 활용해 필요를 미리 헤아리고, 직접 요청하지 않은 도움을 제안할 수 있는지를 살펴봅니다.

물론 이미 진료 예약 장소까지 가는 교통편을 마련했을 수도 있습니다. 어시스턴트는 사용자의 계획을 안다고 단정하지 말고 선택지를 제안한 뒤 사용자가 결정하도록 해야 합니다. 이런 시스템이 사람들의 수고를 덜어 주면서도 상황을 통제하는 권한은 계속 사용자가 갖도록 하고 싶습니다.

앞으로 5년을 내다볼 때, 사람들이 AI와 소프트웨어를 이용하는 주된 인터페이스가 음성이 될 것이라고 보십니까? 그렇다면 이러한 변화는 기존 애플리케이션과 기업용 소프트웨어, 그리고 화면과 그래픽 사용자 인터페이스의 역할을 어떻게 바꿀까요?

사람들은 컴퓨터와 훨씬 더 자주 대화하게 될 것이며, 여기에 영상도 함께 활용하는 경우가 많아질 것으로 예상합니다. 상대방이 난처해하는 모습을 보면 설명을 다르게 해야 할 수도 있다는 점을 알 수 있습니다. 우리의 오디오·비디오 데모는 AI가 듣는 내용뿐 아니라 보는 내용에도 반응하는 상호작용의 초기 모습을 보여 줍니다.

코드를 작성할 때는 여전히 키보드를 선호합니다. 정보를 비교할 때도 제 속도에 맞춰 살펴볼 수 있도록 화면에 표시되기를 원할 수 있습니다.

비즈니스 소프트웨어의 경우, 필요한 작업을 설명하는 것으로 시작한 다음 화면에서 결과를 검토하고 직접 수정할 수 있을 것 같습니다. 앞으로 5년 동안은 이러한 작업 방식 사이를 오가는 일이 훨씬 쉬워질 것이라고 생각합니다. 편할 때는 음성으로 대화하고, 정확성이 필요할 때는 화면을 사용할 수 있겠죠.

멋진 인터뷰에 감사드립니다. 대화형 음성 AI와 엔터프라이즈 음성 에이전트를 살펴보고 싶은 독자라면 Boson AI를 방문해 보세요.