Alex Smola，Boson AI 联合创始人——访谈系列

Alex Smola是 Boson AI 的联合创始人，负责对话式语音 AI 和多模态系统。他的职业生涯涵盖在 Carnegie Mellon University 从事学术研究，以及在 AWS 推进大规模 AI 项目。他将研究与产品开发方面的经验结合起来，打造能够理解对话线索、应对打断并完成实用任务的助手。

Boson AI致力于开发用于语音、音频和多模态交互的基础模型与工具。其 Higgs Realtime 模型支持实时语音对语音交流，而更广泛的平台还包括富有表现力的语音生成、虚拟形象和企业级语音代理。在本次访谈中，Smola 谈到了对话智能、多语言表现、推理经济性，以及将语音代理引入实际业务工作流程所需的防护措施。

您的职业生涯从 Carnegie Mellon University 的学术研究，发展到在 AWS 领导大规模 AI 项目，如今又共同创立了 Boson AI。是什么促使您专注于对话式语音 AI？您希望克服人机交互中的哪些根本局限？

人类交流所传达的信息远不止言语。你能从一个人的语气中听出犹豫，也能看出对方是否没听懂解释。对方简单回应一声，就可能是在告诉你继续说下去。我们无需刻意思考就能捕捉这些线索，但教会计算机识别它们仍在不断探索中。

这正是我觉得这个领域如此有趣的原因。如今的系统已经具备相当强的智能，但与它们交流仍可能让人觉得不太自然。我希望人们能够用自己的话说明需求，而不必先琢磨该如何与软件对话。

在 AWS 工作时，我学会了密切关注客户想要完成什么，以及产品是否帮助他们实现了目标。我们把这种做法带到了 Boson，同时也能随着研究进展快速行动。

语音和视频为我们提供了更多信息。如果有人显得困惑或有所迟疑，助手就有机会在对话偏离正轨之前作出回应。把这些日常互动处理好，是我们远大目标的重要组成部分。

Boson AI 最近推出了 Higgs Realtime，旨在实现自然、实时的语音对语音交互。这种方法与传统的语音识别、语言模型和语音合成组合系统有何根本区别？这种区别为何对 AI 助手的未来至关重要？

在传统流程中，语音识别会先把你说的话转换成文本，语言模型再生成回答，最后由语音模型将回答读出来。每个步骤都依赖前一个步骤，因此对话可能显得迟缓、不连贯。

Higgs Realtime是一款以音频为原生输入输出、专为实时交互打造的语音对语音模型。它的训练涵盖对话行为，包括轮流发言和应对不断变化的请求。这与给文本聊天机器人加上语音截然不同。

想想你向别人提出一个棘手问题时的情形。对方可能一边着手处理，一边说：“我查一下。”你知道对方听到了你的问题，也正在处理。AI 助手在检索信息或使用工具时也应该这样做，让你不必猜测它究竟听懂了你的话，还是已经停止工作。

任务耗时较长时，这一点就更加重要。助手在处理任务时需要及时告知进展；如果你提出问题或改变主意，它也需要作出回应。

对话式 AI 面临的最大挑战之一，是判断何时该开口、何时该倾听，以及如何应对打断或话题转向。Boson AI 正在如何解决这些挑战？在 AI 对话真正变得自然之前，还需要哪些技术突破？

回应和打断听起来可能很相似，但需要作出不同的应对。你说话时，如果有人说“嗯”，对方可能是想让你继续说。如果对方纠正了电话号码中的一个数字，你就需要停下来并改用正确的号码。AI 助手应该能够分辨两者。

Higgs Realtime 会结合对方所说内容的含义，判断对方是已经说完，还是只是在停顿。快速回应固然重要，懂得如何回应也同样重要。

要始终准确地做到这一点仍然相当困难。人们的发言并不会整齐地轮流进行，同样的话在不同的对话情境中也可能有不同含义。助手必须理解发生了什么变化，并记住自己正在做什么。

Boson AI 开发了 IHBench 等基准测试，用来衡量语音代理在受到打断后如何恢复。评测揭示了当今领先语音模型的哪些弱点？整个行业又应如何重新思考衡量对话智能的方式？

我们开发了 IHBench，用来测试语音智能体被打断后会发生什么。如果用户在预约流程进行到一半时更正了某项信息，智能体就应该接受更正，并从正确的步骤继续。用户不应该被迫从头再来，也不该再听一遍智能体已经提供过的信息。测试结果因模型和打断类型而异，差别很大。有一项发现，我们并不太愿意公布：总体而言，闭源权重系统处理打断的表现更好；而且，打断发生在对话越靠后的位置时，它们的表现也越稳定。

开放生态中确实存在这一明显差距，我们宁愿公开衡量它，也不愿假装它不存在。这也是该基准测试存在的主要原因。没人就如何衡量某个差距达成共识，就无法弥合这一差距。我们发布这项基准测试时，并没有纳入自己的模型。后来我们加入了自己的模型，Higgs Realtime 的恢复质量得分为 71.2，高于 GPT Realtime 1.5 的 65.5、GPT Realtime 2 的 62.4，以及 Gemini 3.1 Flash Live 的 61.1。这说明这一差距能够弥合，而且一款开放权重模型已经弥合了它。

我宁愿在一项由我们设计、难度很高的测试中展示这一点；在发布测试时，我们还没有任何可供展示的成果。更广泛地说，我认为这个领域衡量的并不是正确的东西。语音听起来可以非常自然，但仍然无法胜任任务，因为真正重要的检验标准，是智能体能否完成任务。如果你不得不一再提醒它自己正在做什么，那么语音听起来有多好，很快就不重要了。

令人印象深刻的语音 AI 演示，与能够自主处理真实客户互动的智能体之间存在显著差异。两者的区别是什么？在企业能够放心地将语音智能体部署到业务关键工作流程之前，哪些能力还需要提升？

你上一次打电话给有线电视公司并觉得愉快，是什么时候？对大多数人来说，答案是从来没有。你会被转接给一个又一个客服人员，每次都得重新说明自己的姓名、出生日期和遇到的问题，好让下一位客服人员再把这些信息问一遍。现在想想，第四次为同一个问题打电话时，你会希望智能体知道前三次通话中发生了什么。如果重启路由器没有解决问题，也许就该派技术人员上门了，而且你不该还得自己解释为什么需要这样做。要做到这一点，智能体需要访问你的账户历史记录，以及预约上门服务的系统。

预约失败时，它也必须能够妥善应对，并知道何时该将你转接给真正能解决问题的人。企业在让智能体接听客户来电之前，需要针对这些情况进行测试。此外，还要考虑运行成本。一个系统即使能出色地完成演示，也可能贵到无法承担每天处理数千通电话的费用。因此，效率是做好业务部署准备的一部分，而不是一个可以单独考虑的问题。

几个月来，我们一直在与一家全球保险公司运行这个完全相同的场景。这并不是一个与真实系统并行运行的试点项目。该系统在他们的联络中心，与人工销售人员并肩工作，处理呼入和呼出的真实客户对话。它能同时处理数千通电话，成本约为人工客服的三分之一。

比起成本，更让我感兴趣的是，系统能够在实际运行中不断改进。刚开始时，他们根据自己的评估体系给我们的对话质量打了 30 分。五个月后，得分升到了 80 分，这也是他们给合格人工电话营销人员的分数。GPT-4o Realtime 在同一评估中的得分是 55。我们并不是在实验室里通过调优才取得这一进步的。系统是在实际处理的通话中不断变得更好，而这正是联络中心唯一关心的改进方式。

随着语音智能体从回答问题扩展到执行任务、访问客户信息并与企业系统交互，开发者应如何在自主性与人工监督之间取得平衡？要在这些系统中建立长期信任，哪些安全措施必不可少？

我会先问，你信任智能体去做什么。让它查询账户余额，与允许它转账或取消服务，是完全不同的事情。权限应当与任务相匹配，它所连接的系统也必须负责执行这些权限。不能把这一切都寄托在提示词中的一条指令上。

用户也应该清楚自己同意了什么。在智能体要进行难以撤销的更改之前，它应该说明可能产生的后果，并征求用户确认。这样一来，智能体遇到困难时，就能顺利转由人工介入。

问题仍然会发生。发生问题时，你需要能够查看智能体做了什么、停在了哪里，这样才有人可以纠正问题。语音听起来很有把握，可能会让我们以为系统知道自己在做什么；但我们必须通过系统一贯可靠的表现，来赢得这种信任。

Higgs Realtime 支持 100 多种语言，也能够在对话过程中切换语言。要在不同语言、口音和交流风格之间实现一致的对话智能，最大的技术挑战是什么？尤其是在理解情绪背景和用户意图方面，有哪些难点？

语言覆盖听起来像一张清单，但事实并非如此。不久前，有位客户需要泰语支持。我们当时只覆盖了部分泰语，最先发现的是，我们对真正的泰语几乎一无所知——比如，泰语书写基本没有标点符号。这打破了大多数语音系统赖以构建的句子边界假设。我们本可以暂缓进入这个市场，但我们没有这么做，而是找到会说泰语的计算机科学家，重新设计了处理方式。

大约六周后，我们就在曼谷演示这项技术了。演示时，我听着人们用一种我不会说的语言测试系统，完全无法判断进展如何。结束后，他们说效果不错，这让我如释重负。不同语言的惯例差异和词汇差异一样大。日语中，人们会在对方说话时不时简短应和，表示自己在认真听。如果助手每次都停下来让出话轮，就会破坏对话的节奏。

即使用词完全正确，对话仍可能失败。表达方式和表达内容同样重要。同样的话，你可以带着亲切的语气说，也可以带着讽刺的语气说，而合适的回应会截然不同。在一句话说到一半时语言发生变化，系统仍能把握语气和上下文；这正是让我觉得这项工作特别有意思的重要原因。

OpenAI 和 Google 等公司正在大力投资实时多模态 AI。像 Boson AI 这样的专业公司，如何与计算资源远为雄厚的机构竞争？在模型架构、性能和推理成本方面，你认为最大的差异化机会在哪里？

算力更多，并不意味着就能用得更好。在实时对话中，你可能要花很多钱运行一个非常强大的模型，只为了处理某人说的一句“嗯”或“是啊，大概吧”。这个模型的大量智能就这样耗在听这些填充语上了。大脑的成本很高，能耗也很大，推理同样如此。最终，这笔费用由客户承担。

人类通过分配注意力来解决这个问题。你可以坐在咖啡馆里，进行一场稍显无聊的交谈，同时在脑海深处盘算晚饭做什么。注意力的前台负责维持对话。接着，对方问了一个确实很难的问题，你便会全神贯注，把所有精力都投入其中。我们构建对话系统时也采用同样的方式。

由成本较低的模型负责对话前台，只有在任务确实需要时，才调用成本较高的推理能力和工具。另一方面，我们选择购买算力，而不是租用。账目并不复杂：把云实例的每小时费用乘以一年的小时数，所得金额就接近直接购买硬件的成本。我们逐个组件算出了盈亏平衡点，并以此为基础开始建设。实际情况比说起来要棘手得多，也并非事事顺利。但这样一来，我们就不必依赖蛮力扩张，所有提升都必须来自更好的数据和架构。事实证明，这也保护了我们：报价不到 10 万美元的组件，六个月后价格涨到了大约两倍。我们行动迅速，是因为团队规模小，而且专注于一件事。研究人员可以自己提出想法、进行测试，并将其投入产品。我们也受益于开放研究社区，并回馈这个社区；这让小团队能够做到远超其规模所能预期的事情。

你们对 ProactBench 的研究探讨了对话智能的一个重要维度：即使用户没有明确提出需求，也能识别他们需要什么。你认为语音智能体将如何从被动响应的助手发展为主动协作的伙伴？在预测用户需求与越界之间，又应当如何划定界限？

比如说，你正在预约医生，谈话刚开始时提到自己不会开车。好的助手会记住这一点，建议你预约远程就诊，或者帮你安排交通。你不应该还得重复提供这些信息。

这正是我们通过 ProactBench 研究的内容：助手能否利用你告诉它的信息，预先判断你的需求，并主动提供你没有直接提出的帮助。

当然，你可能已经安排好了去预约就诊的交通。助手应该提供这个选项，让你自己决定，而不是自以为了解你的安排。我希望这类系统能为人们省力，同时让他们掌控事情的发展。

展望未来五年，你认为语音会成为人们与 AI 和软件交互的主要界面吗？如果会，这种转变可能如何重塑传统应用、企业软件，以及屏幕和图形用户界面的作用？

我认为我们会更多地与计算机交谈，而且经常还会结合视频。当你看到有人面露困惑，就会知道可能需要换种方式解释。我们的音视频演示展现了这类交互的雏形：AI 不仅会回应听到的内容，也会回应看到的内容。

写代码时，我还是更喜欢用键盘；如果要比较信息，我可能会希望把信息放在屏幕上，这样就能按照自己的节奏浏览。

对于商业软件，我可以想象这样一种任务处理方式：先说明自己的需求，再在屏幕上查看结果并直接进行修改。我认为，未来五年里，在这些工作方式之间切换将会容易得多。你可以在方便的时候通过对话交流，需要精确操作时则使用屏幕。

感谢这次精彩的访谈。希望进一步了解对话式语音 AI 和企业级语音代理的读者，可以访问 Boson AI。