Anderson 视角

AI 可以帮助您更快地接通真人

mm
将 Unite.AI 添加到您在 Google 上的首选来源
A stock-style image of a smashed domestic landline phone, where the receiver has been thrust into the main phone body. Qwen, Qwen Edit 5209, Firefly V3 et al.

最新研究表明,开源 ChatGPT 风格的 AI 设置可以潜在地使用自然语言将呼叫者路由到呼叫中心的正确人员,无需遵循令人沮丧的菜单选项,这些选项每周都不同,似乎故意阻碍。

 

尝试在呼叫中心接通真人的过程可能是一种令人沮丧的经历,因为需要以缓慢的速度导航多个选择选项 – 通常没有确定哪个选项适合您的案例。 如果没有一个选项适合,经验丰富的用户往往会采用 技巧和变通方法 来获取人类顾问的访问权限,并逃离 ‘选项地狱’。 许多人会将其识别为更或 менее ‘战斗’ 和用户不友好的体验。

不出所料,呼叫中心处于 前沿,成为人工智能系统的增强或替代对象;尽管有些人 建议 采取谨慎的方法,但呼叫中心 AI 自动化仍然是 低垂的果实,成为科技头条和 AI 基础创新早期 ROI 的希望。

封闭商店

但是在某些领域,开源原则和免费可用的数据很少被应用或可用,这就是其中之一。 这是有道理的:任何对自动化客户响应系统感兴趣的公司将对分享数据、方法或企业知识产权的想法毫无兴趣。

首先,分享这些资源将使他们在竞争中失去优势;更重要的是,鉴于 AI 系统容易 泄露 特权信息,因此这是一个法律风险。

这导致了一些投资雄厚的玩家独立地开发 AI 辅助的呼叫中心响应系统;以及大量的 B2B 初创公司和成熟玩家,试图满足对 AI 驱动的客户响应能力日益增长的需求。

PolyAI 语音助手为虚构公司 'Augusta Lawn Care' 打开客户服务呼叫,利用大量的训练对话来自动化响应,通过现有的呼叫中心基础设施。来源:https://www.unite.ai/best-ai-phone-platforms/

PolyAI 语音助手为虚构公司 ‘Augusta Lawn Care’ 打开客户服务呼叫,利用大量的训练对话来自动化响应,通过现有的呼叫中心基础设施。 来源

此外,消除呼叫中心迷宫的挫败感已经证明是研究工作的动力;尽管大多数此类出版物往往发生在 Arxiv 和其他开放研究出版网络之外,符合 IVR 开发通常保密的性质。

相反,关于 AI 自动化客户响应系统的研究、数据和商业智能都被严密保护,几乎没有开放源代码选项可用 – 即使使用 FOSS 系统和数据提供了一个法律上合理的选择,也是值得怀疑的。

本地呼叫

考虑到这一点,看到一篇来自哥伦比亚的新论文试图将 IVR 从其企业金库中解放出来,至少有一点令人耳目一新。 这篇 新工作,一个简洁的条目,名为 超越 IVR 按键音:使用 LLMs 进行客户意图路由,来自位于波哥大的 Universidad Distrital Francisco José de Caldas 的一名研究人员,声称这是第一个非封闭项目,使用大型语言模型 (LLMs) 生成一个可用的客户意图路由 (CIR) 系统的模式。

与其尝试获取真实的呼叫数据或专有菜单树,这个新项目使用三个 AI 模型从头开始生成所有组件:一个用于发明现实的呼叫中心菜单;另一个用于模拟数百个呼叫者投诉;第三个用于尝试将这些投诉路由到正确的目的地。

结果是一个完全合成但令人信服的测试平台,具有一个虚构的电信公司,以及 920 个不同的用户查询,允许实验绕过法律风险,同时探索当前 AI 如何解释模糊、凌乱的语言,并将呼叫者连接到正确的人。

测试表明,该方案的系统可以将自由形式的呼叫者投诉与正确的呼叫中心目的地匹配,准确率最高可达 89.13%,尤其是在给出 ‘扁平化’ 菜单选项而不是冗长的描述时(稍后会详细介绍)。

研究还发现,当呼叫者使用更随意或多样化的语言时,AI 出错的次数更多;但有些错误并不是因为 AI 没有理解,而是因为电话菜单本身令人困惑。

客户交互的示例,作为新项目的一部分。[来源] https://figshare.com/articles/dataset/Beyond_IVR_Touch-Tones_Customer_Intent_Routing_using_LLMs/30118690

客户交互的示例,作为新项目的一部分。 来源

该项目的数据已 公开提供。

方法

三部分方法的第一个模型创建了一个虚构电信公司的详细电话菜单;第二个生成了独特的呼叫者消息 – 一些简单的,其他的重新措辞或更随意 – 来模拟人们在呼叫寻求帮助时实际说话的方式。 关于此,生成了 920 个示例用于该项目。

第三个模型的任务是仅根据消息和菜单的版本,将每个呼叫者连接到正确的部门。该模式允许实验完全可重复,同时避免了对真实呼叫数据或暴露客户信息的需求:

三系统的选择。[来源] https://arxiv.org/pdf/2510.21715

三系统的选择。 来源

使用的三个模型分别是 gpt-3.5-turbo;gpt-4o-mini;和 gpt-4.1-mini。

为了模拟一个令人信服的客户服务环境,需要从头开始合成一个复杂的电话菜单。由于相关数据集的匮乏,gpt-3.5-turbo 模型被提示生成一个全面的、多分支结构,用于一个虚构的电信提供商。

每个分支都配置为代表服务区域,例如 计费、技术 支持、帐户管理 和 新服务,具有现实的子选项和在树中变化的深度。从这个人工菜单中,创建了两个版本,用于稍后的测试:一个作为纯文本层次结构,模仿人类可能阅读整个菜单的方式;另一个作为具有自己按钮按压序列的端点列表。

这使得系统可以在两种版本的路由挑战中进行测试:

两个版本的电话菜单被提供给 AI:一个详细的文本层次结构和一个简化的直接菜单选项列表,比较每种格式如何支持路由呼叫者到正确的地方。

两个版本的电话菜单被提供给 AI:一个详细的文本层次结构和一个简化的直接菜单选项列表,比较每种格式如何支持路由呼叫者到正确的地方。

为了创建测试所需的呼叫者消息,使用第二个语言模型生成了一组原始投诉或请求,其中一些简单的、其他的重新措辞或更随意的,以模拟人们在呼叫寻求帮助时实际说话的方式。每个菜单端点都生成了 10 个独特的示例。

每一个都扩展为几个重新措辞的版本,以模拟真实呼叫者的语言范围,并引入了长度、语气,甚至一些小错误或 ‘填充’ 语言 的变化。

最初生成的 920 个呼叫者消息旨在测试系统的精度和模拟现实世界语言的不可预测性。

第三阶段测试了最终模型如何准确地将每个呼叫者消息映射到正确的菜单目的地,基于 IVR 系统的两种不同呈现方式(见上图)。

在第一种版本中,AI 被提供了电话树的完整、描述性的概述,包括每个分支和子选项,以文本形式呈现。在第二种版本中,它只看到一个最终目的地的列表,每个目的地都与一个按钮按压序列相关联。

目标是确定简化的菜单版本是否可以使模型更容易地决定每个呼叫应该转到哪里。在两种情况下,系统一次接收一个消息,并被要求仅返回 路径,不带任何额外的文字或解释,以便于自动评分。

隔离

为了避免污染测试结果,实验将每个模型与其他模型隔离:电话菜单由第一个模型草拟,但然后手动完成,以便它对其他系统保持未知。

呼叫者消息然后由 gpt-4o-mini 单独生成,仅使用端点名称,并且没有访问菜单结构。最后,gpt-4.1-mini,它处理路由,仅看到菜单文本和传入消息,并且没有参与创建任何一个。

指标

为了衡量路由系统的性能,使用了两个标准指标:准确率 被定义为模型返回正确路径(例如 1‑2‑3)的百分比。为了隔离错误的位置,还生成了混淆矩阵,显示每个路径被误认为是其他路径的频率。评估使用 pandas 和 scikit-learn 库在 Python 中执行。

结果

在测试中,模型的准确率严重依赖于电话菜单的呈现方式:当给出扁平化的菜单路径列表时,系统在更简单的数据集上达到了 89.13% 的准确率,相比之下,当使用完整的描述性菜单版本时,准确率为 81.30%:

第三个(LLM3)模型的路由准确率,跨不同的提示格式和数据集类型,表明扁平化的菜单路径始终优于层次描述,并且当输入增加了重新措辞或非正式语言时,准确率略微下降。

第三个(LLM3)模型的路由准确率,跨不同的提示格式和数据集类型,表明扁平化的菜单路径始终优于层次描述,并且当输入增加了重新措辞或非正式语言时,准确率略微下降。

这种模式也适用于更大的、语言更丰富的数据集,其中扁平化版本再次表现更好,得分为 86.52%,而描述性格式的得分为 77.07%。

这些结果,论文指出,表明更简单、基于列表的提示帮助模型更可靠地匹配查询,而不是长的层次描述。

准确率也略微下降,当引入了重新措辞和非正式版本的呼叫者消息时,表明更大的语言多样性提高了现实性,但也使分类更加困难。

该论文得出结论:

‘我们的结果表明,LLMs 在给出扁平化的 IVR 路径时更准确地路由意图(最高可达 89.13%),而不是冗长的菜单描述(低至 77.07%),这表明简洁、结构化的提示减少了噪音,并更好地适应了路由任务。 ‘

‘这支持了清晰和简洁提高了 LLMs 在分类设置中的性能的原则。 ‘

‘重要的是,将菜单转换为扁平化路径是一个简单、可自动化的过程,适用于实际使用。 ‘

结论

看到至少有一些开放工作正在进行,这是令人耳目一新的,尤其是在研究文献中最封闭和排他性的研究领域之一。仍待观察的是,是否需要 ‘框架’ 架构来上下文化 LLMs,还是模型只需要访问(本地可用的)商业智能,从而消除了与第三方提供商共享数据的需要。

最终,工作中的更广泛的设计原则似乎很可能被未来的 AI 系统自然采用,即使在客户服务以外的领域,也无需故意与该用例对齐。

 

* 请参阅原始论文获取这些信息。

首次发布于 2025 年 10 月 29 日星期三

机器学习撰稿人,专注于人类图像合成的领域专家。曾任 Metaphysic.ai 的研究内容负责人,直至其并入 DNEG 的 Brahma.ai。
网站: martinanderson.ai
联系:martin@martinanderson.ai