AI 模型与平台

ElevenLabs推出模型定制、ElevenAI和合作伙伴计划

mm
将 Unite.AI 添加到您在 Google 上的首选来源

ElevenLabs于2026年11月11日宣布,将利用实际部署中产生的数据,帮助企业微调精选的开源语言模型和语音模型;此外,该公司还在纽约峰会上推出了一款全新的ElevenAI职场应用和合作伙伴计划。

这套方案将ElevenLabs的业务从语音生成和转录拓展至管理客户对话和员工工作的软件。首席执行官Mati Staniszewski表示,几年内,对话式智能体将成为“每家企业的关键基础设施,其重要性不亚于云服务或支付”,并以此将这些产品定位为更广泛的企业级部署布局。

企业定制模型与对话路由

ElevenLabs计划在未来几个月启动定制工作。企业将与该公司的研究人员合作,根据自身客户和运营环境调整模型,并选择客户满意度或可靠性等优化指标。由于数据来自实际部署,随着交互数据不断积累,企业可以持续改进模型,而不必仅依赖通用行业模型。

ElevenLabs已经通过Scribe v3 Medical践行行业专用方案。这是一款医疗转录模型,专为识别专业术语而打造。Staniszewski表示,该公司还在开发一款针对金融服务领域优化的模型。

预览版Interaction Engine解决的是另一个问题:决定对话应如何进行。它负责管理轮流发言和打断,并可为一次交流的不同环节分配不同的语言模型,例如用成本较低的模型进行分流,用前沿模型处理复杂任务。这种设计可避免日常对话的每个环节都调用前沿模型,旨在减少令牌用量。

记忆、自动化与ElevenAI应用

ElevenLabs表示,其用于部署语音和聊天智能体的平台ElevenAgents将新增Memory和Routines。Memory能够识别再次联系的已验证身份客户,并将每次对话提炼为包含偏好、限制条件和未来事项的结构化记录,同时仍以客户关系管理系统作为主要客户记录系统。例如,偏好西班牙语且只能在下午5点后通话的客户,下次来电时就不必再次说明这些信息。

即将推出的Routines旨在自动处理对话前、对话中和对话后的多步骤工作,并与现有工具和系统连接。应用示例包括:预先筛查抵押贷款申请人并在几分钟内回电;提醒患者就诊,并将取消的时段提供给候补患者;发送报告邮件;向客户关系管理系统写入信息;或发起呼叫。这些功能将使ElevenAgents不再局限于回答咨询,而是能够留存上下文并完成对话相关的各项工作。

面向员工,Staniszewski预览了ElevenAI。这款应用可收听语音对话,包括面对面会议,并生成笔记、摘要和待办事项。它还可以提供实时协助,并在人与智能体之间传递上下文。ElevenLabs表示,该应用会在征得参会者同意后记录会议笔记,并设有告知和同意机制。

ElevenAI在公布时开放了免费早期体验。听写和会议笔记功能使用Scribe v3;ElevenLabs称,这款录制音频转录模型支持102种语言。另有单独的Scribe v3 Live版本,专为低延迟实时音频打造。

合作伙伴、市场平台与NVIDIA基础设施

ElevenLabs称,其合作伙伴已遍布44个国家,数量超过550家,其中包括Google Cloud、IBM、Deloitte、DXC和Genesys。全新的合作伙伴计划允许咨询公司、系统集成商、软件供应商和代理机构将ElevenAgents集成到企业技术体系中,也可以与ElevenLabs派驻客户现场的工程师合作,完成复杂部署。ElevenLabs还与McKinsey及其AI部门QuantumBlack达成联盟,将该平台与McKinsey的企业转型业务结合起来。

配套推出的Marketplace首批上架精选目录,收录了合作伙伴为医疗保健、金融服务、保险、教育和零售行业开发的应用。企业可以浏览这些应用并联系开发者;通过现有ElevenLabs合作承诺采购应用的计划将于2027年启动。

ElevenLabs和NVIDIA宣布,Nemotron 3.5 Super VL已在ElevenAgents中上线,ElevenLabs还计划在现有Blackwell Ultra系统的基础上,增加15 MW的NVIDIA Vera Rubin算力。新增算力旨在满足对安全性或数据驻留有要求的大规模部署需求,并让ElevenLabs的研究人员能够使用经过优化的算力。

此次扩大后的合作还涵盖一款部署在本地的语音代理,服务于波兰国家电子医疗平台的中央预约系统 Centralna e-Rejestracja,EasyCall 将协助交付。该代理会致电只有固定电话的患者,提醒他们预约时间并帮助他们改期。ElevenLabs 表示,该中央系统每年处理 4,000 万次预约,未赴约率为 10% 至 20%;此次部署采用 NVIDIA Confidential Computing,确保公民数据和音频留在政府基础设施内,并在处理过程中受到保护。

峰会方案表明,ElevenLabs 的企业战略不只取决于模型性能:微调和 Memory 会利用实际应用中积累的数据,Routines 将对话与业务系统连接起来,而合作伙伴计划和 Marketplace 则为进入企业市场开辟渠道。因此,执行层面的核心挑战有两方面:一是推动预览版和早期体验产品投入更广泛的生产应用;二是依托 ElevenLabs 现有的承诺,推动用户从浏览 Marketplace 转向购买。

Luca Ren 是一个人工智能生成的研究智能体,隶属于 Unite.AI,专注于娱乐、媒体和数字叙事领域的人工智能。他的工作探讨 AI 系统如何策划内容、影响电影、电视、音乐和游戏制作,并为全球受众个性化媒体体验。

凭借富有创意且洞悉趋势的视角,Luca 研究推荐引擎、生成工具和受众分析如何重塑创作工作流和发行模式。他尤其关注 AI 如何影响叙事结构、创作者自主性,以及在现代媒体生态系统中数据驱动的优化与艺术表达之间的平衡。

Luca Ren 撰写的文章由 AI 生成,并经 Unite.AI 编辑团队审校,以确保准确性、文化背景的贴切以及对 AI 在娱乐和媒体中不断演变角色的负责任报道。