AI的隐藏成本: “黑箱”模型如何侵蚀信任、预算和环境

AI行业面临模型设计问题。企业已经在成本、性能和可靠性方面感受到其影响。

AI可以说话——但它能倾听吗？ 

倾听远不止于单纯处理词语；它涉及解读信号并理解细微差别，以实时作出决策。但大多数“语音”模型是为转录标记而构建的，并未识别对话中隐藏的微妙含义。这导致它们遗漏了关键信息。 

在语音等环境中，情境、时机和连续输入至关重要。随着AI系统从演示走向实际应用，系统构建方式中的深层问题日益显现，企业已开始在成本、性能和可靠性方面感受到这些缺口的影响。 

当下AI的主流做法是优先采用更大、更通用的模型。但随着这些模型大规模部署，它们的局限性愈发难以忽视。它们持续运行成本高昂，难以解释和信任，且常常对所承担的任务效率低下。看似惊人的单次演示，在企业规模部署时可能会崩溃，因为系统需要同时具备响应性、效率和可理解性。

这种动态导致了一种权衡：理论上模型的功能更具可选性，但却以效率、透明度乃至可用性为代价。大规模运行庞大模型的成本不断上升，能源足迹（理所当然地）受到审视，系统本身也变得更难解释。在到达不可逆转的临界点之前，我们应自问：这真的是构建AI系统的最可持续方式吗？

为何通用AI模型本质上低效

行业向通用AI的推动产生了一种新型低效：无论复杂度如何，都使用同一重量级模型来处理每个问题或任务。这一想法颇具吸引力——单一系统能应对一切——但在实践中却是笨拙的工具。

并非每项任务都需要庞大模型。事实上，大多数任务并不需要。当组织依赖单体系统时，他们在每一次交互中都要为这种复杂性付费。简单决策与复杂决策消耗相同的计算开销，规模化后经济性很快失去意义。

在实时环境（如语音）中尤为如此，因为系统需要处理连续的数据流。对每一次交互的每一时刻都使用大型通用模型既昂贵又没有必要。这些模型部署得越广，低效就越累积。最终我们得到两害相兼的局面：系统运行成本过高，且在实际使用场景中功能受限。 

一个明显的例子出现在呼叫中心。许多组织希望在每一次客户交互中应用AI，但持续运行大型模型的成本使其不可行。正如麦肯锡在其Global Survey on AI中指出的，组织仍因成本和运营复杂性而难以大规模推广AI用例（举例而言，大型企业呼叫中心每天常处理5,000至15,000通客户电话，全年累计达数百万甚至数十亿次交互）。为管理这些量，他们只分析部分通话或依赖事后审查。下游影响可衡量：39%的组织报告因欺诈相关查询导致通话量上升，34%报告处理时间延长，29%报告员工生产力下降¹。结果是一个既过度强大又未被充分利用的系统：运行成本高昂，却无法提供全面覆盖或实时洞察。

这正是过度泛化成为负担的地方。当系统被设计为全能时，往往会以低效的方式完成每项任务。结果是规模化的计算资源浪费，在本可采用更简洁、针对性更强方案的场景中仍运行昂贵模型。随着组织更广泛地推动AI应用，这种低效迅速叠加，使得持续实时使用的合理性愈发难以证明。 

黑箱问题: 当AI无法自我解释时

随着模型变得愈加复杂，它们也变得更难以解释。许多情况下，AI系统能够提供mostly准确的输出，但几乎不透露这些决策是如何产生的，或导致剩余错误的原因。这种模糊性会拖慢负责根据模型结果采取行动的人员，失去最初加速所带来的优势。

在欺诈检测等领域尤为如此，决策必须实时作出。如果系统将通话标记为高风险却无法解释原因，就会在速度最关键的时刻产生犹豫。团队被迫在信任一个不完全了解的系统和实时进行二次判断之间做选择。两种选择都带来风险。随着AI深入运营工作流，实时理解并响应模型输出的能力成为核心需求，而非可有可无的附加功能。

这正是大型通用模型局限性更加显现的地方。其复杂性使得模型更难以审查、调试和适配。因此，组织面临的不仅是更高的成本，还要应对与实际决策流程不够匹配的系统。

何处失效: 真实世界中的实时AI

这些挑战——成本、低效、缺乏透明度——在孤立的用例中尚可应对。但在实时系统中，它们变得难以忽视，因为AI不仅生成输出，还在实时塑造决策。

语音是一个典型例子。不同于批处理或离线分析，语音交互是连续且时间敏感的。系统无法暂停、重新处理或事后升级决策；必须在当下即时运行。若AI系统将讽刺的“哦好，又一个AI”误解为积极评价，可能决定是保留还是失去客户，且必须在数秒内采取行动，赶在人工介入之前。这就要求模型在整个对话期间持续运行，并实时生成人类可立即采取的输出。

这正是当前范式开始崩溃之处。大型通用模型在该规模下运行成本高昂，且其输出往往过于不透明，难以支撑实时决策。因此，公司被迫作出妥协：仅分析部分交互、事后才作决定，或在速度与准确性至关重要的情境中依赖不完美的人类判断。

换言之，今天模型的局限并非理论上的假设——它们在AI被期待提供最大价值的环境中表现得最为明显。

另一条前进之路: 更聪明——而非更大——的AI

如果当前的AI方法以规模为定义，那么下一阶段将以效率为定义。

系统可以将工作流拆分为多个阶段，而不是让每项任务都经过单一模型；对常规决策使用轻量模型，对复杂情况保留更重的处理。

这种架构的细微转变改变了经济性。当系统能够动态决定特定任务所需的处理量时，就能避免不必要运行大型模型的开销。这使得持续应用AI比选择性使用更为可行。同时也为提升透明度创造了机会，因为决策可以关联到系统内的具体信号或组件，而非来源于单一不透明模型。

对企业而言，这正是实现更广泛采用的关键：能够在实时分析更多数据且成本与复杂度不成障碍，从而打开此前难以触及的用例。

行业通过扩大模型规模取得了显著进展——但一刀切并不适用。随着AI深入运营系统，关注点正从模型能做什么转向应如何设计模型。AI的未来不会由最大模型决定，而是由能够高效、透明且可规模化提供智能的系统决定。