Jamie Twiss, 卡林顿实验室首席执行官 Jamie Twiss 卡林顿实验室首席执行官

可解释的AI如何建立信任和责任

企业已经全力投入人工智能的采用，争相部署聊天机器人、内容生成器和决策支持工具。根据麦肯锡的报告，78%的公司在至少一个业务功能中使用人工智能。这种实施的狂热是可以理解的——每个人都看到了潜在的价值。但是在这股热潮中，许多组织忽略了这样一个事实：所有基于神经网络的技术，包括目前和未来可预见的所有大型语言模型和生成式人工智能系统，都共享一个重大缺陷：它们是不可预测的和最终不可控制的。有些人已经学到了这一点。有一家雪佛兰经销商在其网站上部署了一个聊天机器人，一个客户说服了这个由ChatGPT驱动的机器人以1美元的价格出售一辆5.81万美元的雪佛兰Tahoe。另一位客户提示了同一个聊天机器人编写一个用于复杂流体动力学方程的Python脚本，它很乐意地做了。经销商在这些事件被广泛报道后迅速禁用了机器人。去年，空加拿大在小额索赔法院输掉了一场案件，当时它辩称其聊天机器人，给乘客提供了关于丧亲之痛折扣的不准确信息，“是一个独立的法律实体，负责自己的行为”。这种不可预测性源于大型语言模型的基本架构。它们太大、太复杂，以至于无法理解它们如何得出特定的答案或预测它们将生成什么输出，直到它们产生输出。 大多数组织正在以没有完全认识到的方式应对这种可靠性问题。常识的解决方案是手动检查人工智能的结果，这种方法是可行的，但它大大限制了该技术的潜力。当人工智能被降级为个人助理——起草文本、记录会议纪要、总结文档并帮助编码——它可以带来适度的生产力增益。然而，这还不够 để革新经济。人工智能的真正好处将在我们停止使用它来协助现有工作，而是重新布线整个流程、系统和公司以使用人工智能，而不需要在每个步骤中都有人类干预时到来。考虑一下贷款处理：如果一家银行给贷款官员一个人工智能助手来总结申请，他们可能会工作得快20-30%。但是，部署人工智能来处理整个决策过程（具有适当的保障措施），可以将成本降低90%以上，并消除几乎所有处理时间。这是渐进式改进和变革之间的区别。可靠人工智能实施的路径利用人工智能的全部潜力而不屈服于其不可预测性，需要技术方法和战略思维的复杂融合。虽然目前的几种方法提供了部分解决方案，但每种方法都有显著的局限性。一些组织试图通过系统推动来减轻可靠性问题——微妙地引导人工智能行为朝着期望的方向，使其以特定的方式对特定的输入做出反应。Anthropic的研究人员通过识别Claude的神经网络中的“金门大桥特征”并人为地放大它，导致Claude产生了身份危机，证明了这种方法的脆弱性。当被问及其物理形态时，Claude声称自己就是金门大桥本身。这个实验揭示了模型的核心功能可以被轻松改变，每次推动都代表着一种权衡，可能会提高某一方面的性能，同时损害其他方面。另一种方法是让人工智能监视其他人工智能。虽然这种分层方法可以捕捉一些错误，但它引入了额外的复杂性，并且仍然无法达到全面的可靠性。硬编码的防护栏是一种更直接的干预，例如阻止包含某些关键字或模式的响应，例如武器的前体成分。虽然这种方法对已知问题有效，但它无法预测这些复杂系统中出现的新型有问题的输出。一种更有效的方法是构建以人工智能为中心的流程，可以自主运行，并在战略位置上进行人类监督，以便在问题变得严重之前捕获可靠性问题。您不会希望人工智能直接批准或拒绝贷款申请，但人工智能可以进行初步评估供人类操作员审查。这可以起作用，但它依赖于人类的警惕性来捕获人工智能错误，并破坏了使用人工智能的潜在效率增益。为未来而建这些部分解决方案指向了一种更全面的方法。从根本上重新思考工作如何完成的组织，而不是简单地用人工智能协助来增强现有的流程，将获得最大的优势。但是，人工智能不应该是高风险流程或决策中的最后一步，那么最好的前进道路是什么？首先，人工智能建立了一个可重复的流程，该流程将可靠地和透明地提供一致的结果。其次，人类审查该流程，以确保他们了解它的工作原理以及输入是适当的。最后，该流程在没有人工智能的情况下自主运行，并定期由人类审查结果。考虑保险行业。传统的方法可能会在索赔处理器中添加人工智能助手，以帮助他们更高效地工作。更具革命性的方法是使用人工智能开发新的工具——例如，分析损害照片的计算机视觉或识别可疑模式的增强型欺诈检测模型——然后将这些工具组合成由明确、可理解的规则管理的自动系统。人类将设计和监控这些系统，而不是处理个别索赔。这种方法在设计和验证系统本身的关键节点保持人类的监督。它允许实现指数级的效率增益，同时消除了人工智能不可预测性导致有害结果的风险。例如，人工智能可能会在交易数据中识别潜在的贷款还款能力指标。然后，人类专家可以评估这些指标的公平性，并建立明确、可理解的模型来确认其预测能力。这种可解释的人工智能方法将在使用人工智能的组织之间创造一个明显的区别——那些将其业务转变为围绕人工智能运转的组织将越来越领先于其行业，能够以其竞争对手无法匹配的价格提供产品和服务。与黑盒人工智能不同，可解释的人工智能系统确保人类在技术应用中保持有意义的监督，创造了一个人工智能增强人类潜能而不是简单地取代人类劳动的未来。