思想领袖

当 AI 开始进行交易时,谁承担责任?

mm
将 Unite.AI 添加到您在 Google 上的首选来源

金融世界正在向 代理 AI 迈进,在那里 AI 不仅仅回答问题,还代表您进行购买和谈判。将其与隐形金融结合起来,银行业务就会消失在日常生活的背景中。这是从打开应用程序或填写表格到让您的汽车、工作软件或安全的数字身份钱包自动处理支付和贷款的一个巨大飞跃。

这就是我们要去的地方——全球巨型 AI 金融服务市场预计每年平均增长率超过 40%,到 2034 年将超过 80 亿美元。在几年内,我们将停止进行银行业务,开始监督管理我们金融生活的系统。随着 AI 系统从为用户提供建议转变为代表用户执行交易,金融科技公司必须面对一个基本问题:当机器做出金融决策时,谁承担法律和监管责任?

从辅助到代理的转变

对于传统上需要人类在交易时刻存在的金融领域,曾经认为将代理权交给机器来决定何时、如何进行交易是不可想象的——而不需要人类的判断。

隐形金融 已经通过嵌入式支付、自动订阅、一键式结账和实时支付系统演变。银行业务越来越多地转移到银行应用程序内部。将其与代理系统结合起来,您将获得理解上下文、跨平台收集相关信息并自主启动工作流的目标驱动的金融能力。简而言之,代理金融将人类意图转化为动态的、连续的决策,而无需实时的人类输入。

我们所知道的交易正在变得更加像背景基础设施,而不是有意识的交互。

有什么影响?

代理金融的崛起可以从控制、行为和信任的角度来看待。

控制不再是关于打开应用程序或点击按钮,而是被吸收到身份、支付和自动化系统的隐形层中,指导资金的流动。它不再在交易时刻行使,而是在早些时候,当人们定义他们的偏好、限制、目标和权限时。他们不再决定每次是否移动资金,而是决定资金可以移动的规则。然后,系统将这些控制转发,实时解释这些规则并采取行动。

这从根本上改变了甚至挑战了用户行使控制的方式。虽然控制曾经在于行动,但现在它转向配置。您不再管理交易,而是设置允许交易发生的条件。监督变成了审查和调整这些条件,而不是一一审批支付。

对于金融科技公司,这改变了责任所在。控制不再位于界面中,而是在基础设施本身。它位于身份验证、权限设计、决策记录和操作审计或逆转的方式。这些层次决定了金融控制实际上如何行使,即使用户从未直接看到它。因此,控制被重定向到代理逻辑的预先审计能力中。这将监督从实时交易审批转移到“目标函数”的管理中,这是编程到 AI 中的核心目标,确保机器的基本意图在移动一分钱之前与用户的长期利益保持一致。

当金融行动转入背景时,人们与金钱的互动方式也会改变。有更少的东西需要管理,更少的提示需要审批,也有更少的理由检查。随着时间的推移,积极管理交易的习惯让位于周期性地审查系统的运行情况。如果无现金支付使交易变得毫不费力,自动续费使其变得连续,那么代理系统使其变得自治。

那么,信任会变成什么?随着用户从早期的监督例行程序演变,底层系统的可靠性成为信任的关键。人们不再根据服务处理支付的可靠性来判断它,而是根据它可以被允许代表他们做出决定的信心来判断。用户将希望知道决策是如何做出的、考虑了什么数据、有什么界限以及出了什么问题会发生什么。

出了什么问题会发生什么?

大多数金融法律都是围绕着人类故意发起交易的想法建立的。但是,当意图时刻和执行时刻分离时,这个假设就会削弱。使用自主系统,启动行为变得间接。用户可能已经授权了一组规则,但不是特定的交易。当出了问题时,导致问题的确切决策变得难以确定。单一的、明确的决策者概念不再成立,法律框架一直依赖的明确意图、执行和因果关系链被破坏了。

代理系统引入了用户意图和来自实时数据的结果的算法解释,而不是明确的指令。看似单一的交易可能实际上是多个自动判断的结果,分层在时间上。

这带来了实际挑战。首先,纠纷变得更难解开,因为很难确定问题出在用户的原始配置、系统对该意图的解释、它依赖的数据还是它最终采取的行动。监管执行也变得更加复杂,因为传统的授权和责任框架不能直接应用于代理决策。

然而,在监管机构的眼中,金融机构仍然对通过这些系统造成的失败、违规或损害负责。法律将 AI 的行为视为人类员工的行为。如果 AI 犯了错误,公司承担责任,特别是如果错误源于设置不当、配置不当或监督不力。质量保证和 人类监督 因此在自主决策面前永远不能被低估。如果有什么不同的话,它们变得更加关键,以确保系统按照预期运行。如果被问到责任、可审计性和可解释性将从法律边缘转移到设计的中心。金融机构需要更清晰的模型来跟踪决策、归属责任并证明即使自主行动也可以被理解、审查和管理。为了弥合这一责任差距,行业应该采用“可反驳的算法故障假设”框架。除非金融机构能够提供不可变的审计跟踪,证明代理严格遵守其编码的防护栏,否则该框架假设任何有争议的交易都存在系统错误。

让一位高级人员监督每个“代理”有助于管理 风险,防止错误升级为真正的问题。这确保了公司站在法律的正确一边,同时保持责任感。

理想的前进方式是什么?

随着代理 AI 进入金融领域,治理必须变得同样明确。法律和合规团队需要在设计 AI 代理的授权框架、定义合作伙伴之间的责任、为机器行为设定合同界限以及建立明确概述谁对什么负责的文档标准方面发挥积极作用。同意也需要演变——用户必须对他们注册的内容和代理权限范围有透明的理解。

理想情况下,这是一个用户始终完全控制并始终了解其 AI 代理正在做什么的世界。与其依赖一次签署的长而令人困惑的合同,不如使用“微权限”来授予对特定任务的许可。然而,为了避免“通知疲劳”的风险,即用户在未阅读的情况下机械地批准提示,同意必须通过硬编码的风险阈值来强化。这些阈值充当自动的“断路器”,停止任何非确定性或高方差的操作,该操作超出了用户的历史行为-profile。

例如,用户可能会为其 AI 代理提供数字“通行证”,允许其在一天内代表用户花费最多 50 欧元。每个操作都被记录,创建一个清晰的跟踪记录,证明 AI 在授权范围内。 如果 AI 尝试任何不寻常或有风险的操作,系统将自动暂停并请求快速确认,例如通过指纹或面部扫描。 微权限将可能的法律头痛转化为实时安全措施——对用户和机构都有益。 用户保留可见性和控制权,而 AI 自主性则在明确的、可负责的界限内运行。 这种可见性最好通过“连续验证”来维持,在那里,一个基于规则的“监护人”层与 AI 代理并行运行。 该次要层不启动交易,但具有绝对权威来否决任何违反预定义安全边界的操作,确保以人为本的安全保持主动,而不仅仅是被动记录。

最终,代理金融的成功将取决于其安全、可靠和以人为本的运作能力。挑战在于将复杂的、不可见的系统转化为人们可以信任、理解和控制的东西。

索菲亚·哈特瑟诺娃是一位专门从事跨境金融科技和数字金融领域的法律专家。目前,她是xpate的法律功能所有者,索菲亚在金融创新领域导航复杂性,以支持无缝跨境支付和收单服务。凭借私人执业和内部法律顾问的经验,索菲亚为弥合颠覆性技术和严格监管要求之间的差距带来了全面的视角。通过将法律知识与现代法律科技相结合,索菲亚使法律运作变得更快、更智能、更容易管理。她致力于帮助企业,从初创公司到成长型公司,在全球数字经济中安全高效地发展。