Dmitri Laush - Perfect.Live 的 CEO 和联合创始人，是传统礼宾服务的现代替代品，服务于 127 个国家的高净值个人和顶级企业合作伙伴。Dmitri 专注于构建技术驱动的解决方案，以便于客户的复杂需求，帮助他们节省时间。
AI 代理明显存在一个 问题，它被伪装成关于其优势的推销。代理自信地说话，优雅地写作，处理信息的速度比人类快。这可能会让人觉得 AI 已经准备好独立操作。但实际上，一旦涉及到真正的钱、客户期望和信任，AI 不应该是一个自治系统，因为它仍然需要成年人的监督。这一教训并非来自理论，而是通过测试获得的，当时豪华生活方式服务的 AI 能够与真实客户交互。好心的建议可能带来危险在 AI 驱动的生活方式管理应用的早期测试中，系统一开始看起来很令人印象深刻。它可以编制一份餐厅的简要列表，建议娱乐选项，草拟当地活动的行程，并将所有这些整合成清晰、高质量的推荐。但在大约 15% 的情况下，它只是编造了细节——并且做得足够令人信服，以至于令人相信。有一个例子使得这个问题无法忽视：AI 推荐了一家在迪拜的餐厅，但那家餐厅已经在八个月前关闭了。当被问及此事时，它没有犹豫或承认自己犯了错误。代理加倍地编造了一个评论并引用了它。另一次，代理将一家路边小吃店误认为是一家米其林星级餐厅，因为它们的名字相似。如果人类没有审查订单，礼宾服务的客户可能会得到与计划完全不同的晚餐。然后还有拍档游戏的事件。一个客户询问一个有拍档球场的体育俱乐部。AI 就要把他引导到一个只有网球场的地方。为什么？因为在某个地方的源数据中，它发现了一篇新闻文章，称拍档球场计划在那里建造，并且它微妙地将“计划”转换为“已经存在”。这正是使模型在服务行业中成为风险实验的原因：即使 AI 没有完整、准确的数据，它也不会停止——它会即兴发挥。AI 的幻觉作为商业威胁这个问题绝不仅限于旅游业——它存在于 AI 的实施中。在明确定义的参数内，AI 工作得非常出色。你可以为它提供结构化数据、最新的 API，它将以远远超过你的速度出色地完成任务。它将根据十七个参数对案例进行排序，瞬间扫描规则，并在几秒钟内生成可用的草稿。但是，现实世界远远不是一个结构化的数据库。现实中充满了边缘情况、过时的信息、模糊的偏好、含糊的措辞和操作缺口。这正是幻觉开始构成商业风险的地方。 研究 一再警告，幻觉可以瞬间破坏信任，特别是在客户在决策时刻收到精致但不准确的信息时。人们已经 广泛使用 AI 规划者，但信任仍然缺乏。高净值人士是...
大多数企业尚未意识到个人AI助手已经达到了一个新的水平。现在，他们不仅仅回答问题，还代表真实员工执行操作：他们制作和监控预订，通信，并就财务，时间表，旅行和会议做出决定。AI操作的数据也发生了变化：从“您喜欢什么样的音乐”到“您在哪里，您与谁在一起，您同意了什么，您为此支付了多少钱”。这是一个完全不同的脆弱性水平，我们绝对需要一种新的架构。我称之为“隐私收据”- 数字收据，允许用户随时查看助手关于他们的了解的内容，从哪里来，为什么使用。这与我们今天对银行对账单的期望相同：透明，易于核实，需要时可用。为什么安全的AI在此刻变得至关重要直到最近，AI助手主要是信息性的：搜索，文档摘要，代码提示。他们很少能够在没有人控制过程的情况下执行操作。今天，我们看到一个不同的图景。助手集成了电子邮件，日历，消息，银行和旅行服务；他们可以独立发送信件给合作伙伴，支付预订费用，或更改航班，依赖于负责人可能不知道的上下文。同时，这些助手的最早和最活跃的用户是那些错误成本极高的人：高管和CEO，高净值客户，金融部门和资本管理专业人员。对于他们来说，隐私的丧失是一个严重的声誉，法律和直接财务风险。当谈到AI时，隐私问题不再可以被视为一种形式主义。最少的数据，更多的价值大多数AI产品收集的数据远远超过他们需要的来提供真正有用的服务。在我们的实践中，我们发现典型的AI助手收集的大部分数据实际上从未被用于提供服务。如果我们考虑礼宾业务，三件事就足以让助手提供高质量的个性化服务。首先，任务相关的偏好：您如何旅行，您如何通信，您在签证，预算和家庭义务方面的限制。第二，当前请求的上下文：在哪里，何时，与谁，为了什么目的，截止日期和风险。最后，它记住了任务内的过去交互：因此它不会问相同的问题，记住所选的解决方案，并且不会重复错误。这足以让产品在一个好的个人助手的水平上工作。它不需要完整的通信存档，持续的位置跟踪或财务交易。AI助手和可接受的限制有一些数据类型根本不应该出现在个人助手中。例如，被动行为数据：不断的监听，持续的位置跟踪，屏幕或输入监控。如果系统收集的信息不是关于您要求的内容，而是关于您一般的行为，它就不再是一个助手，而是一个监视器。另外，对于从未与系统交互的第三方的数据也是不需要的。例如，“帮助组织会议”这样的请求不应该变成构建与会者个人资料，路线和习惯的权利。第三，您的通信的全部内容不应该被默认存储在长期内存中。助手可以处理特定的电子邮件，如果您明确要求它，但这并不意味着它现在有权读取您的电子邮件。有用的意味着侵入性：AI产品的陷阱额外的上下文确实使产品更方便，因为系统知道的越多，推荐越准确，响应越快，使用的惊喜效果越大。这就是为什么自然需要连接日历，电子邮件，聊天，CRM和地理数据，以便服务可以预测用户需求。每个用户连接看起来都是合理和正当的。在礼宾行业中，连接客户的日历和旅行历史显著提高了推荐：系统可以在客户表达需求之前预测需求。同时，一些服务故意不在活动任务之外存储通信内容，也不根据被动数据构建行为个人资料。问题在于UX优化的逻辑逐渐将架构转向更大的数据收集，存储时间更长，访问权限更广泛。并且在某个时候，界限线就消失了。第二个问题涉及客户支持的访问权限。您可以建立强大的加密，然后为客户支持操作员提供对客户历史的完全访问权限，例如购买单张票。实际上，事件经常发生，因为内部访问权限不受控制和人为错误，而不是外部攻击。第三个风险是多代理架构。当代理将上下文传递给彼此时，数据开始在组件之间以未明确设计的方式流动。如果一个代理具有过宽的权限，这个上下文将被链式传递到下一个组件。隐私收据：AI的下一个标准把隐私看作是一个合规功能是一个错误。真正的隐私取决于我们存储和共享什么，为了什么目的，多久，什么条件下，谁可以访问，包括人和AI代理，以及用户如何控制它。不幸的是，大多数服务无法简单地回答用户的问题：系统关于他们的了解的内容是什么，可以更正或删除，是否可以禁止使用特定的数据？因此，引入隐私收据是必要的，当用户可以要求AI助手了解他们的内容，为什么了解，以及从哪里来，并立即获得明确的可核实答案。这与我们今天对银行对账单的期望相同：透明，易于核实，需要时可用。安全内存的技术基础隐私收据在没有坚实的工程基础的情况下是不可能的。至少有三个层次是关键的：首先，基础设施级别的数据保护。加密应该是一个核心原则，而不是一种形式主义。数据应该使用客户特定的密钥存储，而不是使用单个主密钥，传输应该通过现代协议进行，敏感属性应该从服务元数据中逻辑分离。此外，每个服务，代理和操作员都应该只访问执行特定任务所需的数据。最后，防篡改的访问日志，访问的审计，以及存储和处理的地理位置的技术控制是重要的。多代理场景的定期测试应该被认为是一种单独的风险类别。只有通过这种架构，隐私收据才有可能：这样，系统真正知道它知道什么，并且可以证明它。谁会失去，谁会成为标准将记忆视为单向积累的服务和产品将会失去：对于用户来说，透明度较低，但来源更多，上下文更多，存储时间更长。这种模型看似在短期内具有优势，但没有限制和明确的规则，这种逻辑就会转变为无控制的扩张，因为数据的连接速度快于解释和控制机制的建立。涉及数据泄露，AI助手的滥用或敏感信息的不正确披露的丑闻将影响所有此类产品。用户将要求更多关于透明度的信息，只有那些提前将可解释性，跟踪性和用户控制纳入其架构的公司才能保持用户的信任。设计系统围绕AI知道什么和为什么的瞬间和可验证的图景的产品将成为标准。隐私必须从一开始就成为系统的一部分——尤其是当它影响人们的生活时。
