作者：Dmitri Laush是Perfect.live的CEO和联合创始人，Perfect.live是一个为127个国家的高净值个人和企业客户提供服务的数字管家平台。
大多数企业尚未意识到个人AI助手已经达到了一个新的水平。现在，他们不仅仅回答问题，还代表真实员工执行操作：他们制作和监控预订，通信，并就财务，时间表，旅行和会议做出决定。AI操作的数据也发生了变化：从“您喜欢什么样的音乐”到“您在哪里，您与谁在一起，您同意了什么，您为此支付了多少钱”。这是一个完全不同的脆弱性水平，我们绝对需要一种新的架构。我称之为“隐私收据”- 数字收据，允许用户随时查看助手关于他们的了解的内容，从哪里来，为什么使用。这与我们今天对银行对账单的期望相同：透明，易于核实，需要时可用。为什么安全的AI在此刻变得至关重要直到最近，AI助手主要是信息性的：搜索，文档摘要，代码提示。他们很少能够在没有人控制过程的情况下执行操作。今天，我们看到一个不同的图景。助手集成了电子邮件，日历，消息，银行和旅行服务；他们可以独立发送信件给合作伙伴，支付预订费用，或更改航班，依赖于负责人可能不知道的上下文。同时，这些助手的最早和最活跃的用户是那些错误成本极高的人：高管和CEO，高净值客户，金融部门和资本管理专业人员。对于他们来说，隐私的丧失是一个严重的声誉，法律和直接财务风险。当谈到AI时，隐私问题不再可以被视为一种形式主义。最少的数据，更多的价值大多数AI产品收集的数据远远超过他们需要的来提供真正有用的服务。在我们的实践中，我们发现典型的AI助手收集的大部分数据实际上从未被用于提供服务。如果我们考虑礼宾业务，三件事就足以让助手提供高质量的个性化服务。首先，任务相关的偏好：您如何旅行，您如何通信，您在签证，预算和家庭义务方面的限制。第二，当前请求的上下文：在哪里，何时，与谁，为了什么目的，截止日期和风险。最后，它记住了任务内的过去交互：因此它不会问相同的问题，记住所选的解决方案，并且不会重复错误。这足以让产品在一个好的个人助手的水平上工作。它不需要完整的通信存档，持续的位置跟踪或财务交易。AI助手和可接受的限制有一些数据类型根本不应该出现在个人助手中。例如，被动行为数据：不断的监听，持续的位置跟踪，屏幕或输入监控。如果系统收集的信息不是关于您要求的内容，而是关于您一般的行为，它就不再是一个助手，而是一个监视器。另外，对于从未与系统交互的第三方的数据也是不需要的。例如，“帮助组织会议”这样的请求不应该变成构建与会者个人资料，路线和习惯的权利。第三，您的通信的全部内容不应该被默认存储在长期内存中。助手可以处理特定的电子邮件，如果您明确要求它，但这并不意味着它现在有权读取您的电子邮件。有用的意味着侵入性：AI产品的陷阱额外的上下文确实使产品更方便，因为系统知道的越多，推荐越准确，响应越快，使用的惊喜效果越大。这就是为什么自然需要连接日历，电子邮件，聊天，CRM和地理数据，以便服务可以预测用户需求。每个用户连接看起来都是合理和正当的。在礼宾行业中，连接客户的日历和旅行历史显著提高了推荐：系统可以在客户表达需求之前预测需求。同时，一些服务故意不在活动任务之外存储通信内容，也不根据被动数据构建行为个人资料。问题在于UX优化的逻辑逐渐将架构转向更大的数据收集，存储时间更长，访问权限更广泛。并且在某个时候，界限线就消失了。第二个问题涉及客户支持的访问权限。您可以建立强大的加密，然后为客户支持操作员提供对客户历史的完全访问权限，例如购买单张票。实际上，事件经常发生，因为内部访问权限不受控制和人为错误，而不是外部攻击。第三个风险是多代理架构。当代理将上下文传递给彼此时，数据开始在组件之间以未明确设计的方式流动。如果一个代理具有过宽的权限，这个上下文将被链式传递到下一个组件。隐私收据：AI的下一个标准把隐私看作是一个合规功能是一个错误。真正的隐私取决于我们存储和共享什么，为了什么目的，多久，什么条件下，谁可以访问，包括人和AI代理，以及用户如何控制它。不幸的是，大多数服务无法简单地回答用户的问题：系统关于他们的了解的内容是什么，可以更正或删除，是否可以禁止使用特定的数据？因此，引入隐私收据是必要的，当用户可以要求AI助手了解他们的内容，为什么了解，以及从哪里来，并立即获得明确的可核实答案。这与我们今天对银行对账单的期望相同：透明，易于核实，需要时可用。安全内存的技术基础隐私收据在没有坚实的工程基础的情况下是不可能的。至少有三个层次是关键的：首先，基础设施级别的数据保护。加密应该是一个核心原则，而不是一种形式主义。数据应该使用客户特定的密钥存储，而不是使用单个主密钥，传输应该通过现代协议进行，敏感属性应该从服务元数据中逻辑分离。此外，每个服务，代理和操作员都应该只访问执行特定任务所需的数据。最后，防篡改的访问日志，访问的审计，以及存储和处理的地理位置的技术控制是重要的。多代理场景的定期测试应该被认为是一种单独的风险类别。只有通过这种架构，隐私收据才有可能：这样，系统真正知道它知道什么，并且可以证明它。谁会失去，谁会成为标准将记忆视为单向积累的服务和产品将会失去：对于用户来说，透明度较低，但来源更多，上下文更多，存储时间更长。这种模型看似在短期内具有优势，但没有限制和明确的规则，这种逻辑就会转变为无控制的扩张，因为数据的连接速度快于解释和控制机制的建立。涉及数据泄露，AI助手的滥用或敏感信息的不正确披露的丑闻将影响所有此类产品。用户将要求更多关于透明度的信息，只有那些提前将可解释性，跟踪性和用户控制纳入其架构的公司才能保持用户的信任。设计系统围绕AI知道什么和为什么的瞬间和可验证的图景的产品将成为标准。隐私必须从一开始就成为系统的一部分——尤其是当它影响人们的生活时。
