Transcend 的高级产品总监 Rowan Stewart – 采访系列

Rowan Stewart，Transcend 的高级产品总监，负责领导产品计划，帮助组织发现、管理和安全地使用人工智能系统中的数据。她拥有超过十年的经验，涵盖人工智能和机器学习产品开发、企业软件、自然语言处理、数据策略和零到一的产品领导。在加入 Transcend 之前，Stewart 在 BCG X 工作了近六年，帮助大型企业开发人工智能战略、重塑内部流程和构建能够带来可衡量的商业成果的产品。早期，她管理了自然语言处理 API 的开发，包括情感分析、知识图谱、人格评估、机器人检测和品牌安全功能。

Transcend 是唯一能够回答“是否可以使用此数据？”的自治数据决策平台，以扩大客户增长。财富 500 强公司和新兴类别领导者利用 Transcend 将完整的数据使用权限直接编码到处理客户数据的企业系统中，提供实时的真相来源，用于同意、偏好和业务规则。结果是优质的数据质量、保护品牌的道德使用和大规模的审计准备。通过 Transcend，公司可以自信地解锁人工智能、个性化和其他第一方数据计划的收入。Transcend 由 Ben Brook（CEO）和 Mike Farrell（CTO）于 2017 年创立，总部位于旧金山湾区。

您在 BCG X 工作了近六年，帮助世界上一些最大的组织部署人工智能和机器学习解决方案，然后转到 Transcend 的人工智能安全和治理。您在那段时间里观察到的治理失败或盲点是什么，让您相信人工智能治理需要从一开始就构建到系统中，而不是稍后添加？

在 BCG，我与各个阶段的人工智能成熟度的公司合作，一个模式让我印象深刻：治理总是姗姗来迟。团队快速推出模型或产品，数据权限、同意或监督的对话总是在生产前才开始，感觉像一个“陷阱”。在那时点上构建的任何东西都相当于对一个从未考虑过治理的系统进行补丁。

这就是为什么我如此兴奋地加入 Transcend。仅仅为公司提供建议只会带来有限的效果。我想帮助构建使治理成为容易选择的基础设施。

许多组织正在竞相部署人工智能代理，用于客户支持、运营和知识工作。治理自治人工智能代理与治理传统软件系统或早期人工智能模型相比，有何不同？

大多数企业安全架构假设每个操作的另一端都有一个人，可以识别、信任和在出错时追究责任。但代理不是人。它们独立行动，委托任务给其他代理，并以人类难以理解的方式将决策联系在一起。

给代理相同的静态权限，就像给员工一样，会产生冲突，因为代理缺乏常识。治理必须评估代理即将采取的特定操作，在那一刻，使用特定的数据。大多数公司仍然使用为人类构建的身份和访问管理手册，许多公司将发现这个差距，一旦代理部署超过了治理能力。

您在人工智能创新领域工作了多个浪潮，从 NLP 产品和影响者情报平台到企业人工智能转型计划。过去十年中，人工智能安全的对话如何演变，您最关心的是什么？

将今天（和明天！）的人工智能与之前的几代人相比，真是令人着迷，因为这是一个快速发展的领域。过去一年或两年中，最重要的进展显然是代理的崛起和长期内存管理（OpenClaw，任何人？）的重要性。这些代理能够做更多的事情，质量更高，这使它们更加有价值，也更加有风险。

随着人工智能系统使用客户和企业数据做出决定，公司对人工智能驱动环境中的同意、权限和数据治理有什么最大误解？

最常见的误解是将同意视为一次性捕获并存档的东西。客户在注册时同意一套条款，公司假设该协议无限期有效，无论数据如何移动或最终进入哪些系统。同意需要伴随数据移动。如果有人更新了他们的偏好，或者新法规改变了什么是允许的，那些变化必须出现在数据存在的每个地方，而不仅仅是在最初收集同意的系统中。

第二个误解是将权限视为一个技术细节，由 IT 或法律团队在后台处理。人工智能系统开始根据该数据做出决定时，权限成为一个产品和业务问题，任何缺陷都会直接继承到人工智能计划中。

许多企业仍然依赖静态政策和周期性合规审查。在人工智能系统可以持续学习、适应和与其他代理交互的时代，这些方法为什么会挣扎？

静态政策捕捉系统在某一时刻的样子，以及什么被认为是可接受的，但人工智能不会保持静止足够长的时间，以使该快照保持准确。为某个模型编写的政策可能不是六个月后运行的模型，季度或年度合规审查无法跟上系统的变化速度。

治理移动如此之快的东西需要同样快速的政策。这意味着在数据实际使用时、实时执行治理，而不是事后检查某个已经过时的文件。

当组织开始部署协同工作的代理网络，并访问多个内部系统时，有效的治理是什么样的？

这就是传统访问控制的局限性变得明显的地方。代理可能被授权读取记录、调用工具并将结果传递给另一个代理，每个步骤看起来都很合理。但是，代理采取的综合行动（实际发生的事情）往往是没有人明确批准的。传统的 IAM 可以确认代理是否有权限访问系统，但它对数据是否在涵盖此特定用途的同意下收集没有太多可说，而且代理链式决策是否有人批准也没有太多可说。

Transcend 专注于将数据使用权限直接嵌入企业工作流程。在组织从人工智能实验到生产规模部署时，实时治理基础设施有多重要？

在测试期间，团队可以依靠手动审查和周期性审计，因为风险很低。在生产中，特别是使用代理人工智能时，这种方法会崩溃。今天的清单和会议系统是一个双输的局面。合规和安全团队基本上得到一个没有持续执行的承诺，而产品团队现在致力于繁琐的手动审查，这对最终用户几乎没有价值。当代理部署的规模非常庞大时，实时基础设施成为唯一可行的方法。在数据移动或决策被做出时执行权限，而不是在事情出错后重建发生了什么，这才是使治理对合规和用户都有价值的原因。

您认为未来三到五年中，代理人工智能的最重大风险是什么？哪些风险目前被商业领袖低估？

我认为代理继承用户权限的模型比我们意识到的更具风险。人类有判断力，但人工智能会遵循您的指示，直到走向悬崖。

产品团队如何平衡快速推出人工智能功能的压力与建立治理、透明度和问责框架的需要？

我认为一个具体的解决方案是“Slop 税”的修复。

我们已经迅速调整了对人工智能输出的反应，以降低其有效性和价值。因此，大家都建议您删除破折号（即使它们是合适的），使用标准的 Claude 颜色调色板会让网站看起来廉价（即使它看起来很好），并且由人工智能提供的信息被视为可疑（即使它是真的）。这会影响您产品的感知价值。

修复 Slop 税的方法实际上是更好的治理和透明度。例如，我们最近推出了一个名为“供应商人工智能使用情况”的功能，它收集顶级公司的人工智能功能和治理姿态的公开信息，以帮助人工智能使能、安全和采购团队更快地完成工作。我们发现，使用多代理编排框架，并通过源链接和引语收集和呈现证据，显著提高了我们的结果质量。这种证据收集和代理质量保证的做法是双赢的，因为用户的实际结果更好，合规性也更强。

展望未来，您是否认为人工智能治理最终将成为竞争优势，而不仅仅是合规要求？哪些组织将正确做到这一点，而哪些组织将落后？

我相信这一点，它与我在 BCG 观察到的相同模式有关。将治理视为在产品上市后添加的公司总是在最后一刻被抓住，倾向于陷入“试验炼狱”。构建治理基础设施的公司能够以其他公司无法做到的信心移动，因为他们不必不断地想知道他们的人工智能实际上如何使用数据。

随着代理部署的加速，这个差距只会扩大。最快地部署代理而不重新思考这些代理如何获得权限的公司最有可能遇到麻烦，而当他们遇到麻烦时，正确构建基础设施的公司将已经以后来者难以匹敌的速度运行。治理不再仅仅是一项合规要求，而是成为部署人工智能更快、更有信心的关键因素，远远超过那些仍然手动操作的人。

感谢您接受这次精彩的采访，希望了解更多的读者可以访问 Transcend。