Marcel Folaron, 联合创始人，Cochat Marcel Folaron 联合创始人，Cochat

为什么治理人工智能是工作场所的下一个前沿

我们花了十年时间与影子IT作斗争。未经授权的SaaS应用程序。流氓电子表格。未经批准的Dropbox账户。IT领导者围绕这个问题建立了整个合规计划，但大多数人仍然失败了。Reco AI的2025年影子AI报告发现，只有47%的企业内部的SaaS应用程序是正式授权的——而平均每个组织现在管理着490个这样的应用程序。那是旧问题。新问题更糟糕。影子AI问题这次不同当员工注册一个未经批准的项目管理工具时，损害是可预测的。一个团队的任务存储在错误的地方。也许会有一些数据泄露。数据泄露的类型相当可预测。AI不同。员工现在使用AI工具撰写客户沟通、生成财务报告、总结机密会议并构建自动化工作流程，通常没有通知任何人。微软2024年的工作趋势指数发现，78%的AI用户将自己的AI工具带到工作中。这不是因为他们试图制造麻烦或恶意，而是因为这些工具真正有用，他们感到必须更好地表现的压力。然而，他们的组织太慢了，无法提供流程、程序和工具。这里的问题是输出。当一个AI工具草拟客户合同、总结法律电话或生成季度董事会报告时，风险不仅仅是“我们不知道他们使用了什么工具”。而是这些输出中嵌入的数据实践、准确性和决策对组织来说是完全不可见的。没有人审查过提示。没有人验证过结果。甚至没有人知道它发生了。而且因为AI看起来如此自信，大多数用户不会核实来源并盲目接受结果。KPMG 2025年对影子AI的分析报告称，44%的在工作中使用AI的员工以违反公司政策和指南的方式使用AI。这不是一种边缘行为。这几乎是半数员工。为什么自主代理使其变得更加困难（和更好）这里的对话变得有趣。我们不再只是谈论员工将文本粘贴到ChatGPT中。我们正在进入AI代理的时代——可以连续运行、执行多步任务、连接到企业工具并在每个决策中无需人类干预的自主系统。德勤2025年科技趋势报告将其描述为向“基于硅的劳动力”的转变，并指出许多早期的代理AI实现之所以失败，正是因为组织试图自动化为人类设计的现有流程，而不是重新思考工作应该如何流程。这是一个岔路口。自主AI可以走两条路：路径一：更糟糕的影子IT。员工使用个人账户创建代理，运行在公司IT上，通过个人API密钥连接到公司工具，生成没有人可以看到、审计或复制的输出。代理每天运行报告。报告是错误的。由于没有人知道它的存在，所以没有人在几周内发现错误。这不是假设。这现在正在组织中发生，组织将AI采用视为个人生产力游戏。路径二：治理自主权。同一个代理运行相同的每日报告——但在一个环境中，团队可以看到它正在做什么，正在处理什么数据，谁设置了它，以及它产生了什么。代理是共享的，而不是孤立的。它的输出是可见的。它的权限是范围化的。当出现问题时，有一条痕迹。这两条路径之间的区别不是技术。它是环境。治理人工智能在实践中是什么样的治理是让建设者皱眉头的词汇。它通常意味着“慢”。更多的审批。更多的流程。更多的人与管理风险的人之间的摩擦。但是，治理人工智能不一定要这样工作。我所看到的最佳实现共享了一些特征：默认可见性。每个AI生成的输出——每个报告、每个警报、每个草稿——对团队可见，而不是埋在某个人的个人聊天记录中。这不是关于监视。这是关于共享的上下文。当代理生成每周的竞争对手分析时，整个团队都应该能够看到它、质疑它并在其基础上进行建设。范围化的权限，而不是全面的访问权限。监视错误日志的代理不需要访问CRM。草拟社交内容的代理不需要访问财务数据。最小权限原则并不是新鲜事物。只是很少应用于AI系统——而且应该应用。实际存在的审计跟踪。麦肯锡关于代理人工智能安全的游戏规则强调，自主代理呈现出“一系列新颖而复杂的风险和漏洞，需要立即关注和行动”。最基本的是：如果您无法跟踪代理做了什么，访问了什么数据，做了什么决定，您就无法治理它。句号。团队级别的控制，而不仅仅是IT级别的控制。这是大多数治理框架出错的地方。他们将所有AI控制集中在IT或安全中，这就造成了最初导致影子AI的瓶颈。做对了的组织正在将控制权推给团队级别——让经理和团队领导配置、范围化和监控他们团队使用的代理，在IT设置的护栏内，但不需要微观管理。组织在哪里做对了部署AI代理的公司并不一定拥有最复杂的模型。他们拥有最明确的运营边界。我在三个领域看到最强的结果：报告和监控。代理运行计划报告——每日站立会议、每周指标摘要、错误日志摘要——并直接将其投递到团队渠道中。这里的价值不仅仅是自动化。它是可预测的。报告每天早晨运行，无论有人记得拉取数据。由于它对团队可见，错误更快被发现。内容和通信工作流程。草拟，而不是发布。代理生成内部更新、会议摘要或外发内容的首稿——然后将其提交给人类审查。治理部分很重要，因为当输出发送给客户而不是内部Slack频道时，质量标准是不同的。分析和警报。代理监视仪表盘，标记异常，并在指标超出预期范围时推送警报。这取代了困扰每个失去周末的生产问题的团队的“有人应该监视它”的问题。大多数组织仍然做错了什么最大的错误是将AI治理视为政策问题，而不是基础设施问题。您可以写出所有可接受的使用政策。但是，如果您的员工没有一个获得批准、易于使用的环境来部署AI，实际上可以满足他们的日常需求，他们就会绕过您的政策。这不是一个人问题。这是一个设计问题。IDC对影子AI的分析明确指出，隐秘的生产力“正在扼杀企业AI采用，并制造安全噩梦”，因为组织陷入了想要收益和害怕风险之间的矛盾。结果是无所作为——这是最糟糕的结果，因为这保证了无法控制的采用。第二个错误是将治理和速度对立起来。它们并不是对立的。最好的AI治理环境也是最快的环境——因为团队不必重建已经存在的工作，不必调试看不到的代理，也不必重建由于有人离开公司而带走了他们的个人AI账户而破坏的工作流程。边疆是环境，而不是模型行业的注意力集中在模型能力上。更大的上下文窗口。更好的推理。多模态输入。这些都很重要。但对于大多数试图完成工作的团队来说，瓶颈不是模型。它是模型运行的环境。团队可以看到它正在做什么吗？他们可以控制它访问什么吗？他们可以分享它产生的内容吗？他们可以相信它正在使用正确的数据和正确的约束吗？这些是基础设施问题，而不是模型问题。而且它们将区分组织从AI中获得真正、可持续的价值和仅仅添加另一层影子IT的组织。边疆不是建立更智能的模型。它是建立可以真正信任智能模型工作的环境。