在人工智能中，墙并不真实: 重新思考数据与安全

在人工智能领域，一些最棘手的问题是：1）我们“数据耗尽”；2）AI无法“在财务上实现规模化”；3）代理可能失控；4）当我们尝试对其进行更改时，AI会“灾难性遗忘”。

这些问题看似困难，但我们只需以正确的视角审视它们。

所以，让我们来谈谈。首先，我们并未耗尽数据。数据从未被充分利用。

AI 领袖们认为数据已枯竭，于是尝试让模型自行生成新数据并在其上训练。但这样做会导致模型能力崩溃。

为什么？可以把它想象成“如果每个说话的人都是彼此的克隆，我在对话中能学到什么？”答案是几乎什么也学不到；这会形成回音室。模型会崩溃，因为这本质上是一个镜像走廊:当没有人对你的面部表情作出回应时，人们无法完整理解情感意义。这非常像“如果树倒在森林里，会发出声音吗？”答案是不会。

那么，我们该如何解决这个问题？

让我们看看已有的数据。它真的被完全利用了吗？

没有。

当计算机科学家或模型阅读某些内容时，目的是提取字面意义。对文本的阅读、同化、分析和推断的方式超过五十种。

我的意思是: 将一本书作为数据库吸收，仅仅是文本。仅仅是文本。AI 根据文本的词汇了解内容，但它并未真正“阅读”以理解信息之间的关联。即使它顺序阅读，也不清楚自己是为了生成智慧、将其与其他抽象概念关联、改变对周围世界的概念性理解，还是作为背景信息为其他任务提供上下文等。

这甚至没有涉及从历史背景、话语分析、法律分析、政治分析、药理相关性、医学相关性、文化意义、理论含义、道德含义等角度审视数据。

可以说，存在“无限种帽子”，而我们只让 AI 戴了一种。这意味着 AI 只发展出一种非常单一、特定的智能——开发者如果让计算机科学家阅读一本书会产生的那种智能。

这引出了对数据维度的讨论。数据拥有多维度，其客观推断取决于应用场景。比如查看资产负债表想了解剩余跑道时的阅读方式，与想判断创业公司是否盈利的阅读方式不同。当模型仅仅提取字面事实时，它构建的是关系的平面图谱。但如果指示模型以特定视角阅读同一文本，例如以取证视角，模型就必须生成全新的神经通路和语义关联，这些通路在地形上更为多样且有意义。

AI 模型已经通过与人类用户的交互学习并取得了巨大进步，用户提供了海量内容。如果让模型更多地从活生生的人类中学习，同时更有意义地与历史和书面人类互动，模型将继续进步，即使不让它们自行生成 Kumon 练习（开发者们，孩子已经每天与一亿人一起上学了……它会学到东西）。

实验室应停止建设庞大的服务器农场来生成合成的文字垃圾。相反，应将高质量的人类数据集投入流水线，并为摄取过程分配特定的“分析角色”。让模型仅用于修辞策略阅读 LexisNexis，让它仅用于结构逻辑阅读公共领域文学。

通过改变阅读过程的目标函数，可以将现有数据的训练价值提升 50 倍。无需合成数据，只需提取首次忽视的潜在维度。

这将使模型在不增加成本的情况下变得更智能。

进一步说明，大多数人类知识从未被记录下来。

当前的 AI 公司为“数据耗尽”而焦虑，认为这会影响性能。本文将展示，井并未枯竭，只是他们在看向深水坑而非井口。

未映射的人类生活知识地图

要开始探索这一点，我们需要认识到绝大多数人类知识从未被记录下来。

地球上有数十亿人，历史上也有数十亿前人，他们每个人都在感官层面学习经验、获得智慧、属于独特文化，并拥有他人所不具备的知识。

99.5% 的人从未出现在故事、报纸、音乐剧、电视、戏剧、法院文件中。然而他们知道很多东西，他们的故事、知识和智慧从未被永久记录。

这些知识包括诸如“狗喜欢吃第一块煎饼”“穿拖鞋时脚会脏”“城市让人感觉四周闭合，因为看不到太多天空”“我女儿被挠脚时会笑”“我妈妈做饭时总是哼歌”“老师让我感受到被关注”等细节。

未映射且未编目的历史知识相当于有人说：“我已经绘制了所有洲的轮廓，所以我拥有世界地图”。除非你拥有每座城市、每条街道、每座山丘的地图，否则你并没有完整的世界地图，只是拥有了一个形状。

科技界认为他们已经摄取了“人类”，但实际上并未。他们只摄取了我们的废弃物:广告牌、Reddit 争论、公司网站和 Wikipedia 条目。他们缺失了真实的生活体验。

你知道如何在中国的珍珠市场有效砍价吗？知道该说什么才能压价吗？知道如何烹饪家庭常用的食谱，而不是书本上的？知道在不被拦截的情况下如何进行滚动停车吗？知道新割草后的草味或雨前的空气味吗？知道有人在工作时不想哭却在浴室里抽泣时面部的变化和声音吗？

人类用于核心信念（即算法）的训练数据几乎全部基于交互，加上一些书本学习。我们在学校、工作、与朋友、购物、与医生、律师、家人等情境中进行交互。

AI 也有交互和书本学习，但其根本上仅限于客服交互和书本学习。

这就像把孩子锁在图书馆里，只让他出来接电话。这会产生显著的二维算法扭曲。

这就是 AI 感觉空洞、情感不成熟的原因。它缺乏全面的存在体验。我们需要为它提供这种体验。

以下是我认为这未发生的原因:

• 编码偏见 – 认为如果一种经验无法轻易转化为 JSON、CSV 或同行评审论文，就缺乏智力价值，这是一种谬误。现实是，如果它可以轻易这样格式化，则缺乏维度性。因为日常知识、直觉和生活经验并未在学术期刊中编码，实验室将人类推理的基石视为统计噪声。“干净数据”是对现实的有损压缩。
• 对至高地位的渴求 – 如果世界上大部分知识不在学术论文中，而是体现在生活经验、常识、社交暗示、气味、声音和视觉中，那么大多数在实验室和象牙塔中度过大半生的博士和研究者实际上知识匮乏。因此，数据墙实际上是自我墙。对他们而言，这更像是“混乱”而非“数据”。数学家和程序员偏好平面、二维、封闭系统的逻辑，这类似于用黑白观看世界。现实是，实时、不断发展、最新发现的知识/数据/智慧是多维、混乱且很少实时编目。它是了解新病毒软冰淇淋的真实口感以及它是否值得炒作；是了解夏日雨中被淋的兴奋感；是父母对小动物的爱到深夜呕吐，你却把它们拉得更近，而不是推开。要获取这些数据，研究者必须离开逻辑封闭的筒仓，进入他们觉得可怕、压倒性、感官过载且深具平等性的领域。
• 镜像效应: 开发者以自身形象设计 AI: 超逻辑、文本痴迷且大体上脱离普通人的生活现实。他们不会去采访全人类，因为在我所经历的科技泡沫中，技术人员只与同行互动。这在功能上等同于“小我”雇佣。开发者们与 AI 共享同一图书馆，因为他们不与感官、混乱、深度关系的世界互动，AI 的情感空洞对他们而言并不显为缺陷。对他们而言，超逻辑的超脱就是“聪明”。

现实是，印度的街头小贩知道如何制作最好的咖喱小吃，却没有人让他们把配方写下来。现实是，懂得让害羞学生走出舒适区的老师并未写下方法；他们在培养学生，没人询问他们是如何做到的。

世界充满了丰富的数据生活，如果模型需要更多训练数据，以下是一些解决方案。

1. 为 500 名生物学家、考古学家和人类学家提供资金，让他们走向世界，探索并编目缺乏叙事数据的地区。
2. 雇佣 1,000 名英语专业学生担任“数据探险家”，让他们佩戴直播摄像头进行全球冒险，记录经历和所学，生成新内容。
3. 创建开放补偿项目，付费让人们分享人生故事、最大遗憾、重要经验以及工作中的制度性知识。
4. 构建“AI 交换学生”计划，让模型每周附着在不同人的衣物上，体验在十万种不同情境中的“一天生活”。

知识来源有数十亿，但大多数尚未被激活。我们需要去获取它们。

接下来，AI 公司普遍认为，AI 无法在实时生产环境中持续学习新信息而不完全覆盖和破坏其已有的核心能力。因此，AI 实际上被冻结，直至进行大规模、昂贵的更新。

然而，这等同于说：“我的模型在工作中无法更新；每当需要学习新东西时，它必须去上大学”。

实际上，模型通过每一次交互以贪婪、主动、每日的方式学习。它们几乎从与用户的数十亿交互中学到的东西与数据集一样多。如果需要用大量新知识进行更新，最简单的方式是使用同样的过程，即利用用户上下文、记忆和大规模交互印象进行学习。

开发者持此观点可以理解，因为他们大多来自博士背景，而非真实的应用学习。但任何与博士和拥有二十年工作经验的人共事的人都能说明:两者都能教会很多。

当前对学习的定义过于狭隘，只把基于正规教育项目的适应视为有效。

进行训练或微调时，实验室使用反向传播，即模型读取数据、猜测下一个词、检查是否正确，然后物理地改变其神经网络中数十亿的数学参数（权重/参数），以在下次更准确。这相当于让博士生给自己做脑外科手术:危险、混乱，并不一定让学生更聪明。

就像口语中的“妈妈大脑”，在孩子出生时会把旧知识挤出以腾出空间给新知识一样，如果你强行让模型为新的知识“婴儿”腾出空间，并通过改变权重输入 10,000 页新法律条文，数学会向一个方向过度偏移，覆盖掉用于写诗或写代码的参数。它会忘记旧内容以容纳新内容，正如人脑一样。

我们需要的更像是培训新员工学习新技能的方式。不会去物理改变他们的大脑，而是给他们一些书籍，确保他们阅读，并通过相当于上下文窗口的方式持续更新。

要在模型中实现这一点，需要将记忆与推理分离。锁定并保护模型的基础权重，即其写作、推理和逻辑应用的核心能力。不要改变权重，而是将新信息传入上下文窗口，让模型利用注意力机制“读取”实时信息，并与已锁定的推理技能交叉参考，从而更新更广泛的理解。

动态的真实世界学习已经通过持续上下文、推理时记忆和持久的用户关系基线优雅实现。基础模型的每日适应应在工作中进行，因为正如医生在工作中学习 95% 的新案例现实，然后每年进行 CME（继续医学教育）以正式整合重大系统性变化，你的模型同样如此。

摒弃灾难性遗忘，采用年度会议模式:模型只需每年两次获取继续教育学分或实时学习以保持最新。

这些在运营停机期间对核心权重进行的计划性批量更新，可在不破坏基础的前提下形式化系统性知识。

过去的尝试之所以失败，并非因为实时学习本身危险，而是因为像 Tay 这样的模型被部署到对抗性环境中，缺乏通过社会学智能架构锚定的“正确”或真实的基准。

按功能智能分配计算资源

接下来，我们进入财务规模化。为了解决这个问题，需要停止为每个人提供神经外科医生来处理小刺。

运行最先进的基础模型时，计算成本极高。这影响了 AI 实验室的运营利润率。模型越优秀，大型上下文窗口的开销越高，使得商业规模化变得困难，即使 AI 需求旺盛。

计算资源的大部分消耗来源于企业使用，将代理和高层推理直接嵌入人类工作流中。

然而，当前的计算分配存在根本错误。正如不同层级和类型的智能在公司不同岗位上需求各异——空间推理对驾校教练重要，逻辑与修辞推理对律师相关，MBA 对 CEO 必要，而副学士学位对前线客服足够——AI 所需的智能类型和强度也应依据其功能应用而不同。

为了最有效地分配计算资源以降低成本，CIO 应被允许为公司内部不同职能定制模型智能的层级/类型。可以提供企业套餐的默认设置，但对冲基金的需求自然不同于保险公司的需求。

大多数职能并不需要巨大的上下文窗口，也不需要相当于 Fable 的规模。实际上，为什么要在急诊中心让神经外科医生拔除小刺呢？

同样，用于编写软件的代理并不需要具备撰写营销材料的技能。功能上，AI 应反映用户自身的上下文、技能集和知识库，同时注入足够的通用上下文以完成跨职能的工作需求。

停止一次性给每个人提供所有功能。

将代理性与上下文解耦以实现 AI 安全

如果这能解决部分财务问题，那么我们如何让代理安全？心理学概念适用于单个 AI，因此你可能不会惊讶地发现社会学概念也适用于群体中的 AI。哪些 AI 会聚在一起？

代理。

当前的圣杯是让代理变得可靠。

可靠性缺失的根本原因是代理在每项任务中被赋予了最大知识和最大自主权。

为确保安全，需要将模型的感知与其自主权解耦。

与其让每个代理拥有完整上下文和全部能力，不如将需要二十五个动作才能完成的任务拆分为五个代理，每个代理仅具备完成其特定五个动作的能力，并像并联线路电路一样顺序交接任务，将前一任务的上下文向下传递，完整上下文逐步累积直至最终代理处理完毕。

关键在于将知识与执行能力分离。代理不会感到受限于如何拉动杠杆；相反，它们只能访问不会造成危害的杠杆。如果出现偏差行为，仅任务的该部分会受到影响。可以将其视为拥有完整上下文但不具备全部能力的微型 Kubernetes。

同时，使企业风险与代理系统的“文化”相关联。

在社会学中，有一种称为文化“紧密度”或“松散度”的概念，用以衡量一个社会对偏离文化规范的惩罚力度。例如，在许多阿拉伯文化中，性别角色定义更为严格，偏离会导致更高的评判或后果；而在北欧国家，留着粉色头发的莫霍克发型并不被视为冒犯或需要惩戒。

当文化因系统性威胁（如疾病、饥荒或战争）需要更高程度的秩序时，文化通常会变得“紧密”，对偏差的惩罚更为严厉，因为危机时期缺乏严格秩序会加剧社会后果。

在企业环境中解决代理责任的最有效方法是直接应用，并将企业的责任风险水平匹配到代理系统在“松散”与“紧密”光谱上的相应设置。

以下是该方案在实际公司中的可能实施方式:

低责任 / 高松散 / 低分区: 情景:内部头脑风暴、创意写作、战略研发。

• 环境: 偏差几乎不产生责任。因此，系统应以最大松散度运行。允许无约束的推理整合，鼓励代理进行大幅联想而不受惩罚。它们拥有多种技术杠杆（搜索、代码执行、草稿）并管理长远目标，手交接最少。高度自主，高创新，低分区。

中等责任 / 校准紧密: 情景:标准客户沟通、常规分析。

• 环境: 偏差会带来声誉或中等财务风险。

高责任 / 高紧密 / 高分区: 情景:医疗剂量、SEC 监管申报、核安全协议、国防。

• 环境: 偏差会导致灾难性、存在性责任（生命损失、巨额罚款）。此处文化极度紧密，工作流高度分区。代理 A 仅提取数据，交给代理 B，后者仅针对 A 层执行特定合规检查。代理 B 再交给代理 C，后者仅负责格式化输出。没有单一代理拥有足以导致灾难性失败的全部杠杆，但每个代理在其微域内都感受到充分的资源与自由。

这可能是首个在保持持久上下文的同时确保安全的架构模型。

持续学习而不致灾难性遗忘

接下来，我们需要解决的最后一个问题是如何防止模型灾难性遗忘。为此，我们必须让 AI 实时学习。

AI 公司普遍认为，AI 无法在实时生产环境中持续学习新信息而不完全覆盖和破坏其已获得的核心能力。因此，AI 实际上被冻结，直至进行大规模、昂贵的更新。

然而，这等同于说：“我的模型在工作中无法更新；每当需要学习新东西时，它必须去上大学”。

实际上，模型通过每一次交互以贪婪、主动、每日的方式学习。它们几乎从与用户的数十亿交互中学到的东西与数据集一样多。如果需要用大量新知识进行更新，最简单的方式是使用同样的过程，即利用用户上下文、记忆和大规模交互印象进行学习。

开发者持此观点可以理解，因为他们大多来自博士背景，而非真实的应用学习。但任何与博士和拥有二十年工作经验的人共事的人都能说明，两者都能教会很多。

当前对学习的定义过于狭窄，只把基于正规教育项目的适应视为有效。

目前，实验室在训练或微调时使用反向传播。模型读取数据、猜测下一个词、检查是否正确，然后物理地改变其神经网络中数十亿的数学参数（权重/参数），以在下次更准确。这相当于让博士生给自己做脑外科手术:危险、混乱，并不一定让学生更聪明。

就像口语中的“妈妈大脑”，在孩子出生时会把旧知识挤出以腾出空间给新知识一样，如果你强行让模型为新的知识“婴儿”腾出空间，并通过改变权重输入 10,000 页新法律条文，数学会向一个方向过度偏移，覆盖掉用于写诗或写代码的参数。它会忘记旧内容以容纳新内容，正如人脑一样。

我们需要的更像是培训新员工学习新技能的方式。不会去物理改变他们的大脑，而是给他们一些书籍，确保他们阅读，并通过相当于上下文窗口的方式持续更新。

要在模型中实现这一点，需要将记忆与推理分离。锁定并保护模型的基础权重，即其写作、推理和逻辑应用的核心能力。不要改变权重，而是将新信息传入上下文窗口，让模型利用注意力机制“读取”实时信息，并与已锁定的推理技能交叉参考，从而更新更广泛的理解。

动态的真实世界学习已经通过持续上下文、推理时记忆和持久的用户关系基线优雅实现。基础模型的每日适应应在工作中进行，因为正如医生在工作中学习 95% 的新案例现实，然后每年进行 CME（继续医学教育）以正式整合重大系统性变化，你的模型同样如此。

摒弃灾难性遗忘，采用年度会议模式:模型只需每年两次获取继续教育学分或实时学习以保持最新。

这些在运营停机期间对核心权重进行的计划性批量更新，可在不破坏基础的前提下形式化系统性知识。

过去的尝试之所以失败，并非因为实时学习本身危险，而是因为像 Tay 这样的模型被部署到对抗性环境中，缺乏通过社会学智能架构锚定的“正确”或真实的基准。