关注我们.

未来派系列

从摩尔定律到“OpenAI定律”:人工智能发展的指数轨迹

mm

发布时间

 on

人工智能正以难以理解的速度发展。为了描述这一现象,业内人士开始引用一些人称之为 “OpenAI 法则”——与摩尔定律平行的现代定律,但更陡峭得多。这一术语在书中引起了更广泛的关注 人工智能帝国本书记录了OpenAI的崛起以及人工智能(AGI)竞赛的展开。书中用“OpenAI定律”来概括过去十年计算需求(以及由此带来的AI能力)的飞速增长。

OpenAI 定律虽然并非正式的科学定律,但它指的是一个真实且可衡量的趋势:用于训练前沿 AI 模型的计算能力正在快速翻倍,其速度远超摩尔定律。实际上,AI 计算能力大约每三到四个月翻一番,而摩尔定律则要求 18-24 个月翻一番。这一指数曲线支撑着现代 AI 的繁荣,并为一个比大多数人预期更快到来的未来奠定了基础。

摩尔定律:驱动数字时代的引擎

摩尔定律 是个人电脑、智能手机和 云计算它预测芯片上的晶体管数量大约每两年就会翻一番,从而带来计算能力、能源效率和成本降低的指数级增长。

几十年来,这种简单的模式始终有效,使得每一代硬件的性能都比上一代呈指数级增长。但随着2010年代物理和经济极限的逼近,摩尔定律开始放缓。工程师们的应对之策是使用更多核心、3D芯片堆叠和专用处理器来提升性能——但这种轻松的提升已经消失。

大约在这个时候,人工智能研究 深入学习 突破,开始偏离摩尔定律的传统轨迹。

OpenAI 定律的诞生:AI 的爆炸式计算曲线

2010 年代初,研究人员发现,向大规模神经网络输入更多计算能力,可以提升 AI 能力。从 2012 年左右开始,最大规模 AI 训练所需的计算量大约每 3 到 4 个月翻一番。

这是一个惊人的加速——比摩尔定律快得多。六年来, 最先进的AI模型提高了300,000倍以上。 虽然摩尔定律当时只能带来 7 倍的增长,但由于大规模的扩展,人工智能计算能力却实现了飞速增长。

这种现象被非正式地称为 OpenAI 法则这是 OpenAI 等组织自我设定的轨迹,他们认为扩展模型大小和计算能力是实现 人工智能(AGI). 这本书 人工智能帝国 详细描述了这种转变,说明了 OpenAI 及其领导层如何在成本上升的情况下致力于这一战略,因为他们相信这是释放变革能力的最直接途径。

至关重要的是,OpenAI 定律并非物理上的必然,而是一项战略决策。“更多计算等于更优的 AI”这一信念已成为指导原则,并得到了大规模投资、基础设施建设以及与云服务提供商的合作的支持。

缩放假说与新军备竞赛

OpenAI 法则的基础是 尺度假设:认为仅仅扩大模型规模,并用更多数据和更多计算能力进行训练,就能获得更高质量的结果。随着 GPT-2、GPT-3、GPT-4 等后续模型在流畅性、推理能力和多模态理解能力方面取得飞跃性进展,这一假设也逐渐受到关注。

这一趋势的核心是科技公司之间为主导人工智能前沿而展开的激烈竞争。其结果是一种 军备竞赛其中每一个新的里程碑都需要比上一个里程碑更多的计算资源。

如今,训练大型模型需要数万个高端 GPU 并行运行。未来模型的计算预算预计将接近甚至超过 100 亿美元,同时对电力和基础设施的需求也十分巨大。

这种趋势导致了一种新的指数曲线——不再由晶体管数量定义,而是由不惜一切代价扩展计算的意愿和能力定义。

比较:黄氏定律和 库兹韦尔加速回报定律

为了充分理解 OpenAI 定律的意义,探索摩尔定律之外塑造我们对技术进步理解的其他基础框架会有所帮助。

黄氏定律, 以 NVIDIA 首席执行官黄仁勋 (Jensen Huang) 的名字命名,描述了 GPU 在 AI 工作负载下的性能提升速度远超摩尔定律的现象。五年间,GPU 的性能提升超过 25 倍,远远超过传统晶体管微缩下预期的约 10 倍提升。

这种加速并非仅仅归功于芯片密度,而是系统级创新的成果。GPU 架构的改进、内存带宽的提升、高速互连以及 CUDA 和深度学习库等软件生态系统的进步都促成了这些进步。调度、张量运算和并行性方面的工程优化也发挥了至关重要的作用。

在过去十年中,在软硬件创新的推动下,单 GPU 推理和训练任务的性能提升已达到 1,000 倍。实际上,GPU 执行 AI 任务的能力每 6 到 12 个月就会翻一番,比摩尔定律最初的增长速度快三到四倍。这种持续的进步使 GPU 成为现代 AI 不可或缺的引擎,并实现了大规模并行训练,从而支撑了 OpenAI 定律。

库兹韦尔加速回报定律 将指数增长的概念更进一步——它提出指数增长本身的速度会随着时间的推移而加速。根据这一原则,每一项技术突破都并非孤立存在;它创造了工具、平台和知识,使下一个突破更快、更高效地发生。这导致了复合效应,即技术变革自我促进,在规模和频率上都不断加速。

库兹韦尔认为,这种动态变化将把原本需要几个世纪才能实现的进步压缩到短短几十年。如果进步速度每十年翻一番,那么21世纪将经历一次惊人的飞跃——相当于以历史速度推进数万年。

这条定律与人工智能尤为相关。现代人工智能已不再仅仅是进步的主体,而是进步的加速器。人工智能系统已开始协助设计新芯片、优化神经网络、开展科学研究,甚至编写用于构建其后续产品的代码。这形成了一个递归改进循环,每一代人工智能都会改进下一代,从而缩短开发时间并成倍提升其能力。

这种反馈循环开始类似于一些人所说的 情报爆炸:人工智能系统能够在无人干预的情况下快速自我提升。其结果是,随着迭代周期的崩溃和突破层层递进,曲线不仅会急剧上升,还会急剧向上弯曲。如果这种模式持续下去,我们可能会见证一个几乎瞬间完成的技术进步阶段——整个行业、科学领域和思维模式的演变只需数月而非数十年。

OpenAI 定律符合这一规律,是指数增长的需求侧表达。与描述硬件改进速度的摩尔定律或黄氏定律不同,OpenAI 定律反映的是研究人员为了追求更佳结果而实际消耗的计算资源量。它表明,人工智能的进步不再严格受限于芯片的功能,而是取决于研究人员的意愿(并且能够)扩展的能力。在庞大的云基础设施和数十亿美元投资的推动下,OpenAI 定律代表了一个新时代的到来:能力的增长不仅来自创新,更来自有意识的、集中的力量。

这些定律共同勾勒出指数增长的多维视角。摩尔和黄仁勋定义了计算的供给。库兹韦尔描绘了复合增长的元趋势。OpenAI 定律则凸显了一种新的技术野心——突破极限不再是可有可无的,而是核心战略。

前景:指数级人工智能为何如此重要

OpenAI 定律的含义十分深远。

从乐观的角度来看,指数级增长已经产生了惊人的效果。人工智能系统现在可以写论文, 生成代码协助科学研究,并进行令人惊讶的流畅对话。规模每增加10倍,似乎就能释放出新的能力,这表明我们可能正在一步步接近通用人工智能。

人工智能可能很快会改变教育、医疗、金融等各个行业, 材料科学如果 OpenAI 定律继续成立,我们可能会见证将数十年的创新压缩到短短几年的突破。

这就是我们创造的一个新术语的精髓:“人工智能逃逸速度“——人工智能开始自我完善的时刻,推动进步进入自我强化、指数级增长的状态。

代价:环境、经济和道德成本

但指数增长并不是免费的。

如今,训练前沿模型需要消耗大量的电力和水资源。连续数周为数千个 GPU 供电会带来严重的环境问题,包括碳排放和热浪费。人工智能芯片的供应链也面临压力,引发了地缘政治和可持续性问题。

从财务角度来看,只有规模最大的科技公司或资金雄厚的初创公司才能保持领先地位。这导致了权力的集中,少数组织控制着情报前沿。

从伦理角度来看,OpenAI 的“法律”鼓励一种“竞相追逐”的思维模式——追求更大、更快、更早——这可能导致过早部署、系统未经测试以及走安全捷径。人们越来越担心,一些前沿模型可能会在社会尚未完全理解其影响之前就发布。

为了缓解这种情况,研究人员提出 治理框架 追踪人工智能发展的标准不是模型表现如何,而是训练模型所需的计算量。由于计算能力是模型能力的最佳预测指标之一,它可以成为风险评估和监管的指标。

扩展的极限:曲线弯曲时会发生什么?

尽管取得了令人瞩目的进展,但对于这种扩展趋势能持续多久仍存在争议。一些人认为,我们已经看到了收益递减:更大的模型消耗更多的计算资源,但带来的改进却微乎其微。

另一些人则认为,效率、算法设计或模型架构方面的突破可以在不减缓进展的情况下拉平曲线。更小、更智能的模型可能比那些依靠蛮力的庞然大物更具吸引力。

此外,公众压力、监管和基础设施限制可能会迫使该行业重新思考“不惜一切代价扩大规模”的思维模式。如果电网、预算或社会认同跟不上,指数级增长的人工智能可能会遇到瓶颈——或者至少是一个转折点。

未来之路:描绘指数级人工智能的未来

目前,OpenAI 定律仍然是洞察人工智能未来最清晰的视角之一。它解释了我们如何在不到十年的时间里从初级聊天机器人发展到多模态通用系统,以及下一波进步为何可能更加迅猛。

然而,这项法律也存在一些弊端:获取途径不平等、成本上升、环境负担以及安全挑战。随着我们加速迈入这个新时代,社会将需要面对一些根本性问题:

  • 谁能塑造人工智能的未来?
  • 我们如何在进步与谨慎之间取得平衡?
  • 在指数能力超出人类控制范围之前,需要什么系统来管理它?

OpenAI 定律并非一成不变。如同之前的摩尔定律一样,它最终可能会放缓、停滞,或被新的范式取代。但就目前而言,它既是警示,也是路线图——提醒我们,人工智能的未来不仅仅是不断进步,更是复合式发展。

我们不仅见证历史,更以指数级的速度创造历史。但这种力量也伴随着责任:确保人类在指数级进步的同时,不会遭受指数级的伤害。

Antoine 是一位富有远见的领导者,也是 Unite.AI 的创始合伙人,他对塑造和推动人工智能和机器人技术的未来有着坚定不移的热情。作为一名连续创业者,他相信人工智能将像电力一样颠覆社会,并经常对颠覆性技术和 AGI 的潜力赞不绝口。

作为一个 未来学家他致力于探索这些创新将如何塑造我们的世界。此外,他还是 证券一个专注于投资重新定义未来和重塑整个行业的尖端技术的平台。