从摩尔定律到“OpenAI定律”：人工智能发展的指数轨迹
作者 Antoine Tardif, Unite.AI 首席执行官兼创始人 人工智能正在以难以理解的速度发展。为了描述这一现象，内部人士开始引用所谓的“OpenAI定律”——一个与摩尔定律相似的现代概念，但其增长速度更快。这一术语是在书《人工智能帝国》中被广泛引用的，该书讲述了OpenAI的崛起和人工智能领域的竞争。在这本书中，“OpenAI定律”被用来描述过去十年中计算需求和人工智能能力的指数级增长。虽然“OpenAI定律”不是一个正式的科学定律，但它指的是一个真实且可衡量的趋势：训练前沿人工智能模型所需的计算能力以远超摩尔定律的速度迅速增加。在实践中，人工智能计算能力大约每三到四个月就翻一番，而摩尔定律的周期是18-24个月。这一指数曲线支撑着现代人工智能的发展，为未来创造了条件，这个未来比大多数人预期的要来得更快。摩尔定律：数字时代的引擎摩尔定律曾是个人电脑、智能手机和云计算发展的驱动力。它预测芯片上的晶体管数量将大约每两年翻一番，从而带来计算能力、能效和成本的指数级增长。几十年来，这一简单的模式一直保持不变，使每一代硬件都比上一代更强大。但是，当物理和经济限制在2010年代被突破时，摩尔定律开始放缓。工程师们通过使用更多的核心、3D芯片堆叠和专用处理器来延长性能——但容易获得的收益已经消失。大约在那时，人工智能研究，得益于深度学习的突破，开始与传统的摩尔定律轨迹分离。OpenAI定律的诞生：人工智能计算的指数曲线在2010年代初，研究人员发现，将更多的计算资源投入大规模神经网络可以带来越来越强大的人工智能能力。从2012年开始，用于训练最大的人工智能模型的计算能力大约每3-4个月就翻一番。这是一个令人惊讶的加速——远远快于摩尔定律。在六年内，用于训练最先进的人工智能模型的计算能力增加了超过300,000倍。虽然摩尔定律在此期间只会带来7倍的增长，但人工智能计算能力由于大规模扩张而呈指数级增长。这一现象被非正式地称为“OpenAI定律”——一个由像OpenAI这样的组织自我强加的轨迹，他们相信，扩大模型规模和计算能力是实现人工智能更快进步的最快途径。书《人工智能帝国》详细描述了这一转变，阐述了OpenAI及其领导层如何尽管面临成本增加，但仍致力于这一战略，因为他们相信这是解锁变革性能力的最直接途径。批评者认为，OpenAI定律不是物理必然性——而是一种战略决策。人们认为“更多的计算能力意味着更好的人工智能”的信念成为指导原则，得到了大量投资、基础设施建设和与云服务提供商的合作的支持。扩展假设和新的军备竞赛支撑OpenAI定律的是扩展假设：简单地使模型更大、在更多数据上训练并使用更多的计算能力会带来更好的结果。随着每个成功模型的出现——GPT-2、GPT-3、GPT-4——都展示了流畅性、推理和多模态理解的飞跃。这一趋势的核心是科技公司之间激烈的竞争，以主导人工智能的前沿。结果是一种军备竞赛，每一个新的里程碑都需要比前一个里程碑更多的计算资源。训练大型模型现在需要成千上万的高端GPU同时运行。未来模型的预测涉及可能达到或超过100亿美元的计算预算，以及巨大的电力和基础设施需求。这一趋势导致了一种新的指数曲线——不再由晶体管数量定义，而是由扩大计算能力的意愿和能力定义。比较：黄仁勋定律和库兹韦尔加速回报定律为了充分理解OpenAI定律的意义，探索其他基础框架以了解技术进步超越摩尔定律的意义是有帮助的。黄仁勋定律，以NVIDIA CEO黄仁勋命名，描述了GPU在人工智能工作负载方面的性能改进速度远远快于摩尔定律。在五年内，GPU的性能增强超过25倍，远远超过传统晶体管扩张预期的10倍改进。这一加速并非仅仅由于芯片密度——而是系统级创新所致。GPU架构的改进、内存带宽的增加、高速互连以及CUDA和深度学习库等软件生态系统的进步都促成了这些收益。调度、张量运算和并行性等工程优化也发挥了至关重要的作用。单GPU推理和训练任务的性能改进在过去十年中已达到1,000倍，推动这一增长的是硬件和软件创新叠加的效果。实际上，GPU在人工智能任务方面的能力每6-12个月就翻一番——比摩尔原始曲线快三到四倍。这一无情的步伐使GPU成为现代人工智能的必备引擎，使得大规模并行训练成为可能，这些训练是OpenAI定律的基础。库兹韦尔加速回报定律将指数增长的理念更进一步——它提出，指数增长的速度本身会随着时间的推移而加速。根据这一原理，每一次技术突破不仅仅是独立的；它创造了工具、平台和知识，使下一次突破发生得更快、更高效。这导致了一个复合效应，技术变革自我强化，速度和频率都在加速。库兹韦尔认为，这一动态将把几个世纪的进步压缩到几十年内。如果进步的速度每十年翻一番，那么21世纪可能会经历一场令人惊叹的飞跃——相当于几万年以历史速度计算的进步。这一定律对于人工智能尤其相关。现代人工智能不再只是进步的对象——它已经成为进步的加速器。人工智能系统已经开始帮助设计新芯片、优化神经网络、进行科学研究，甚至编写用于构建其后继者的代码。这创造了一个递归改进循环，每一代人工智能都改进了下一代，缩短了开发时间表，放大了能力。这种反馈循环开始类似于一些人所说的智能爆炸：一种情景，其中人工智能系统能够在没有人类干预的情况下快速自我改进。结果是一个曲线，不仅仅是陡峭上升——而是由于迭代周期的收缩和突破的级联而向上弯曲。如果这种模式继续下去，我们可能会见证一个技术进步的阶段，这种进步感觉几乎是瞬间的——整个行业、科学领域和思维方式在几个月内而不是几十年内演变。OpenAI定律适合这一系列作为需求侧的指数增长表达。与摩尔定律或黄仁勋定律不同，后者描述了硬件改进的速度，OpenAI定律反映了研究人员实际选择消耗多少计算资源来获得更好的结果。它表明，人工智能的进步不再严格受限于芯片的能力，而是由研究人员愿意和能够扩大规模的意愿决定的。由巨大的云基础设施和数十亿美元的投资推动，OpenAI定律代表了一个新时代，在这个时代，能力的增长不仅仅是通过创新，还通过有意、集中的努力实现的。这些定律共同描绘了指数增长的多维视图。摩尔和黄仁勋定义了计算能力的供应。库兹韦尔绘制了进步的元趋势。OpenAI定律强调了一种新的技术雄心——在这个时代，推动极限不再是可选的，而是核心战略。承诺：为什么指数人工智能很重要OpenAI定律的影响深远。从乐观的角度来看，指数级扩张已经带来了惊人的结果。人工智能系统现在可以撰写文章、生成代码、协助科学研究，并进行出乎意料的流畅对话。每10倍的规模增长似乎都会解锁新的出现能力，表明我们可能正在接近通用人工智能（AGI）.人工智能可能很快就会改变从教育和医疗到金融和材料科学等各个行业。如果OpenAI定律继续成立，我们可能会见证几年内的突破，这些突破本来需要几十年的创新才能实现。这就是我们创造的一个新术语的本质：“人工智能逃逸速度”——人工智能开始自我改进的时刻，从而推动进步进入自我强化的指数级冲刺。代价：环境、经济和伦理成本但是指数增长并非没有代价。训练前沿模型现在消耗了大量的电力和水。成千上万的GPU连续运行数周，产生了严重的环境问题，包括碳排放和热浪。人工智能芯片的供应链也面临着压力，引发了地缘政治和可持续性问题。从经济角度来看，只有最大的科技公司或资金充足的初创公司才能负担得起跟随曲线的费用。这导致了权力的集中，少数组织控制着智能的前沿。从伦理角度来看，OpenAI定律鼓励一种竞争心态——更大、更快、更早——这可能导致过早部署、未经测试的系统和安全捷径。人们越来越担心，一些前沿模型可能在社会完全理解其影响之前就被发布了。为了减轻这一问题，研究人员已经提出了治理框架，这些框架根据训练模型所用的计算量来跟踪人工智能的发展，而不是模型的功能。由于计算量是预测模型能力的最佳指标之一，因此它可以成为风险评估和监管的代理指标。扩张的极限：曲线弯曲时会发生什么？尽管取得了令人印象深刻的成就，但人们对扩张趋势能否持续的疑问仍然存在。有些人认为，我们已经看到回报递减：更大的模型消耗更多的计算资源，但仅带来微小的改进。其他人认为，效率、算法设计或模型架构方面的突破可能会使曲线变平而不会减缓进步。更小、更智能的模型可能比蛮力巨人更具吸引力。此外，公众压力、监管和基础设施限制可能会迫使行业重新思考“无限制扩张”的心态。如果电网、预算或社会同意跟不上，指数级人工智能可能会遇到天花板——或者至少是一个转折点。前路：指数人工智能的未来目前，OpenAI定律仍然是观察人工智能未来的一个清晰视角。它解释了我们如何在不到十年内从简单聊天机器人发展到多模态通用系统——以及为什么下一波进步可能更加戏剧性。然而，这一法则也带来了权衡：获取不平等、成本增加、环境负担和安全挑战。随着我们加速进入这个新时代，社会将需要面对基本问题： 谁来塑造人工智能的未来？ 我们如何平衡进步与谨慎？ 什么系统是必要的，以便在人工智能能力超出人类控制之前管理它？ OpenAI定律并非不可改变。像摩尔定律之前一样，它可能最终会放缓、停滞或被新的范式取代。但就目前而言，它既作为警告，也作为路线图——提醒我们，人工智能的未来不仅仅是在进步——它正在以指数级的速度推进。但是，随着这种力量而来的责任是：确保人类不会在指数级进步的同时遭受指数级的伤害。我们不仅仅是在见证历史——我们正在以指数级的速度创造历史。但是，随着这种力量而来的责任是：确保人类不会在指数级进步的同时遭受指数级的伤害。
