Jay Dawani, Co-founder and CEO, Lemurian Labs Jay Dawani Co-founder and CEO, Lemurian Labs

如何避免用人工智能烧毁海洋

当我们探索人工智能的前沿时，我发现自己不断反思我们正在开创的技术的双重性质。人工智能在其本质上不仅仅是算法和数据集的集合；它是我们集体智慧的体现，旨在解决人类面临的一些最复杂的挑战。然而，作为 Lemurian Labs 的联合创始人和首席执行官，我深刻意识到在将人工智能融入日常生活的每个方面时所伴随的责任。这迫使我们问：如何在不损害地球健康的情况下发挥人工智能的无限潜力？创新与全球变暖技术创新总是伴随着你不能总是预料到的副作用。在人工智能的例子中，它需要比其他类型的计算更大量的能量。国际能源机构最近报告称，训练一个单一模型使用的电力比 100 个美国家庭在一年内消耗的电力还多。所有这些能量都带来了代价，不仅对于开发者，也对于我们的星球。就在去年，能源相关的二氧化碳排放量达到历史最高水平，达到 37.4 亿吨。人工智能不会放慢速度，所以我们必须问自己 – 为人工智能和对我们星球的影响而付出的能量是否值得？人工智能是否比我们能够呼吸自己的空气更重要？我希望我们永远不会达到这种地步，但如果没有改变，它并不是太遥远的未来。我并不是唯一一个呼吁在人工智能中提高能源效率的人。在最近的博世连接世界会议上，埃隆·马斯克指出，人工智能“可能是有史以来最大的技术革命的边缘”，但表达了我们可能会在明年看到电力短缺的担忧。人工智能的能耗不仅是一个技术问题，也是一个全球问题。将人工智能视为复杂系统为了解决这些低效问题，我们需要将人工智能视为一个复杂的系统，具有许多相互连接和移动的部分，而不是一个独立的技术。这个系统涵盖了从我们编写的算法到我们依赖的库、编译器、运行时、驱动程序、硬件以及为所有这些提供动力的能量。通过采用这种整体视角，我们可以在人工智能开发的每个层次识别和解决低效问题，开辟出既技术先进又环境负责的解决方案的道路。将人工智能理解为相互连接的系统和过程，照亮了通往既高效又有效的创新解决方案的道路。人工智能的通用软件栈人工智能的当前开发过程高度分散，每种硬件类型都需要一个特定的软件栈，该软件栈仅在该设备上运行，并且有许多专门的工具和库针对不同的问题，绝大多数都是不兼容的。开发人员已经在努力编程系统芯片（SoC），例如边缘设备（如移动电话）中的芯片，但很快，移动设备中发生的一切都会在数据中心发生，并且会变得更加复杂。开发人员将不得不拼凑和处理一个由许多不同编程模型、库组成的复杂系统，以便从他们越来越异构的集群中获得性能，这比他们已经做的要多得多。而这只是用于训练。例如，编程和从具有数千到数万个 CPU 和 GPU 的超级计算机中获得性能是非常耗时的，需要非常专业的知识，即使这样，也会浪费很多东西，因为当前的编程模型不适用于这种规模，导致能量浪费，这将随着我们继续扩大模型而变得更加严重。解决这个问题需要一种可以解决碎片化问题并使编程和从现有供应商的日益异构硬件中获得性能更简单的通用软件栈。这也将促进人工智能和计算机体系结构的创新，并增加人工智能在更多行业和应用中的采用率。对高效硬件的需求除了实施通用软件栈外，优化底层硬件以获得更好的性能和效率也至关重要。图形处理单元（GPU）最初是为游戏设计的，尽管它们非常强大和有用，但在扩展到数据中心的超级计算机级别时，它们会表现出很多低效。当前的 GPU 无限扩展会导致开发成本增加、硬件可用性短缺和二氧化碳排放量显著增加。这些挑战不仅是巨大的进入壁垒，而且对整个行业都有影响。因为说实话 – 如果世界上最大的科技公司都在努力获得足够的 GPU 和为其数据中心提供足够的能量，那么对于我们其他人来说就没有希望了。关键转折点在 Lemurian Labs，我们亲身经历了这一点。2018 年，我们是一家小型人工智能初创公司，试图建立一个基础模型，但纯粹的计算能力所需的成本是不可接受的。所需的计算能力本身就足以将开发成本推高到不仅对于我们这样的小型初创公司，而对于除世界上最大的科技公司外的任何人都是无法承受的。这促使我们从开发人工智能转向解决使其无法访问的根本挑战。我们从基础开始，开发了一种完全新的基础算术来为人工智能提供动力。称为 PAL（并行自适应对数），这种创新数系统使我们能够创建一种处理器，能够在基准人工智能工作负载上实现传统 GPU 的...