Lemurian Labs联合创始人兼首席执行官Jay Dawani – 采访系列

Jay Dawani是Lemurian Labs的联合创始人兼首席执行官。Lemurian Labs的使命是提供价格合理、易于使用和高效的AI计算机，基于这样的信念：AI不应该是奢侈品，而应该是每个人都能使用的工具。Lemurian Labs的创始团队结合了AI、编译器、数值算法和计算机架构的专业知识，团结在一个目标下：重新构想加速计算。

你能带我们了解你的背景和是什么让你最初对AI感兴趣吗?

当然可以。我从12岁开始编程，自己制作游戏等，但我实际上是在15岁时因为父亲的一个朋友对计算机感兴趣而开始接触AI。他激发了我的好奇心，给我书籍来读，如冯·诺伊曼的《计算机和大脑》，明斯基的《感知器》，罗素和诺维格的《人工智能：现代方法》。这些书对我的思维产生了很大的影响，当时我觉得AI将会带来变革，我必须成为这一领域的一部分。

当大学时期到来时，我真正想学习AI，但我没有找到任何提供AI课程的大学，所以我决定学习应用数学。进入大学后不久，我听说了AlexNet在ImageNet上的结果，这真是令人兴奋。在那时，我在脑海中经历了一个“现在或永远” 的时刻，于是全力以赴地阅读所有与神经网络相关的论文和书籍，并寻找该领域的领袖来向他们学习，因为你有多久才能在一个新行业的诞生时期学习，并从其先驱者那里学习。

很快我就意识到，我不喜欢研究，但我喜欢解决问题和构建AI启用的产品。这让我开始从事自动驾驶汽车和机器人、材料发现的AI、多物理模拟的生成模型、专业赛车驾驶员的AI模拟器和汽车设置、空间机器人、算法交易等等。

现在，经过这些经历后，我试图降低AI训练和部署的成本，因为这将是我们在使每个人和每家公司都能以最经济的方式访问和受益于AI的道路上面临的最大障碍。

许多从事加速计算的公司都有来自半导体和基础设施领域的创始人。你如何认为你过去在AI和数学方面的经验影响了你理解市场和有效竞争的能力?

我认为没有来自该行业的背景给我带来了局外人的优势。我发现，很多时候，不了解行业规范或传统智慧可以让你更自由地探索和更深入地研究，因为你不受偏见的影响。

我有机会与行业内的许多人交谈，他们对某些事情非常坚定，但他们无法告诉我这些想法的来源，我觉得这很令人费解。我喜欢了解为什么做出某些选择，什么假设或条件在那时成立，以及它们是否仍然成立。

来自AI背景，我倾向于从软件角度出发，观察当前的工作负载，并思考它们可能如何随时间变化，通过对整个机器学习管道进行建模来理解训练和推理的瓶颈，这告诉我哪里有机会提供价值。由于我来自数学背景，我喜欢通过建模来接近真相，并让它指导我。例如，我们建立了模型来计算系统的总拥有成本，并衡量我们可以为客户带来的好处，无论是通过软件还是硬件，以及更好地理解我们的约束和可用的杠杆。我们非常注重数据驱动，并使用这些模型的见解来指导我们的努力和权衡。

在AI领域，进展主要来自于扩大规模，这需要指数级增加计算和能量。看起来我们陷入了一场每家公司都试图建立最大的模型的军备竞赛中，似乎没有尽头。你认为是否有办法摆脱这种情况?

总会有办法。扩大规模已经被证明非常有用，我不认为我们已经见到了极限。我们很快就会看到以至少十亿美元的成本训练模型。如果你想成为生成性AI的领导者，创建最先进的基础模型，你每年需要在计算上花费至少几十亿美元。现在，扩大模型规模有自然的限制，例如构建足够大的数据集，获取合适的专业知识，获取足够的计算资源。

继续扩大模型规模是不可避免的，但我们不能把整个地球变成一个行星大小的超级计算机来训练和提供大型语言模型的服务。为了控制这一点，我们有几个可以调整的旋钮：更好的数据集，新的模型架构，新的训练方法，更好的编译器，算法改进和利用，改进的计算机架构等。如果我们做到这一点，大约有三个数量级的改进可以实现。这是最好的出路。

你是第一原则思考的信徒，如何将这种思维方式应用于经营Lemurian Labs?

我们在Lemurian绝对采用了很多第一原则的思考方式。我一直发现传统智慧具有误导性，因为这种知识是在某个时间点形成的，当时某些假设成立，但事物总是在变化，你需要经常重新测试假设，尤其是在我们生活的如此快速变化的世界中。

我经常问自己这样的问题：“这个想法看起来很好，但为什么它可能行不通？”或者“什么条件需要为真才能使其有效？”或者“我们知道什么是绝对真理，什么是我们正在做出的假设，为什么？”我们的目标是尽快、尽可能廉价地使想法失效。我们希望在任何时候尝试尽可能多的东西。它是关于对需要解决的问题着迷，而不是过于固执于某种技术。太多的人过于关注技术，最终误解了客户的问题，并错过了行业中的转变，这可能会使他们的方法失效，导致他们无法适应世界的新状态。

但第一原则的思考方式本身并不是特别有用。我们倾向于将其与倒推法结合使用，这基本上意味着想象一个理想或期望的未来结果，然后逆向推导出实现它所需的不同步骤或行动。这确保我们收敛于一个不仅创新而且扎根于现实的有意义的解决方案。它不合理地花时间来想出完美的解决方案，只是为了意识到它不可行，因为各种现实世界的约束，例如资源、时间、法规或构建看似完美的解决方案，但后来发现它对客户来说太难以采用。

有时我们发现自己处于需要做出决定但没有数据的情况下，我们会使用最小可测试假设，这给了我们一个信号，是否有意义地继续追求某事物，尽可能少地消耗精力。

所有这些结合起来是为了给我们带来敏捷性，快速迭代周期来快速降低风险，并帮助我们以高信心调整战略，在很短的时间内在非常困难的问题上取得了很多进展。

最初，你专注于边缘AI，什么导致你重新关注并转向云计算?

我们从边缘AI开始，因为当时我非常专注于解决一个特定的问题，我曾经在试图引入一个通用自主机器人世界时遇到了这个问题。自主机器人具有成为我们集体历史上最大的平台转变的承诺，但我们缺乏一种理想的推理芯片，具有合适的吞吐量、延迟、能效和可编程性来运行所谓的基础模型。

当时，我没有考虑数据中心，因为那里已经有足够多的公司在关注，我预计他们会解决这个问题。我们为这个应用领域设计了一种非常强大的架构，并准备好将其投入生产，然后变得非常明显，世界已经改变，真正的问题在于数据中心。LLM的扩张速度和计算资源的消耗远远超过了计算进步的步伐，当你考虑采用率时，它开始描绘出一个令人担忧的图景。

感觉这是我们应该专注的地方，为了降低数据中心中AI的能耗，尽可能不对AI的发展施加限制。于是，我们开始解决这个问题。

你能分享一下联合创立Lemurian Labs的故事吗?

这个故事始于2018年初。我当时正在训练一个通用自主性的基础模型，以及一个用于训练代理和为不同应用程序进行微调的生成多物理模拟模型等东西。但很快，我就用完了我拥有的计算资源，我估计需要超过20,000个V100 GPU。我试图筹集足够的资金来获取这些计算资源，但市场当时还没有准备好接受这种规模。然而，这让我开始思考部署方面的问题，我坐下来计算我需要多少性能来在目标环境中提供这个模型，我意识到没有一个芯片能够做到这一点。

两年后，在2020年，我与我的联合创始人瓦西尔见面，分享了我在构建自主性基础模型时遇到的挑战，他建议构建一个可以运行基础模型的推理芯片，并分享他一直在思考数字格式和更好的表示形式如何帮助不仅使神经网络在较低的位宽下保持准确性，还能创建更强大的架构。

这是一个有趣的想法，但它完全超出了我的专业领域。然而，它一直萦绕在我的脑海中，这促使我花费数月的时间学习计算机架构、指令集、运行时、编译器和编程模型的细节。最终，建立一家半导体公司开始有意义，我形成了一个关于问题和如何解决它的论点。然后，在那年的末尾，我们开始了Lemurian。

你以前谈到过在构建硬件时，首先解决软件问题的必要性。你能详细说明为什么你认为硬件问题首先是一个软件问题吗?

很多人没有意识到的是，半导体的软件方面比硬件本身更难。为客户构建一个有用的计算机架构是一个全栈问题，如果你没有这种理解和准备，你最终会得到一个看起来很漂亮、性能很好、效率很高，但对开发者完全不可用的架构，这才是真正重要的。

采取软件优先的方法还有其他好处，例如更快的上市时间。在今天快速变化的世界中，这一点至关重要，因为过于看好某种架构或功能可能意味着你完全错过了市场。

通常，未能采取软件优先的方法会导致在市场中未能使产品得到采纳，无法应对市场的变化（例如，当工作负载以意想不到的方式演变时），以及硬件利用率低。这些都不是好事。这就是为什么我们非常关注软件中心的方法，以及为什么我们认为你不能成为一家半导体公司，如果你不是一家软件公司的话。

你能讨论一下你当前的软件栈目标吗?

当我们设计我们的架构并思考前瞻性路线图和哪里有机会带来更多的性能和能效时，很快就变得明显，我们将看到更多的异构性，这将在软件上带来很多问题。我们不仅需要能够高效地编程异构架构，我们还需要在数据中心规模上处理它们，这是一个我们以前从未遇到过的挑战。

这让我们感到担忧，因为上一次我们经历了重大转变，是当行业从单核转向多核架构时，花了10年时间才使软件正常工作。我们不能等待10年来弄清楚异构性在规模上的软件问题，它必须现在就解决。于是，我们开始了解这个问题以及软件栈中需要存在什么才能使其成为现实。

我们目前正在与许多领先的半导体公司和超大规模计算/云服务提供商进行合作，并将在接下来的12个月内发布我们的软件栈。它是一个统一的编程模型，具有编译器和运行时，能够针对任何类型的架构，并能够跨由不同类型的硬件组成的集群协调工作，并且能够从单个节点扩展到一千个节点集群以实现最高的性能。

感谢这次精彩的采访，希望阅读更多的读者可以访问Lemurian Labs。