Jay Dawani 是 Lemurian Labs 的联合创始人兼 CEO – 采访系列

Jay Dawani 是 Lemurian Labs 的联合创始人兼 CEO。Lemurian Labs 的使命是提供价格合理、易于使用和高效的 AI 计算机，驱动这一使命的信念是 AI 不应该是一种奢侈品，而应该是一种人人都能使用的工具。Lemurian Labs 的创始团队在 AI、编译器、数值算法和计算机架构方面拥有专业知识，团结在一个目标下：重新想象加速计算。

您能否带我们了解您的背景以及是什么让您最初对 AI 感兴趣？

当然。我从 12 岁开始编程，并自己制作游戏等，但我实际上是在 15 岁时因为父亲的一个朋友对计算机感兴趣而开始接触 AI 的。他激发了我的好奇心，并给我提供了书籍，如 Von Neumann 的《计算机和大脑》、Minsky 的《感知器》、Russel 和 Norvig 的《AI 现代方法》。这些书籍对我的思维产生了很大的影响，当时我觉得 AI 将会带来变革，我必须成为这一领域的一部分。

当我准备上大学时，我真的很想学习 AI，但我没有找到任何提供 AI 课程的大学，所以我决定学习应用数学。后来，我在大学期间听说了 AlexNet 在 ImageNet 上的结果，这让我非常兴奋。当时，我在脑海中经历了一个“现在或永远” 的时刻，我全身心地投入到阅读所有与神经网络相关的论文和书籍中，并寻找该领域的领导者来向他们学习，因为你有多久机会能在一个新行业的诞生时期学习，并从其先驱者那里学习？

很快，我意识到我不喜欢研究，但我喜欢解决问题和构建 AI 启用的产品。这让我开始从事自主车辆和机器人、材料发现的 AI、多物理模拟的生成模型、专业赛车驾驶员的 AI 基于模拟器和车辆设置、太空机器人、算法交易等方面的工作。

现在，经过这些经历后，我正在尝试降低 AI 训练和部署的成本，因为这将是我们在使每个人和公司都能以最经济的方式使用和受益于 AI 的道路上面临的最大障碍。

许多从事加速计算的公司都有来自半导体和基础设施领域的创始人。你如何认为你的 AI 和数学背景会影响你理解市场和有效竞争的能力？

我认为不来自该行业给我带来了局外人的优势。我发现，不具备行业常识或传统智慧往往能让我更自由地探索和深入研究，因为我不受偏见的限制。

我有机会提出“愚蠢”的问题，并以一种其他人可能不会的方式测试假设。过去两年里，我与行业内的许多人进行了交谈，他们对某些事情非常坚持，但他们无法告诉我这些想法的来源，这让我感到很困惑。我喜欢了解为什么做出某些选择，什么假设或条件在那时成立，以及它们是否仍然成立。

从 AI 背景出发，我倾向于从软件角度出发，观察当前的工作负载，并思考它们可能如何随时间变化，并对整个机器学习管道进行建模，以了解瓶颈，这告诉我哪里有机会提供价值。由于我来自数学背景，我喜欢建模以尽可能接近真相，并让它指导我。例如，我们建立了模型来计算系统性能的总拥有成本，我们可以衡量为客户带来什么好处，无论是通过软件还是硬件，并更好地了解我们的约束和可用的不同控制变量，以及其他许多模型。我们非常注重数据驱动，我们使用这些模型的见解来指导我们的努力和权衡。

似乎 AI 的进展主要来自扩大规模，这需要指数级增加计算和能量。似乎我们陷入了一场每家公司都试图建立最大的模型的竞争中，似乎没有尽头。你认为有没有办法摆脱这种情况？

总会有办法。扩大规模已经被证明是非常有用的，我不认为我们已经看到其极限。我们很快就会看到模型以至少一亿美元的成本进行训练。如果你想在生成式 AI 领域成为领导者，并创建最先进的基础模型，你需要每年在计算上花费至少几十亿美元。

继续扩大模型规模是不可避免的，但我们也不能把整个地球变成一个星球大小的超级计算机来训练和提供大型语言模型。为了控制这一点，我们可以调整几个参数：更好的数据集、新型模型架构、新型训练方法、更好的编译器、算法改进和利用、更好的计算机架构等。如果我们做到这一点，大约有三个数量级的改进可以实现。这是最好的出路。

您是第一原则思维的信徒，您如何运用这种思维方式来指导 Lemurian Labs 的运营？

我们在 Lemurian Labs 中确实采用了很多第一原则思维。我一直认为传统智慧具有误导性，因为这种知识是在某个时间点形成的，当时某些假设成立，但事物总是在变化，你需要经常重新测试假设，尤其是在我们生活的快速变化的世界中。

我经常问自己这样的问题：“这个想法看起来很好，但为什么它可能行不通”，“什么条件需要为真才能使其有效”，“我们知道什么是绝对真理，什么是我们做出的假设，为什么？”，“为什么我们认为这种方法是解决这个问题的最佳方式”。目标是尽快、尽可能廉价地使想法失效。我们希望尝试尽可能多的东西。关键是要痴迷于需要解决的问题，而不是过于固执于哪种技术是最好的。太多人过于关注技术，最终误解了客户的问题，并错过了行业的转变，这可能会使他们无法适应新形势。

但第一原则思维本身并不是特别有用。我们倾向于将其与倒推法结合起来，这基本上意味着想象一个理想或期望的结果，然后逆向推导出实现它所需的不同步骤或行动。这确保我们收敛到一个不仅创新而且扎根于现实的有意义的解决方案。没有意义的是花时间想出完美的解决方案，只是为了意识到它不可行，因为各种现实世界的约束，如资源、时间、法规或构建看似完美的解决方案，但后来发现它对客户来说太难以采用。

有时我们会发现自己处于需要做出决定但没有数据的情况下，在这种情况下，我们会使用最小可测试假设，它们为我们提供了一个信号，表明是否值得投入最少的能量来追求某事。所有这些结合起来是为了给我们带来敏捷性、快速的迭代周期来快速降低风险，并帮助我们以高信心调整策略，并在很短的时间内取得了很大的进展。

最初，您专注于 边缘 AI，是什么让您重新关注并转向云计算？

我们从边缘 AI 开始，因为当时我非常专注于解决一个特定的问题，我曾经面临过这个问题，试图引入一个通用自主机器人。自主机器人具有成为我们集体历史上最大的平台转变的潜力，似乎我们拥有构建机器人基础模型所需的一切，但我们缺乏理想的推理芯片，具有合适的吞吐量、延迟、能效和可编程性来运行该基础模型。

当时，我没有考虑数据中心，因为有足够多的公司专注于此，我预计他们会解决这个问题。我们为这个应用领域设计了一个真正强大的架构，并准备好进行tapeout，然后变得非常明显，世界已经改变，真正的问题在于数据中心。LLM 的扩张速度和计算消耗远远超过了计算进步的步伐，当你考虑采用时，它开始描绘出一个令人担忧的图景。

感觉这就是我们应该专注努力的地方，降低数据中心中 AI 的能耗尽可能多，不施加限制于 AI 应该如何演进。于是，我们开始解决这个问题。

您能否分享 Lemurian Labs 的创立故事？

这个故事始于 2018 年初。我当时正在训练一个通用自主性的基础模型，以及一个用于训练和微调该模型的多物理模拟的生成模型，还有一些其他东西来帮助扩展到多代理环境。但很快，我就用完了我拥有的计算资源，我估计需要超过 20,000 个 V100 GPU。我试图筹集足够的资金来获取计算资源，但市场还没有准备好接受这种规模。然而，这让我开始思考部署方面的事情，我坐下来计算在目标环境中提供该模型所需的性能，我意识到没有一个芯片能够满足我的需求。

两年后，在 2020 年，我与 Vassil 会面，他是我未来的联合创始人，我们见面聊天，我分享了我在构建自主性基础模型时面临的挑战，他建议构建一个可以运行基础模型的推理芯片，并分享他一直在思考数字格式和更好的表示形式将有助于不仅使神经网络在较低的位宽下保持准确性，还有助于创建更强大的架构。这是一个有趣的想法，但它超出了我的专业领域。然而，它一直萦绕在我的脑海中，这促使我花了几个月的时间学习计算机架构、指令集、运行时、编译器和编程模型的细节。最终，建立一家半导体公司开始有意义，我形成了一个关于问题是什么以及如何解决它的论点。然后，在年底，我们开始了 Lemurian。

您之前曾谈到在构建硬件时需要先解决软件问题，您能否详细说明为什么您认为硬件问题首先是一个软件问题？

很多人没有意识到的是，半导体的软件方面比硬件本身更难。构建一个对客户有用的计算机架构是一个全栈问题，如果你没有这种理解和准备，你最终会得到一个美丽的架构，非常高效，但完全不可用于开发人员，这才是真正重要的。

采取软件优先的方法还有其他好处，例如更快的上市时间。这在今天快速变化的世界中至关重要，在这个世界中，对架构或功能过于乐观可能意味着你完全错过了市场。

通常，未采用软件优先方法的结果是未能降低产品在市场上被采用所需的重要事项，无法应对市场的变化，例如当工作负载以意外的方式演变时，无法利用硬件。这些都不是好事。这就是为什么我们非常关心软件中心的方法，也就是为什么我们认为你不能成为一家半导体公司，如果你不是一家软件公司的话。

您能否讨论您的即时软件栈目标？

当我们设计我们的架构并思考前瞻性路线图和哪里有机会带来更多性能和能效时，很明显我们将看到更多异构性，这将在软件方面带来很多问题。我们不仅需要能够高效地编程异构架构，还需要在数据中心规模上处理它们，这是一个我们以前从未遇到的挑战。

这让我们感到担忧，因为上一次我们经历了重大转变是当行业从单核转向多核架构时，那时花了 10 年时间让软件正常工作。我们不能等待 10 年来弄清楚异构性在规模上的软件问题，它必须现在就解决。于是，我们开始了解问题和软件栈存在所需的条件。

我们目前正在与许多领先的半导体公司和超大规模公司/云服务提供商合作，并将在接下来的 12 个月内发布我们的软件栈。它是一个统一的编程模型，具有能够针对任何类型架构的编译器和运行时，并能够跨由不同类型硬件组成的集群协调工作，能够从单个节点扩展到千节点集群以实现最高性能。

感谢这次精彩的采访，希望了解更多的读者可以访问 Lemurian Labs。