面试
Jay Dawani 是 Lemurian Labs 联合创始人兼首席执行官 – 访谈系列
Jay Dawani 是 Lemurian Labs 的联合创始人兼首席执行官。 勒穆里亚实验室 其使命是提供价格实惠、易于使用且高效的人工智能计算机，其信念是人工智能不应该是奢侈品，而应该是每个人都可以使用的工具。 Lemurian Labs 的创始团队结合了人工智能、编译器、数值算法和计算机架构方面的专业知识，只有一个目标：重新构想加速计算。
您能向我们介绍一下您的背景和工作吗？是什么让您开始进入人工智能领域的？
绝对地。我从 12 岁起就开始编程并开发自己的游戏等，但实际上我在 15 岁时就进入了人工智能领域，因为我父亲的一个朋友对计算机很感兴趣。他满足了我的好奇心，给了我一些书让我读，比如冯·诺依曼的《计算机和大脑》、明斯基的《感知器》、拉塞尔和诺维格的《人工智能现代方法》。这些书对我的思考产生了很大的影响，当时我感觉人工智能将带来变革，而我必须成为这个领域的一部分。
到了上大学的时候，我真的很想学习人工智能，但我没有找到任何大学提供这个专业，所以我决定主修应用数学，进入大学后不久，我听说了 AlexNet 在 ImageNet 上的结果，真的很令人兴奋。当时，我脑子里有这样的时刻，我全心全意地阅读我能拿到的所有与神经网络相关的论文和书籍，并向该领域的所有领导者学习，因为如何你常常会在一个新行业诞生时亲临现场，并向其先驱者学习。
很快我意识到我不喜欢研究，但我确实喜欢解决问题和构建人工智能产品。这促使我从事自动驾驶汽车和机器人、用于材料发现的人工智能、用于多物理模拟的生成模型、用于培训专业赛车手并帮助进行汽车设置、空间机器人、算法交易等的基于人工智能的模拟器。
现在，完成所有这些工作后，我正在努力控制人工智能培训和部署的成本，因为这将是我们在实现一个每个人和公司都可以访问人工智能并从中受益的世界的道路上面临的最大障碍以最经济的方式。
许多从事加速计算的公司的创始人都在半导体和基础设施领域建立了职业生涯。您认为您过去在人工智能和数学方面的经验如何影响您了解市场和有效竞争的能力？
事实上，我认为不是来自这个行业让我有机会获得局外人的优势。我经常发现这样的情况：不了解行业规范或传统智慧，可以让一个人比大多数人更自由地探索、更深入地探索，因为你不会受到偏见的阻碍。
我可以自由地提出“愚蠢”的问题并以大多数其他人不会的方式测试假设，因为很多事情都是公认的事实。在过去的两年里，我与业内人士进行了几次对话，他们对某些事情非常教条，但他们无法告诉我这个想法的出处，这让我感到非常困惑。我喜欢了解为什么做出某些选择，当时有哪些假设或条件以及它们是否仍然成立。
来自人工智能背景的我倾向于从软件的角度来看待今天的工作负载，以下是它们随着时间的推移可能发生变化的所有可能方式，并对整个机器学习管道进行训练和推理以了解瓶颈，这告诉我们我知道创造价值的机会在哪里。因为我有数学背景，所以我喜欢对事物进行建模，以尽可能接近事实，并以此为指导。例如，我们建立了模型来计算系统性能的总拥有成本，我们可以衡量我们可以通过软件和/或硬件为客户带来的好处，并更好地了解我们的限制和我们可用的不同旋钮，以及数十个用于各种事物的其他模型。我们非常依赖数据，我们利用这些模型的见解来指导我们的工作和权衡。
人工智能的进步似乎主要来自扩展，这需要成倍增加的计算和能源。我们似乎正在进行一场军备竞赛，每家公司都试图打造最大的模型，而且似乎没有结束的迹象。你认为有办法解决这个问题吗？
办法总是有的。事实证明，扩展非常有用，而且我认为我们还没有看到结局。我们很快就会看到模型的训练成本至少达到 10 亿美元。如果您想成为生成人工智能领域的领导者并创建前沿基础模型，您每年需要在计算上花费至少数十亿美元。现在，扩展存在自然限制，例如能够为该规模的模型构建足够大的数据集、接触到拥有正确专业知识的人员以及获得足够的计算能力。
模型尺寸的持续扩大是不可避免的，但出于显而易见的原因，我们也无法将整个地球表面变成行星大小的超级计算机来训练和服务法学硕士。为了控制这一点，我们可以使用几个旋钮：更好的数据集、新的模型架构、新的训练方法、更好的编译器、算法改进和利用、更好的计算机架构等等。如果我们做到了这一切，大约会发现三个数量级的改进。这就是最好的出路。
您是第一性原理思维的信徒，这如何塑造您运营 Lemurian Labs 的思维方式？
我们在 Lemurian 确实采用了很多第一性原理思维。我一直认为传统智慧具有误导性，因为知识是在某些假设成立的特定时间点形成的，但事情总是在变化，你需要经常重新测试假设，尤其是当生活在如此快节奏的世界时。
我经常发现自己问这样的问题：“这似乎是一个非常好的主意，但为什么这行不通”，或者“为了让它发挥作用，需要什么是真实的”，或者“我们知道什么是绝对的真理和事实？”我们所做的假设是什么？为什么？”，或者“为什么我们相信这种特定的方法是解决这个问题的最佳方法”。我们的目标是尽可能快速且廉价地使想法无效并被扼杀。我们想要尝试并最大化我们在任何给定时间点尝试的事情的数量。这是关于痴迷于需要解决的问题，而不是对哪种技术最好抱有过分固执己见。太多的人往往过度关注技术，最终会误解客户的问题并错过行业中发生的转变，这可能会使他们的方法无效，导致他们无法适应世界的新状态。
但第一原理思维本身并没有多大用处。我们倾向于将其与回溯结合起来，回溯基本上意味着想象一个理想或期望的未来结果，然后回溯以确定实现它所需的不同步骤或行动。这确保我们汇聚到一个有意义的解决方案，该解决方案不仅具有创新性，而且立足于现实。花时间想出完美的解决方案却发现由于各种现实世界的限制（例如资源、时间、法规）而无法构建，或者构建了一个看似完美的解决方案但后来发现它是没有意义的你让客户很难采用。
我们时不时地发现自己处于一种需要做出决定但没有数据的情况，在这种情况下，我们采用最小的可检验假设，这些假设给我们一个信号，告诉我们用最少的钱去追求某件事是否有意义。的能量消耗。
所有这些结合在一起，为我们提供了敏捷性、快速的迭代周期，以快速降低项目风险，并帮助我们充满信心地调整策略，并在很短的时间内在非常困难的问题上取得很大进展。
最初，您关注的是 边缘人工智能，是什么促使您重新关注并转向云计算？
我们从边缘人工智能开始，因为当时我非常专注于解决一个非常特殊的问题，这个问题是我在试图引入通用自主机器人世界时遇到的。自主机器人有望成为我们集体历史上最大的平台转变，我们似乎拥有构建机器人基础模型所需的一切，但我们缺少在吞吐量、延迟和能源效率之间取得适当平衡的理想推理芯片，以及运行所述基础模型的可编程性。
我当时没有考虑数据中心，因为有足够多的公司专注于那里，我预计他们会解决这个问题。我们为这个应用程序空间设计了一个非常强大的架构，并准备将其流片，然后很明显，世界已经发生了变化，问题确实出在数据中心。法学硕士扩展和消耗计算的速度远远超过了计算的进步速度，当你考虑采用率时，它开始描绘出一幅令人担忧的画面。
感觉这就是我们应该集中精力的地方，尽可能降低数据中心人工智能的能源成本，而不限制人工智能的发展地点和方式。因此，我们必须努力解决这个问题。
您能分享一下共同创办 Lemurian Labs 的起源故事吗？
故事开始于 2018 年初。我当时正在训练一个用于通用自治的基础模型，以及一个用于生成多物理场仿真的模型，以训练代理并针对不同的应用对其进行微调，以及其他一些东西来帮助扩展到多物理场-代理环境。但很快我就耗尽了我拥有的计算量，我估计需要超过 20,000 个 V100 GPU。我试图筹集足够的资金来获得计算能力，但市场还没有准备好应对这种规模。然而，它确实让我思考了部署方面的问题，我坐下来计算在目标环境中为这个模型提供服务需要多少性能，我意识到不存在任何芯片可以帮助我实现这一目标。
几年后，即 2020 年，我遇到了 Vassil（我最终的联合创始人），我分享了我在构建自主基础模型时遇到的挑战，他建议构建一个可以运行该基础的推理芯片他分享说，他一直在思考数字格式，更好的表示不仅有助于使神经网络在较低位宽下保持准确性，而且有助于创建更强大的架构。
这是一个有趣的想法，但超出了我的能力范围。但它不会离开我，这促使我花费数月时间学习计算机体系结构、指令集、运行时、编译器和编程模型的复杂性。最终，建立一家半导体公司开始变得有意义，我围绕问题是什么以及如何解决它形成了一篇论文。然后，到了年底，我们开始了 Lemurian。
您之前曾谈到在构建硬件时需要首先解决软件问题，您能否详细说明一下您对为什么硬件问题首先是软件问题的看法？
很多人没有意识到半导体的软件方面比硬件本身要困难得多。构建一个有用的计算机架构供客户使用并从中受益是一个全栈问题，如果您没有这种理解和准备，您最终会得到一个外观漂亮、性能非常好、高效的架构，但开发人员完全无法使用，这才是真正重要的。
当然，采用软件优先的方法还有其他好处，例如更快的上市时间。这在当今快速发展的世界中至关重要，因为过于看好某种架构或功能可能意味着您完全错过市场。
不首先考虑软件通常会导致无法消除市场采用产品所需的重要事项的风险，无法响应市场变化（例如，当工作负载以意想不到的方式发展时），以及硬件利用率不足。一切都不是伟大的事情。这是我们非常关心以软件为中心的一个重要原因，也是我们认为如果不真正成为一家软件公司就不可能成为一家半导体公司的一个重要原因。
您能讨论一下您当前的软件堆栈目标吗？
当我们设计架构并思考前瞻性路线图以及带来更高性能和能源效率的机会时，我们开始变得非常清楚，我们将看到更多的异构性，这将产生很多问题在软件上。我们不仅需要能够高效地对异构架构进行编程，还必须在数据中心规模上处理它们，这是我们以前从未遇到过的挑战。
这让我们感到担忧，因为上一次我们必须经历重大转变是在行业从单核架构转向多核架构的时候，当时花了 10 年的时间才让软件运行起来并让人们使用它。我们不能等待 10 年才能找到大规模异构软件，它必须现在就解决。因此，我们必须努力理解问题以及需要什么才能使该软件堆栈存在。
我们目前正在与许多领先的半导体公司和超大规模/云服务提供商合作，并将在未来 12 个月内发布我们的软件堆栈。它是一个统一的编程模型，具有编译器和运行时，能够针对任何类型的架构，并跨由不同类型的硬件组成的集群编排工作，并且能够从单节点扩展到千节点集群，以获得尽可能高的性能。
感谢您的精彩采访，想要了解更多信息的读者可以访问 勒穆里亚实验室.
