面试
Fireworks AI 首席执行官兼联合创始人乔林 – 访谈系列
乔林，前 Meta 公司 PyTorch 负责人，Fireworks AI 联合创始人兼首席执行官。 烟花人工智能 Fireworks 是一个专为开发人员构建的生产型 AI 平台，它与世界领先的生成型 AI 研究人员合作，以最快的速度提供最佳模型。 Fireworks AI 最近提出了 25万美元的A轮融资.
是什么最初吸引您进入计算机科学？
我父亲是一家造船厂的一名非常高级的机械工程师，他在那里从头开始建造货船。从很小的时候起，我就学会了阅读船舶蓝图的精确角度和尺寸，我很喜欢它。
从中学开始，我就非常喜欢 STEM——我热爱所有数学、物理和化学。我的高中作业之一是学习 BASIC 编程，我编写了一个关于蛇吃尾巴的游戏。从那以后，我知道计算机科学就是我的未来。
在 Meta 期间，您领导了 300 多名世界一流的 AI 框架和平台工程师，您在其中构建和部署了 Caffe2，以及后来的 PyTorch。您从这次经历中得到的主要收获是什么？
像 Meta 这样的大型科技公司总是领先五年或更长时间。当我于 2015 年加入 Meta 时，我们正处于人工智能之旅的开始——从 CPU 转向 GPU。我们必须从头开始设计人工智能基础设施。像 Caffe2 这样的模型在创建时具有开创性，但人工智能发展得如此之快，以至于它们很快就过时了。我们开发了 PyTorch 以及围绕它的整个系统作为解决方案。
通过 PyTorch，我了解了开发人员在构建人工智能的竞赛中面临的最大障碍。第一个挑战是找到稳定可靠、低延迟且灵活的模型架构，以便模型可以扩展。第二个挑战是总拥有成本，这样公司就不会因为尝试发展自己的模型而破产。
我在 Meta 的经历向我展示了保持 PyTorch 等模型和框架开源的重要性。它鼓励创新。如果没有开源迭代机会，我们就不会像 PyTorch 那样发展得那么快。另外，如果没有合作，就不可能了解所有最新研究的最新情况。
您能谈谈是什么促使您推出 Fireworks AI 的吗？
我在科技行业工作了 20 多年，见证了一波又一波的行业层面的转变——从云到移动应用。但这种人工智能转变是一次彻底的结构性调整。我看到很多公司都在努力应对这一变化。每个人都希望快速行动并将人工智能放在首位，但他们缺乏实现这一目标的基础设施、资源和人才。我与这些公司交谈得越多，我就越意识到我可以解决这个市场空白。
我推出 Fireworks AI 既是为了解决这个问题，也是我们在 PyTorch 所取得的令人难以置信的工作的延伸。它甚至启发了我们的名字！ PyTorch 是点燃火焰的火炬——但我们希望火焰蔓延到各处。因此：烟花。
我一直热衷于技术民主化，让开发人员能够负担得起且简单的创新，无论他们的资源如何。这就是为什么我们拥有如此用户友好的界面和强大的支持系统来帮助建筑商将他们的愿景变为现实。
您能否讨论一下什么是以开发人员为中心的人工智能以及为什么它如此重要？
很简单：“以开发者为中心”意味着优先考虑人工智能开发者的需求。例如：创建使开发人员更加高效和自主的工具、社区和流程。
像 Fireworks 这样以开发人员为中心的人工智能平台应该集成到现有的工作流程和技术堆栈中。他们应该让开发人员能够轻松地进行实验、犯错误并改进他们的工作。他们应该鼓励反馈，因为开发人员自己了解他们需要什么才能成功。最后，它不仅仅是一个平台。这是一个社区——合作开发人员可以在其中突破人工智能的可能性界限。
您开发的 GenAI 平台对于使用大型语言模型 (LLM) 的开发人员来说是一项重大进步。您能否详细说明您的平台的独特功能和优势，特别是与现有解决方案相比？
我们作为人工智能生产平台的整个方法是独一无二的，但我们的一些最佳功能是：
高效推理 – 我们设计 Fireworks AI 来提高效率和速度。使用我们平台的开发人员可以以尽可能低的延迟和成本运行他们的法学硕士应用程序。我们通过最新的模型和服务优化技术来实现这一目标，包括即时缓存、自适应分片、量化、连续批处理、FireAttention 等。
对 LoRA 调整模型的经济支持 – 我们通过基础模型上的多租户提供经济实惠的低秩适应 (LoRA) 微调模型服务。这意味着开发人员可以在同一模型上尝试许多不同的用例或变体，而无需花费太多。
简单的界面和 API – 我们的界面和 API 简单明了，开发人员可以轻松地将其集成到他们的应用程序中。我们的 API 还兼容 OpenAI，以便于迁移。
现成的模型和微调模型 – 我们提供 100 多个预训练模型，开发人员可以开箱即用。我们涵盖最好的法学硕士、图像生成模型、嵌入模型等。但开发人员也可以选择托管和服务他们自己的自定义模型。我们还提供自助微调服务，帮助开发人员使用其专有数据定制这些自定义模型。
社区协作：我们相信社区协作的开源精神。我们的平台鼓励（但不要求）开发人员分享他们经过微调的模型，并为不断增长的人工智能资产和知识做出贡献。每个人都受益于我们集体专业知识的增长。
您能否讨论一下模型并行性和数据并行性之间提供的混合方法？
并行化机器学习模型可以提高模型训练的效率和速度，并帮助开发人员处理单个 GPU 无法处理的更大模型。
模型并行性涉及将模型划分为多个部分并在单独的处理器上训练每个部分。另一方面，数据并行性将数据集划分为子集，并在不同的处理器上同时在每个子集上训练模型。混合方法结合了这两种方法。模型被分为单独的部分，每个部分都针对不同的数据子集进行训练，从而提高了效率、可扩展性和灵活性。
Fireworks AI 已被超过 20,000 名开发人员使用，目前每天为超过 60 亿个代币提供服务。在将运营规模扩大到这一水平时，您遇到了哪些挑战？您是如何克服这些挑战的？
老实说，自从我们 2022 年创立 Fireworks AI 以来，还有很多高山需要跨越。
我们的客户首先来找我们寻求极低延迟的支持，因为他们正在为消费者、产消者或其他开发人员（所有需要快速解决方案的受众）构建应用程序。然后，当我们客户的应用程序开始快速扩展时，他们意识到自己无法承担与该扩展相关的典型成本。然后他们要求我们帮助降低总拥有成本 (TCO)，我们照做了。然后，我们的客户希望从 OpenAI 迁移到 OSS 模型，他们要求我们提供与 OpenAI 同等甚至更好的质量。我们也做到了这一点。
我们产品发展的每一步都是一个需要解决的具有挑战性的问题，但这意味着我们客户的需求真正将 Fireworks 塑造成今天的样子：闪电般快速的推理引擎，总体拥有成本低。此外，我们还提供各种高质量、开箱即用的模型可供选择，或者为开发人员创建自己的模型提供微调服务。
随着人工智能和机器学习的快速发展，道德考虑比以往任何时候都更加重要。 Fireworks AI 如何解决与人工智能的偏见、隐私和道德使用相关的问题？
我有两个十几岁的女儿经常使用 ChatGPT 等 genAI 应用程序。作为一名妈妈，我担心他们会发现误导性或不适当的内容，因为该行业才刚刚开始解决内容安全的关键问题。 Meta 在 Purple Llama 项目上做了很多工作，Stability AI 的新 SD3 模式也很棒。两家公司都在努力为其配备多层过滤器的新型 Llama3 和 SD3 型号带来安全性。输入输出保护模型 Llama Guard 在我们的平台上确实得到了大量使用，但其采用率尚未与其他法学硕士相提并论。整个行业要想将内容安全和人工智能道德放在最前沿，还有很长的路要走。
Fireworks 非常关心隐私和安全。我们符合 HIPAA 和 SOC2 要求，并提供安全的 VPC 和 VPN 连接。公司信任 Fireworks 提供其专有数据和模型来构建其业务护城河。
您对人工智能如何发展有何愿景？
正如 AlphaGo 在学习下棋时展示了自主性一样，我认为我们将看到 genAI 应用程序变得越来越自主。应用程序将自动将请求路由并定向到正确的代理或 API 进行处理，并进行修正，直到检索到正确的输出。我们将看到更多自组织、自协调的代理协同工作来解决问题，而不是由一个函数调用模型作为控制器轮询其他模型。
Fireworks 闪电般的推理、函数调用模型和微调服务为实现这一目标铺平了道路。现在需要创新的开发人员来实现这一目标。
感谢您的精彩采访，想要了解更多信息的读者可以访问 烟花人工智能.
