林喬，Fireworks AI 的 CEO 和聯合創始人 – 專訪系列

林喬曾是Meta的PyTorch負責人，現在是Fireworks AI的聯合創始人和CEO。 Fireworks AI是一個為開發人員打造的AI生產平台，與世界領先的生成AI研究人員合作，提供最好的模型和最快的速度。 Fireworks AI最近籌集了一筆2500萬美元的A輪融資。

您最初是如何對計算機科學產生興趣的？

我的爸爸是一位很資深的機械工程師，在一家造船廠工作，他從零開始建造貨船。我從小就學會了閱讀船舶藍圖中的精確角度和測量，我很喜歡這樣做。

我從初中開始就對STEM科目很感興趣，包括數學、物理和化學。我在高中的一個作業是學習BASIC編程語言，我編寫了一個遊戲，讓一條蛇吃掉自己的尾巴。從那時起，我就知道計算機科學是我的未來。

在Meta工作期間，您曾領導300多名世界級工程師開發AI框架和平台，包括Caffe2和PyTorch。您從這段經歷中得到了什麼啟發？

像Meta這樣的大型科技公司總是領先於時代。當我在2015年加入Meta時，我們才剛剛開始了AI的旅程，從CPU轉向GPU。我们不得不從頭開始設計AI基礎設施。像Caffe2這樣的模型在當時是開創性的，但AI的發展太快，它們很快就過時了。我们開發了PyTorch和整個系統，以此作為解決方案。

PyTorch教會了我開發人員在建設AI時面臨的最大障礙。第一個挑戰是找到穩定和可靠的模型架構，具有低延遲和靈活性，以便模型可以擴展。第二個挑戰是總成本，公司不會因為發展模型而破產。我的時間在Meta表明，保持像PyTorch這樣的模型和框架的開源是多么重要。它鼓勵創新。沒有開源的機會，我們不會在PyTorch上取得這么大的進步。另外，沒有合作就不可能跟上最新的研究。

您能否討論一下創辦Fireworks AI的原因？

我已經在科技行業工作了20多年，見證了業界層面的變革，從雲計算到移動應用。但是，這次AI的變革是一個完整的板塊重新排列。我看到很多公司在努力適應這種變化。每個人都想快速行動，將AI放在首位，但他們缺乏基礎設施、資源和人才來實現這一目標。當我與這些公司交談的時候，我越來越意識到我可以解決這個市場的空白。

我創辦Fireworks AI既是為了解決這個問題，也是為了延續我們在PyTorch上取得的成就。這甚至啟發了我們的公司名稱！PyTorch是手持火炬的人，但我們希望這個火焰能夠傳播到處處。因此：Fireworks。

我一直熱衷於讓科技民主化，使開發人員能夠以簡單和負擔得起的方式進行創新。這就是為什麼我們有如此用戶友好的界面和強大的支持系統，以幫助建設者將自己的願景變為現實。

您能否解釋一下什麼是開發人員中心的AI，以及為什麼這個概念很重要？

這很簡單：“開發人員中心”意味著優先考慮AI開發人員的需求。例如：創建工具、社區和流程，以使開發人員更加高效和自主。

像Fireworks這樣的開發人員中心AI平台應該與現有的工作流和技術堆棧集成。它們應該使開發人員能夠輕鬆地進行實驗、犯錯和改進工作。它們應該鼓勵反饋，因為開發人員自己最了解什麼是成功的關鍵。最後，它不僅僅是一個平台，而是一個社區——開發人員可以在這個社區中合作，推動AI的可能性邊界。

您開發的GenAI平台是開發人員在大型語言模型（LLM）上工作的重大進步。您能否詳細介紹一下您平台的獨特功能和優點，特別是與現有的解決方案相比？

我們的整個方法作為一個AI生產平台是獨特的，但我們的一些最佳功能是：

高效的推理——我們設計了Fireworks AI，以高效和速度為目標。使用我們的平台的開發人員可以以最低的延遲和成本運行他們的LLM應用程序。我们通過最新的模型和服務優化技術實現了這一點，包括提示緩存、適應性分片、量化、連續批處理、FireAttention等。

對於LoRA微調模型的經濟支持——我們提供了對低秩適應（LoRA）微調模型的經濟支持，通過基礎模型的多租戶。這意味著開發人員可以在不破產的情況下嘗試許多不同的用例或對同一模型的變體進行實驗。

簡單的界面和API——我們的界面和API簡單易用，開發人員可以輕鬆地將其集成到自己的應用程序中。我们的API還與OpenAI兼容，以便於遷移。

現成的模型和微調模型——我們提供了100多個預訓練模型，開發人員可以直接使用。我们涵蓋了最好的LLM、圖像生成模型、嵌入模型等。但開發人員也可以選擇托管和提供自己的自定義模型。我们還提供了自助微調服務，以幫助開發人員使用自己的專有數據對這些自定義模型進行微調。

社區合作——我們堅信開源的社區合作理念。我们的平台鼓勵（但不要求）開發人員分享他們的微調模型，並貢獻於AI資產和知識的集體庫。每個人都能從我們集體專業知識的增長中受益。

您能否討論一下模型並行和數據並行之間的混合方法？

並行機器學習模型可以提高模型訓練和推理的效率，幫助開發人員處理單個GPU無法處理的更大模型。

模型並行涉及將模型分成多個部分，並在單獨的處理器上訓練每個部分。另一方面，數據並行涉及將數據集分成子集，並在單獨的處理器上訓練模型。混合方法結合了這兩種方法，模型被分成單獨的部分，每個部分在不同的數據子集上進行訓練，從而提高效率、可擴展性和靈活性。

Fireworks AI被超過20,000名開發人員使用，目前每天服務超過60億個令牌。您在擴大業務到這個水平的過程中面臨了哪些挑戰，您又如何克服了這些挑戰？

老實說，自從我們在2022年創辦Fireworks AI以來，我們已經跨過了很多高山。

我們的客戶最初來到我們這裡，尋找非常低延遲的支持，因為他們正在為消費者、專業消費者或其他開發人員構建應用程序——所有這些觀眾都需要快速的解決方案。然後，當我們的客戶的應用程序開始快速擴張的時候，他們意識到自己無法承擔與此相關的典型成本。因此，他們要求我們幫助降低總成本（TCO），我們做到了。然後，客戶想從OpenAI遷移到OSS模型，並要求我們提供與OpenAI相當或更好的質量。我们也做到了這一點。

我們的產品在每個階段都面臨著挑戰，但這些挑戰使Fireworks AI成為今天的樣子：一個閃電般快速的推理引擎，具有低TCO。另外，我們提供了一系列高質量的現成模型供開發人員選擇，或者為開發人員提供微調服務，以便他們創建自己的模型。

隨著AI和機器學習的快速發展，道德考慮比以往任何時候都更加重要。Fireworks AI如何解決與偏見、隱私和AI的道德使用相關的問題？

我有兩個青春期的女兒，她們經常使用像ChatGPT這樣的genAI應用程序。作為一名母親，我擔心她們會找到誤導性或不適宜的內容，因為行業才剛剛開始解決內容安全的關鍵問題。Meta正在進行很多工作，包括紫色大猩猩項目，Stability AI的新SD3模式也很棒。這兩家公司都在努力為他們的新Llama3和SD3模型帶來安全性，通過多層過濾。輸入輸出安全模型Llama Guard在我們的平台上也得到了很好的使用，但其採用率還沒有達到其他LLM的水平。整個行業仍然有很長的路要走，才能將內容安全和AI倫理放在首位。

我們在Fireworks非常關心隱私和安全。我们符合HIPAA和SOC2標準，提供安全的VPC和VPN連接。公司信任Fireworks使用他們的專有數據和模型來建立自己的商業優勢。

您對AI的未來發展有何展望？

就像AlphaGo展示了在學習下棋的過程中具有自主性一樣，我認為我們將會看到genAI應用程序變得更加自主。應用程序將自動路由和導向請求到正確的代理或API進行處理，並在取得正確輸出之前進行糾錯。並且，不再是單個函數調用模型從其他模型中查詢作為控制器，我們將看到更多自組織、自協調的代理合作解決問題。

Fireworks的閃電般快速的推理、函數調用模型和微調服務為這個現實鋪平了道路。現在，開發人員需要使其成為現實。

感謝這次精彩的採訪，讀者可以訪問Fireworks AI了解更多信息。