Lin Qiao, CEO & Co-Founder of Fireworks AI – Interview Series

Lin Qiao, は以前MetaのPyTorchの責任者であり、Fireworks AIの共同創設者兼CEOです。 Fireworks AIは、開発者向けに構築されたプロダクションAIプラットフォームであり、Fireworksは、世界をリードするジェネレーティブAI研究者と提携して、最も優れたモデルを最速のスピードで提供しています。 Fireworks AIは最近、$25M Series Aを調達しました。

コンピューターサイエンスに最初に惹かれたのは何ですか?

私の父は船yardの非常にシニアな機械技師で、ゼロから貨物船を建造していました。若い頃から、船の青図の正確な角度や測定を読むことを学び、それが好きでした。

私は中学校からSTEMに非常に興味があり、数学、物理、化学のすべてを吸収しました。高校の課題の1つは、BASICプログラミングを学ぶことでしたが、蛇が自分の尾を食べるゲームをコーディングしました。その後、コンピューターサイエンスが私の将来であることを知りました。

Metaでの経験から、AIフレームワークとプラットフォームで300人以上の世界クラスのエンジニアを率い、Caffe2と後にPyTorchを構築して展開しました。どのような主要な教訓を得ましたか?

Big Tech企業のように、Metaは常に5年以上先を見据えています。2015年にMetaに参加したとき、私たちはAIの旅の始まりでした。CPUからGPUへの移行でした。私たちは、AIインフラストラクチャをゼロから設計する必要がありました。Caffe2のようなモデルは、作成されたときは画期的でしたが、AIが非常に速く進化したため、すぐに古くなりました。私たちは、PyTorchとその周りのシステムを解決策として開発しました。

PyTorchでは、開発者がAIを構築する際に直面する最大の障害について学びました。最初の課題は、低遅延で柔軟性のある安定したモデルアーキテクチャを見つけることです。2番目の課題は、会社がモデルを成長させるために破産しないようにするための総コストです。

Metaでの私の時間は、PyTorchのようなモデルやフレームワークをオープンソースにすることの重要性を示しました。革新を促進します。オープンソースの機会のないPyTorchのようなイテレーションなしに、私たちが成長したように成長することはできませんでした。さらに、最新の研究をすべて把握するには、コラボレーションは不可能です。

Fireworks AIを立ち上げるきっかけとなったのは何ですか?

私は20年以上テクノロジー業界に携わってきました。クラウドやモバイルアプリなどの業界レベルの変化を何度も見てきました。しかし、このAIの変化は完全な地殻変動です。私は、多くの企業がこの変化に苦労しているのを見ました。誰もが速く進み、AIを最優先にしたいと思っていましたが、実現するためのインフラ、リソース、才能が不足していました。私はこれらの企業と話をし続けるにつれて、市場のギャップを解決できることを実感しました。

私は、Fireworks AIを立ち上げるために、PyTorchでの驚くべき成果を拡張するために立ち上げました。実際、名前の由来です！PyTorchは火を抱えるトーチですが、火をどこにでも広げたいのです。したがって、Fireworksです。

私は常に、テクノロジーを民主化し、開発者がリソースに関係なく、革新することを容易にし、簡単にすることに情熱を傾けてきました。したがって、私たちは、開発者がビジョンを実現するために強力なサポートシステムとユーザーフレンドリーなインターフェースを提供しています。

開発者中心のAIについて説明できますか? これが重要な理由は何ですか?

それはシンプルです。開発者中心とは、AI開発者のニーズを優先することを意味します。たとえば、開発者の効率と自立性を高めるツール、コミュニティ、プロセスを作成することです。

Fireworksのような開発者中心のAIプラットフォームは、既存のワークフローとテクノロジースタックに統合される必要があります。開発者が実験し、間違いを犯し、作業を改善することを容易にする必要があります。フィードバックを奨励する必要があります。なぜなら、開発者自身が成功するために何が必要かを理解しているからです。最後に、それはプラットフォームだけではありません。それはコミュニティです。開発者が協力して、AIの可能性の限界を押し広げることができるコミュニティです。

大規模言語モデル(LLM)を使用する開発者にとって、GenAIプラットフォームは大きな進歩です。このプラットフォームのユニークな機能と利点について説明できますか? 特に、既存のソリューションと比較した場合?

私たちのAIプロダクションプラットフォームとしてのアプローチはユニークですが、最も優れた機能は次のとおりです。

効率的な推論 – 私たちは、Fireworks AIを効率性とスピードに特化して設計しました。私たちのプラットフォームを使用する開発者は、LLMアプリケーションを可能な限り低遅延で実行できます。また、コストも削減できます。私たちは、これを最新のモデルとサービス最適化技術を使用して実現しています。プロンプトキャッシング、適応型シャーディング、量子化、連続バッチング、FireAttentionなどです。

LoRAチューニングモデルに対する低コストなサポート – 私たちは、LoRA(低ランク適応)ファインチューニングモデルをマルチテナンシーを使用して提供しています。つまり、開発者は同じモデルでさまざまなユースケースやバリエーションを実験できます。コストがかかりすぎる心配はありません。

シンプルなインターフェースとAPI – 私たちのインターフェースとAPIは、開発者が簡単に統合できるように設計されています。また、OpenAIとの互換性もあります。開発者は簡単に移行できます。

オフザシェルフモデルとファインチューニングモデル – 私たちは、100以上の事前トレーニングモデルを提供しています。開発者は、これらのモデルをすぐに使用できます。最も優れたLLM、画像生成モデル、埋め込みモデルなどをカバーしています。開発者は、独自のカスタムモデルをホストして提供することもできます。また、独自のデータでこれらのカスタムモデルをファインチューニングするためのセルフサービスファインチューニングサービスも提供しています。

コミュニティコラボレーション – 私たちは、コミュニティコラボレーションのオープンソース精神を信じています。私たちのプラットフォームは、開発者がファインチューニングモデルを共有し、AIアセットと知識のバンクに貢献することを奨励しています。すべての開発者が、集団的な専門知識の成長から利益を得ることができます。

モデル並列性とデータ並列性のハイブリッドアプローチについて説明できますか?

マシンラーニングモデルの並列化により、モデルトレーニングと推論の効率とスピードが向上し、開発者は単一のGPUで処理できない大きなモデルを処理できるようになります。

モデル並列性では、モデルを複数のパートに分割し、各パートを別々のプロセッサでトレーニングします。一方、データ並列性では、データセットをサブセットに分割し、モデルを同時に別々のプロセッサでトレーニングします。ハイブリッドアプローチでは、これらの2つの方法を組み合わせます。モデルを別々のパートに分割し、各パートを別々のデータサブセットでトレーニングします。効率、スケーラビリティ、柔軟性が向上します。

Fireworks AIは20,000以上の開発者によって使用されており、現在、1日あたり60億トークン以上を提供しています。このレベルまで運用をスケーリングする上で直面した課題と、それらをどのように克服したかについて説明できますか?

正直に言えば、2022年にFireworks AIを設立して以来、多くの大きな課題がありました。

私たちの顧客は最初に、非常に低遅延のサポートを求めて私たちに来ました。彼らは、消費者、プロサマー、または他の開発者向けのアプリケーションを構築しているからです。次に、私たちの顧客のアプリケーションが急速にスケールアップし始めたとき、彼らは、通常のスケーリングに関連するコストを負担できないことを実感しました。そこで、私たちに総コストの削減を支援するよう求めました。私たちもそれを実現しました。次に、私たちの顧客はOpenAIからOSSモデルに移行したいと考え、OpenAIと同等かそれ以上の品質を提供するよう私たちに求めました。私たちもそれを実現しました。

製品の進化の各ステップは、私たちが解決しなければならない課題でしたが、それは私たちの顧客のニーズがFireworksを形作る上で非常に重要な役割を果たしたことを意味します。今日のFireworksは、低コストの高速な推論エンジンです。さらに、優れた品質の事前トレーニングモデルや、開発者が独自のモデルを作成するためのファインチューニングサービスを提供しています。

AIとマシンラーニングの急速な進歩により、倫理的配慮は今まで以上に重要になっています。Fireworks AIは、偏り、プライバシー、AIの倫理的な使用に関する懸念にどのように対応していますか?

私は10代の娘が2人います。彼女たちは、ChatGPTのようなgenAIアプリをよく使用します。母親として、私は、彼女たちが誤解を招くまたは不適切なコンテンツを見つけることを心配しています。業界は、コンテンツの安全性という重要な問題にまだ対処し始めています。Metaは、Purple Llamaプロジェクトで多くのことを行っています。Stability AIの新しいSD3モードも素晴らしいです。これらの企業は、Llama3とSD3モデルの安全性を、複数のフィルターレイヤーで提供するために努力しています。入力出力セーフガードモデルであるLlama Guardは、私たちのプラットフォームで一定の使用量がありますが、他のLLMと比較した使用率はまだそれほど高くありません。業界全体としては、コンテンツの安全性とAIの倫理を最前線に押し出すにはまだ長い道のりがあります。

私たちFireworksは、プライバシーとセキュリティを非常に重視しています。HIPAAとSOC2に準拠しており、セキュアなVPCとVPN接続を提供しています。企業は、ビジネス上の利益を生み出すために、独自のデータとモデルをFireworksに信頼しています。

AIの進化についてのあなたのビジョンは何ですか?

AlphaGoがチェスを独学で学ぶことを実証したように、genAIアプリケーションがより自律性を持つようになるでしょう。アプリは、自動的にリクエストを正しいエージェントまたはAPIにルーティングして処理し、出力が正しいまでコースを修正します。モデルが他のモデルからポーリングするコントローラーとして機能するのではなく、自己組織化されたエージェントが協力して問題を解決するようになるでしょう。

Fireworksの高速な推論、関数コールモデル、ファインチューニングサービスは、この現実を実現するために道を切り開いてきました。ここで、革新的な開発者がそれを実現することが求められています。

素晴らしいインタビュー、詳細については Fireworks AI を訪問してください。