モンスターアピーエイのCEO兼共同創設者、ソーラブ・ヴィジ氏 – インタビュー・シリーズ

ソーラブ・ヴィジは、MonsterAPIのCEO兼共同創設者です。彼は以前、CERNで粒子物理学者として働き、LHC@homeのようなプロジェクトから分散コンピューティングの潜在性を認識しました。

MonsterAPIは、機械学習のためのスケーラブルで安価なGPUインフラストラクチャを提供するために、暗号通貨マイニングファームや小規模なアイドルデータセンターからの低コストのコモディティGPUを利用しています。開発者は、コードを1行も書かずに、AIモデルをアクセス、ファインチューニング、デプロイできるようにします。

MonsterAPIの前に、彼は2つのスタートアップを運営していました。そのうちの1つは、インド政府とIITデリーとの共同で、女性用の着用可能な安全デバイスを開発しました。

モンスターGPTの起源についてお話しください。

私たちの使命は、常に「ソフトウェア開発者がAIモデルをファインチューニングしてデプロイできるようにすること」でした。開発者がAIモデルをファインチューニングしてデプロイしようとするときに直面する複雑な課題を実現しました。

コードを扱うことから、GPU上のDockerコンテナを設定してスケーリングすることまで

また、エコシステムが進化するペースは、単にファインチューニングするだけでは不十分です。正しく行う必要があります。アンダーフィッティング、オーバーフィッティング、ハイパーパラメータ最適化、LORAやQ-LORAのような最新の方法を使用して、より速く経済的なファインチューニングを行う必要があります。ファインチューニングした後、モデルを効率的にデプロイする必要があります。

これは、パイプラインの小さな部分に対するツールだけを提供することは不十分であることを私たちに気づかせました。開発者は、優れたインターフェイスとファインチューニングから評価、最終的なデプロイまでの全体的な最適化されたパイプラインが必要です。

私は自分自身に質問しました。元粒子物理学者として、AIが科学的な仕事に与える影響を理解していますが、どこから始めればよいのかわかりません。革新的なアイデアを持っていますが、機械学習とインフラストラクチャのスキルとニュアンスをすべて学ぶ時間がありません。

もし私がAIと話し、要件を提供し、AIが全パイプラインを構築してくれるAPIエンドポイントを提供してくれるとしたらどうでしょうか。

これが、私たちがチャットベースのシステムを開発するきっかけとなりました。

MonsterGPTは、私たちが目指す目標への第一歩です。

私たちのように、数百万のソフトウェア開発者、イノベーター、科学者が、プロジェクトにドメイン固有のモデルを構築するためにこのアプローチを利用できるでしょう。

モンスターAPIのGPTベースのデプロイエージェントの基礎技術について説明してください。

MonsterGPTは、オープンソースのLarge Language Models (LLMs) を効率的にデプロイしてファインチューニングするために、先進技術を利用しています。

1. RAG with Context Configuration：LLMsのファインチューニングやモデルのデプロイに適したハイパーパラメータを自動的に設定します。
2. LoRA (Low-Rank Adaptation)：ファインチューニングの際に、パラメータの一部のみを更新することで、計算オーバーヘッドとメモリ要件を削減します。
3. Quantization Techniques：GPT-QやAWQを使用して、精度を低減することで、メモリフットプリントを削減し、推論を高速化します。
4. vLLM Engine：連続バッチング、最適化されたCUDAカーネル、並列デコーディングアルゴリズムを備えた、高スループットLLMサービスを提供します。
5. 分散GPU：ファインチューニングとデプロイのワークロードを、低コストのGPUネットワークで実行します。コアウェーブのような新興GPUクラウドを含む、小規模なデータセンターから大規模なデータセンターまで、スケーラビリティ、コスト効率、GPUの可用性を提供します。

Llama 3のデプロイメントについての最新のブログをご覧ください。

ファインチューニングとデプロイのプロセスをどのように簡素化していますか。

MonsterGPTは、自然言語で指示を理解できるチャットインターフェイスを提供します。ファインチューニングとデプロイジョブの起動、追跡、管理を簡素化します。これにより、以下のような複雑なステップが抽象化されます。

• データパイプラインの構築
• ジョブに適したGPUインフラストラクチャの特定
• 適切なハイパーパラメータの設定
• ML環境の設定（フレームワークとライブラリの互換性を確保）
• LoRA/QLoRAによる効率的なファインチューニングのためのスクリプトの実装
• メモリ不足やコードレベルのエラーのデバッグ
• マルチノードのオートスケーリングと、高スループットのサービスエンジン（vLLM）の実装

開発者がモンスターAPIのチャットインターフェイスとどのようにやり取りすることができますか。

ユーザーインターフェイスは、LLMを特定のタスク（要約、チャットの完了、コード生成、ブログの執筆など）にファインチューニングし、さらにデプロイするようにエージェントに指示することができる、シンプルなチャットUIです。以下は、コマンドの例です。

• Xデータセットでコード生成のためのLLMをファインチューニングする
• ブログの執筆用にファインチューニングされたモデルが欲しい
• Llama 3モデル用のAPIエンドポイントを提供してください
• ブログの執筆用に小規模なモデルをデプロイしてください

これは非常に便利です。プロジェクトに適したモデルを見つけることは、時間のかかる作業になることがあります。新しいモデルが毎日登場するため、混乱を招くことがあります。

モンスターAPIのソリューションは、従来のAIモデルデプロイ方法と比較して、使いやすさと効率性でどのように比較されますか。

モンスターAPIのソリューションは、従来のAIモデルデプロイ方法と比較して、使いやすさと効率性が大幅に向上しています。

使いやすさについて：

1. 自動設定：従来の方法では、ハイパーパラメータと設定の手動設定が必要で、時間がかかり、エラーが発生しやすくなります。MonsterAPIは、RAG with Contextを使用して設定を自動化し、セットアップを簡素化し、エラーの可能性を減らします。
2. スケーラブルなREST API：MonsterAPIは、ファインチューニングとデプロイのための直感的なREST APIを提供します。従来の方法では、デプロイのために複雑なコードと技術的な知識が必要です。
3. 統合プラットフォーム：MonsterAPIは、ファインチューニングからデプロイまでのワークフローを1つのプラットフォームに統合しています。従来のアプローチでは、さまざまなツールとプラットフォームを使用する必要があり、非効率性と統合の課題が生じます。

効率性について：

MonsterAPIは、LoRAファインチューニングと量子化技術を備えた効率的なパイプラインを提供します。また、vLLMエンジンを使用した高スループットのLLMサービスを提供し、連続バッチング、最適化されたCUDAカーネル、並列デコーディングアルゴリズムを備えた、低コストでスケーラブルな分散GPUクラウド上で実行します。

これにより、開発者の生産性が向上し、複雑な技術スキルが不要になり、カスタムLLMアプリケーションを簡単に作成できます。

モンスターAPIは、モデルデプロイに必要な時間とリソースを大幅に削減した具体的なユースケースを提供できますか。

あるITコンサルティング会社は、ビジネスニーズに応えるためにLlama 3モデルをファインチューニングしてデプロイする必要がありました。MonsterAPIを使用しなかった場合、MLOpsエンジニアのチームが必要で、ハイパーパラメータの調整、モデルのデプロイ、オーケストレーションなど、複雑な作業が必要でした。これは数週間から数ヶ月かかる可能性があります。MonsterAPIを使用すると、1日以内に複数のファインチューニング実験を実行し、最も適切な評価スコアを持つファインチューニングされたモデルを数時間以内にホストできます。これには、深いMLOpsスキルを持つ複数のエンジニアが必要ではありません。

モンスターAPIのアプローチは、ジェネレーティブAIモデルへのアクセスをどのようにして小規模な開発者やスタートアップに民主化していますか。

小規模な開発者やスタートアップは、資本と技術スキルが不足していることが多く、高品質のAIモデルを生成して利用することが難しいです。私たちのソリューションは、コストを削減し、プロセスを簡素化し、生产性の高いAIパイプラインを実装するための強力なノーコード/ローコードツールを提供することで、彼らをエンパワーメントしています。

私たちの分散GPUクラウドを利用することで、GPUリソースのコスト障壁を大幅に低減します。自動設定とハイパーパラメータの調整により、プロセスが簡素化され、深い技術スキルが不要になります。

統合されたワークフローと直感的なREST APIにより、ファインチューニングとデプロイが1つのプロセスに統合され、先進的なAIテクノロジーが、経験の少ない開発者でもアクセスしやすくなります。さらに、LoRAファインチューニングと量子化技術の使用により、コストを削減し、エントリーバリアを低減します。

このアプローチにより、小規模な開発者やスタートアップが、高度なジェネレーティブAIモデルを効率的に実装して管理できるようになります。

モンスターAPIがAI開発コミュニティに提供する次の主要な進歩または機能については何ですか。

私たちは、開発者がモデルをより迅速に、簡単に、そして経済的にカスタマイズしてデプロイできるようにするという私たちのテーゼをさらに進めるために、数多くの革新的な製品に取り組んでいます。

すぐに実現するのは、フルMLOps AIアシスタントです。これは、新しい最適化戦略を研究し、既存のワークフローに統合して、開発者が新しい、高品質のモデルを構築する労力を減らし、完全なカスタマイズと、生产性の高いLLMパイプラインのデプロイを可能にします。

例えば、1分間に100万枚の画像を生成する必要があるとします。これは非常に高コストになる可能性があります。従来的には、Stable Diffusionモデルを使用し、TensorRTのような最適化フレームワークをテストして、出力の品質と待ち時間を損なうことなく、スループットを向上させるために数時間を費やす必要があります。

しかし、MonsterAPIのMLOpsエージェントを使用すると、これらのリソースを浪費する必要はありません。エージェントは、特定のユースケースに最適なフレームワークを見つけ、TensorRTのような最適化を活用して、開発者の労力を削減します。

モンスターAPIは、新しく登場するオープンソースモデルをどのようにしてサポートし、統合していますか。

3つの主要な方法で：

1. 最新のオープンソースモデルへのアクセスを提供する
2. ファインチューニングとデプロイメントのための最もシンプルなインターフェイスを提供する
3. 最も先進的で強力なフレームワークとライブラリを使用して、全スタックを速度とコストの最適化に適応させる

私たちの使命は、全てのスキルレベルの開発者が、Gen AIをより迅速に採用できるように支援することです。アイデアから、ポリッシュされたスケーラブルなAPIエンドポイントまでの時間を短縮することに尽力しています。

私たちは、最新のフレームワークとライブラリへのアクセスを提供し続け、シームレスなワークフローに統合します。私たちは、開発者がAIモデルを構築してデプロイするための複雑さを減らすために、ノーコードツールに取り組んでいます。

新しいオープンソースモデル、最適化フレームワーク、ライブラリの進歩を継続的にサポートし、統合します。私たちは、分散GPUクラウドを維持し、開発者と密接に協力して、早期アクセスとフィードバックを提供します。自動パイプラインを使用してシームレスな統合を実現し、柔軟なAPIを強化し、AI研究機関との戦略的なパートナーシップを結んで、私たちのプラットフォームを最先端に保ちます。

さらに、開発者が最新のモデルを迅速に採用して利用できるように、包括的なドキュメントと堅固なテクニカルサポートを提供します。MonsterAPIは、開発者をジェネレーティブAIの最前線に置き、イノベーションと成功を可能にします。

モンスターAPIの技術開発と市場到達に関する長期的な目標は何ですか。

長期的には、MLOpsエージェントと私たちが構築しているツールの助けを借りて、300万人のソフトウェアエンジニアをMLOps開発者にしたいと考えています。

これには、最適化フレームワーク、コンテナ化方法、オーケストレーションに関する多くの基礎的な独自技術を構築する必要があります。

私たちは、優れたインターフェイス、10倍のスループット、低コストの分散GPUの組み合わせが、開発者の生産性を変革し、GenAIの採用を加速する可能性があると信じています。

私たちのすべての研究と努力は、この方向に向けられています。

素晴らしいインタビュー、ありがとうございます。詳細を知りたい読者は、MonsterAPIを訪れてください。