Jason KnightはOctoAIの共同創設者兼ML担当VP – インタビューシリーズ

Jason Knightは、OctoAIの共同創設者兼マシンラーニング担当VPです。OctoAIは、クラウドまたはオンプレミスでAIアプリケーションを実行、調整、スケールアップするための完全なスタックを提供するプラットフォームです。

OctoAIは、Apache TVMのオリジナルクリエイターによってワシントン大学からスピンアウトされました。Apache TVMは、MLの移植性とパフォーマンスのためのオープンソーススタックです。TVMは、MLモデルを任意のハードウェアバックエンドで効率的に実行することを可能にし、Amazon Alexaなどの人気のある消費者デバイスのアーキテクチャの重要な部分となっています。

OctoAIの創設のインスピレーションと解決しようとした核心的な問題についてお話しください。

AIは従来、数学と高性能コンピューティングに精通している人だけがアクセスできる複雑な分野でした。しかし、AIはテキスト、音声、画像をプログラム化し、フィードバックを得ることで、究極のコンピューティングインターフェイスを解放し、地球上のすべての人にコンピューティングの力を提供します。AI以前は、プログラマーだけがコンピューターを操作するために、不思議なプログラミング言語のテキストを書くことができました。

OctoAIは、その現実を実現するための道を加速するために創設されました。そうして、より多くの人々がAIを使用し、利益を得ることができるようになります。人々は、AIを使用して、科学、医療、芸術、さらに多くの分野を促進することができます。

Intel (INTC ) での経験を振り返ってみて、OctoAIの共同創設者および開発責任者としての役割にどのように準備されたかについてお話しください。

IntelおよびAIハードウェアとバイオテクノスタートアップでの経験から、AIがどれほど難しいかを理解し、AIを使用することでどれほど価値があるかを理解しました。AIを使用することができる会社とできない会社の間にあるギャップは、インフラ、コンピューティング、ベストプラクティスなどの問題であり、魔法ではありません。

OctoStackは、現在市場で利用可能な他のAIデプロイメントソリューションとどのように異なりますか。

OctoStackは、ジェネレーティブAIモデルをどこでも提供するための、業界初の完全なテクノロジースタックです。エンタープライズスケールで、高度に最適化された推論、モデルカスタマイズ、資産管理を提供する、ターンキープロダクションプラットフォームです。

OctoStackにより、組織はAIのオートノミーを実現し、好みの環境で任意のモデルを実行し、データ、モデル、ハードウェアの完全な制御を保持することができます。また、パフォーマンスとコスト効率の面で、GPT-4などの他のソリューションに比べて最大12倍の節約を実現します。

OctoStackを使用してプライベート環境でAIモデルをデプロイする利点について説明してください。

モデルは現在至る所にありますが、モデルを実行し、データを適用するための適切なインフラストラクチャを構築することが、ビジネス価値のフライホイールを回すところです。最も機密性の高いデータを使用し、インサイトを得て、プロンプトエンジニアリング、RAGパイプライン、ファインチューニングを改善することが、ジェネレーティブAIから最も価値を得ることができる場所です。しかし、最も洗練された会社以外のほとんどの会社では、これを独自に実現することは難しいです。そこで、OctoStackのようなターンキーソリューションが必要です。

OctoStackを使用してプライベート環境でAIモデルをデプロイすることで、セキュリティとデータおよびモデルの制御が強化されます。顧客は、自社のVPCまたはオンプレミスでジェネレーティブAIアプリケーションを実行し、データが安全に保たれ、選択した環境内に残ることを保証できます。このアプローチにより、ビジネスは、オープンソース、カスタム、または独自のモデルを実行し、コスト削減とパフォーマンスの向上を享受することができます。

OctoStackをさまざまなハードウェアでサポートするために直面した課題と、それらをどのように克服したかについて説明してください。

OctoStackをさまざまなハードウェアでサポートするには、NVIDIA (NVDA ) およびAMDのGPUやAWS Inferentiaなどのデバイスでの互換性とパフォーマンスを確保する必要がありました。OctoAIは、AIシステムの深い専門知識を活用して、プラットフォームを開発し、継続的に更新して、新しいハードウェアタイプ、GenAIのユースケース、ベストプラクティスをサポートすることで、これらの課題を克服しました。これにより、OctoAIは市場をリードするパフォーマンスとコスト効率を提供することができます。

さらに、最新のジェネレーティブAIの機能、such asマルチモダリティ、関数呼び出し、厳格なJSONスキーマの遵守、効率的なファインチューニングのホスティングなどを、内部開発者に提供することで、AIの採用を加速することができます。

Apache TVMはOctoAIの歴史をどのように形成してきましたか。

私たちは、GPUとアクセラレータのハードウェアで効率的なAIライブラリを書くことを容易にするために、Apache TVMを作成しました。AIの推論のパフォーマンスを向上させるために、GPUとアクセラレータのハードウェアの最適化が重要であることを理解しました。

OctoStackは、GPT-4などの他のモデルと比べて最大12倍のパフォーマンスの向上を提供します。具体的にどのようなパフォーマンスの向上があるのかについて説明してください。

OctoStackは、GPT-4などの他のモデルと比べて最大12倍のコスト削減を提供します。また、GPUの利用率を4倍に向上させ、運用コストを50%削減することで、大規模なデプロイを効率的に実行することができます。

OctoStackを使用してAIのデプロイを大幅に改善した顧客の具体的なユースケースについて説明してください。

顧客の1つであるApate.aiは、ジェネレーティブな会話AIを使用して電話詐欺を防止するグローバルサービスです。Apate.aiは、OctoStackを使用して、複数の地域で言語モデルのスイートを効率的に実行し、OctoStackの柔軟性、スケーラビリティ、セキュリティから利益を得ました。このデプロイにより、Apate.aiは、複数の言語と地域の方言をサポートするカスタムモデルを提供し、パフォーマンスとセキュリティの厳しい要件を満たすことができました。

さらに、OctoAIは、顧客であるOpenPipeのために数百のファインチューニングを提供しています。OpenPipeがこれらのファインチューニングごとに専用のインスタンスを立ち上げる必要がある場合、顧客のユースケースが成長し、進化し、パラメーターエフィシェントなファインチューニングを最大の出力品質とコスト効率の良い価格で繰り返しトレーニングする場合、顧客のユースケースは実行不可能になるでしょう。

素晴らしいインタビュー、ありがとうございました。詳しく知りたい読者は、OctoAIを訪問してください。