スカイメルのNeetu Pathak氏、CEO兼共同創設者 – インタビュー・シリーズ

Neetu Pathak氏、Skymelの共同創設者兼CEOは、革新的なNeuroSplit™テクノロジーでAI推論を革命的に変え、企業を導いています。CTOのSushant Tripathy氏と共に、Skymelの使命を推進し、AIアプリケーションのパフォーマンスを向上させながら計算コストを削減しています。

NeuroSplit™は、AIワークロードを動的にユーザーデバイスとクラウドサーバー間で分配するアダプティブ推論テクノロジーです。このアプローチにより、ユーザーデバイスのアイドルコンピューティングリソースを活用し、クラウドインフラストラクチャコストを最大60%削減し、推論速度を高速化し、データプライバシーを確保し、シームレスなスケーラビリティを実現します。

NeuroSplit™により、ローカルコンピューティングパワーを最適化し、AIアプリケーションが古いGPUでも効率的に実行できるようになり、コストを大幅に削減し、ユーザーエクスペリエンスを向上させます。

Skymelを共同創設するきっかけとなったのは何ですか？また、NeuroSplitで解決しようとしたAIインフラストラクチャーの主要な課題は何ですか？

Skymelの創設は、私たちの互補的な経験の融合から生まれました。共同創設者のSushant Tripathy氏は、Googleでの勤務中に、Androidデバイス上でスピーチベースのAIモデルを展開していました。彼は、企業がユーザーデバイスのアイドルコンピューティングリソースを効果的に活用できないことを発見しました。これは、ユーザーエクスペリエンスを損なうことなくこれらのリソースにアクセスするための複雑なエンジニアリング課題によるものでした。

一方、私はRedisでの勤務で、企業とスタートアップとの取り組みを通じて、遅延が企業にとってどれほど重要になっているかを深く理解しました。AIアプリケーションがより普及するにつれ、データが生成される場所に近づけて処理する必要性が明らかになりました。常にデータセンターに戻して処理するのではなく、データを生成する場所で処理する必要がありました。

そのとき、Sushant氏と私は、ローカル処理とクラウド処理のどちらかを選択するのではなく、各推論要求に応じてローカル、クラウド、またはハイブリッド処理をシームレスに切り替えることができるインテリジェントなテクノロジーを作成する必要性を認識しました。この洞察により、Skymelを創設し、NeuroSplitを開発するきっかけとなり、AIイノベーションを妨げていた従来のインフラストラクチャーの制限を超越することができました。

NeuroSplitがコンピューティングリソースを動的に最適化し、ユーザープライバシーとパフォーマンスを維持する方法について説明してください。

ローカルAI推論における主要な落とし穴の1つは、静的なコンピューティング要件です。従来、AIモデルを実行するには、デバイスの条件やユーザーの行動に関係なく、同じコンピューティングリソースが必要でした。これは、デバイスがさまざまなハードウェア能力（GPU、NPU、CPU、XPUなど）を備え、ユーザーがさまざまな行動パターン（アプリケーションの使用、充電パターンなど）を持っているという現実を無視したものでした。

NeuroSplitは、ハードウェア能力からリソース使用状況、バッテリー状態、ネットワーク条件まで、さまざまなデバイステレメトリを継続的に監視します。また、ユーザーの行動パターン（実行中の他のアプリケーション、デバイス使用パターンなど）も考慮します。この包括的な監視により、NeuroSplitは、エンドユーザーデバイスで安全に実行できる推論コンピューティングを動的に決定し、開発者の重要なパフォーマンス指標を最適化できます。

データプライバシーが重要な場合、NeuroSplitは生のデータがデバイスを離れないようにし、ローカルで機密情報を処理しながら、パフォーマンスを維持します。AIモデルをスマートに分割、トリミング、またはカップリングする能力により、1つの量子化モデルをエンドユーザーデバイスのメモリ空間に収めることができます。実用的な意味では、ユーザーは従来の静的なコンピューティングアプローチと比較して、ローカルで多くのAI駆動アプリケーションを同時に実行できます。

NeuroSplitのアダプティブ推論の主な利点は何ですか？特に、古いGPU技術を使用するAI企業にとっての利点は何ですか？

NeuroSplitは、AI企業に3つの変革的な利点を提供します。まず、インフラストラクチャコストを2つのメカニズムで大幅に削減します。企業は、安価な古いGPUを効果的に使用でき、また、NeuroSplitのユニークな能力により、クラウドGPU上でフルモデルとスタブモデルを両方収めることができます。たとえば、通常複数のNVIDIA A100が必要なアプリケーションは、単一のA100または複数のV100で実行でき、コストは1時間あたり2.74ドルから0.83ドルまで削減できます。

2番目に、ローカルで生のデータを処理することで、パフォーマンスを大幅に向上させます。クラウドに送信されるデータは、サイズが大幅に小さくなるため、ネットワーク遅延が大幅に削減され、精度が維持されます。このハイブリッドアプローチにより、企業はローカル処理の速度とクラウドコンピューティングの力の両方を利用できます。

3番目に、初期の生データ処理をエンドユーザーデバイスで処理することで、企業はユーザープライバシー保護を維持しながらパフォーマンスを向上させることができます。これは、プライバシー規制がより厳格になり、ユーザーがよりプライバシーに敏感になっているため、ますます重要になっています。

Skymelのソリューションは、モデル複雑さや精度を妥協することなく、AI推論のコストをどのように削減しますか？

まず、個々のAIモデルを分割して、ユーザーデバイスとクラウドの両方でコンピューティングを分配します。最初の部分はエンドユーザーデバイスで実行され、利用可能なデバイスリソースに応じて、総コンピューティングの5%から100%を処理します。残りのコンピューティングはクラウドのGPUで処理する必要があります。

この分割により、クラウドGPUは減少したコンピューティング負荷を処理する必要があります。元のモデルがフルA100 GPUを必要としていた場合、分割後はGPUの容量の30%から40%のみを使用する必要があります。これにより、企業はよりコスト効率の高いGPUインスタンス（V100など）を使用できます。

2番目に、NeuroSplitはクラウドでのGPU使用率を最適化します。クラウドGPU上でフルモデルとスタブモデル（分割モデルの一部）を効率的に配置することで、従来のアプローチと比較して、はるかに高い使用率を実現します。これにより、同じクラウドGPU上でより多くのモデルを同時に実行でき、1推論あたりのコストをさらに削減できます。

Skymelのハイブリッド（ローカル+クラウド）アプローチは、市場にある他のAIインフラストラクチャーソリューションとどのように異なりますか？

AIランドスケープは、魅力的な変曲点にあります。Apple (AAPL ) 、Samsung、Qualcommがエコシステム機能を通じてハイブリッドAIの力を実証している間、これらはウォールドガーデンに留まるのです。ただし、AIは、ユーザーが使用するエンドユーザーデバイスによって制限されるべきではありません。

NeuroSplitは、基本的にデバイス非依存、クラウド非依存、ニューラルネットワーク非依存です。これにより、開発者は、ユーザーがiPhone、Androidデバイス、またはラップトップを使用しているか、AWS、Azure、またはGoogle Cloudを使用しているかに関係なく、一貫したAIエクスペリエンスを提供できます。

これは、開発者にとって何を意味するのか考えてみましょう。彼らは、AIアプリケーションを1回構築するだけで、どのプラットフォームでも、どのクラウドでも、どのニューラルネットワークアーキテクチャでも、インテリジェントに適応することができます。デバイスの機能に基づいて機能を妥協することなく、異なるプラットフォーム向けに異なるバージョンを構築する必要はありません。

私たちは、エンタープライズグレードのハイブリッドAI機能をウォールドガーデンから解放し、ユニバーサルにアクセス可能にします。AIが毎日のアプリケーションの中心になるにつれ、このような柔軟性と一貫性は、イノベーションのために不可欠です。

OrchestratorエージェントはNeuroSplitをどのように補完し、AIデプロイ戦略を変革する役割を果たしますか？

Orchestratorエージェント（OA）とNeuroSplitは、自己最適化AIデプロイシステムを作成するために協力します:

1. 開発者が境界を設定します:

• 制約: 許可されたモデル、バージョン、クラウドプロバイダー、ゾーン、コンプライアンス規則
• 目標: 目標遅延、コスト制限、パフォーマンス要件、プライバシー要件

2. OAはこれらの制約内で目標を達成するために作業します:

• 各リクエストに使用するモデル/ APIを決定します
• 現実世界のパフォーマンスに基づいてデプロイ戦略を適応させます
• 指定された目標を最適化するためにトレードオフを行います
• ニーズの変更に応じて瞬時に再構成できます

3. NeuroSplitはOAの決定を実行します:

• リアルタイムのデバイステレメトリを使用して実行を最適化します
• 有益な場合、デバイスとクラウドの間で処理を分割します
• 現在の条件に応じて各推論を最適に実行します

これは、ルールと目標を定義した上で、AIシステムが自己最適化されることを意味します。

Orchestratorエージェントは、業界横断的にAIのデプロイ方法をどのように変革すると思いますか？

3つの重要な課題を解決します。まず、最新のAI進歩に簡単に追随できるようになります。Orchestratorエージェントを使用すると、新しいモデルやテクニックを瞬時に活用できます。インフラストラクチャを再構築する必要はありません。これは、AIイノベーションが急速に進化している世界では大きな競争上の優位性です。

2番目に、AIモデル選択の動的、リクエストごとの最適化を可能にします。Orchestratorエージェントは、各ユーザーインタラクションに最も適した結果を提供するために、さまざまなモデルを組み合わせることができます。たとえば、カスタマーサービスAIは、技術的な質問には特化したモデルを使用し、請求に関する質問には別のモデルを使用できます。

3番目に、パフォーマンスを最大化しながらコストを最小限に抑えます。エージェントは、プライバシーが重要な場合、ローカルでデータを処理します。追加のコンピューティングパワーが必要な場合、クラウドを活用します。すべてがユーザーに透過的に行われ、企業のリソースを最適化します。

しかし、Orchestratorエージェントが真正に際立つのは、ビジネスが次世代のハイパーパーソナライズされたエクスペリエンスを作成できるようにすることです。eラーニングプラットフォームを考えてみましょう。私たちのテクノロジーを使用すると、各学生の理解度に基づいて教え方を自動的に適応させるシステムを構築できます。ユーザーが「機械学習」を検索した場合、プラットフォームは一般的な結果を表示するのではなく、すでに理解している概念を使用して説明をカスタマイズできます。

最終的に、Orchestratorエージェントは、AIデプロイの未来を表します。静的、モノリシックなAIインフラストラクチャーから、動的、適応性、自己最適化AIオーケストレーショへの移行です。これは、AIデプロイを簡素化することだけではなく、まったく新しいクラスのAIアプリケーションを可能にすることです。

Orchestratorエージェントのプライベートベータテストに参加している企業からどのようなフィードバックを受けましたか？

プライベートベータ参加企業からのフィードバックは素晴らしいものでした。企業は、プロプライエタリーモデルやホスティングサービスへのロックインから解放されることができると喜んでいます。デプロイ決定を将来にわたって保護できる能力は、切り替えアプローチに伴う数ヶ月間のリワークを排除することで、ゲームチェンジャーとなりました。

NeuroSplitのパフォーマンス結果は、公開するのを待ち切れません。特に興奮するのは、適応性AIデプロイの概念が想像力を掻き立て、将来の新しい市場を作り出す可能性があることです。

生成的なAIの急速な進歩を考えると、AIインフラストラクチャーの次の主要な課題は何ですか？また、Skymelはこれらの課題に対処する計画をどうしていますか？

私たちが向かっている未来は、ほとんどの人がまだ完全に理解していないものです。単一の支配的なAIモデルは存在しません。地球上のすべての人に、各自のユニークな状況、好み、ニーズに合わせてカスタマイズされたバージョンが必要です。少なくとも8億のモデル、つまり世界人口分のモデルが必要です。

これは、今日のワンサイズフィットオールアプローチから、インテリジェントなインフラストラクチャーが必要な革命的な変化を示しています。インフラストラクチャーは、数十億のモデルを処理できる必要があります。Skymelでは、今日のデプロイ課題だけに取り組んでいません。私たちのテクノロジーロードマップは、すでに次のステップの基礎を築いています。

AIインフラストラクチャーが5年以内にどのように進化すると思いますか？また、Skymelはこの進化においてどのような役割を果たすと思いますか？

AIインフラストラクチャーランドスケープは、根本的な変化を遂げようとしています。今日、一般的な大規模言語モデルをクラウドでスケーリングすることに焦点が当てられている間、次の5年間でAIは深くパーソナライズされ、コンテキストに応じたものになるでしょう。これは、単にファインチューニングだけではありません。リアルタイムで特定のユーザー、デバイス、状況に適応するAIのことです。

この変化は、2つの主要なインフラストラクチャーの課題を引き起こします。まず、すべてを中央集権的なデータセンターで実行する従来のアプローチは、技術的にも経済的にも実行可能ではなくなります。2番目に、AIアプリケーションの複雑性の増大により、複数のモデル、デバイス、コンピューティングロケーションを跨いで動的に最適化できるインフラストラクチャーが必要になります。

Skymelでは、これらの課題に対処するインフラストラクチャーを構築しています。私たちのテクノロジーにより、AIは、データが生成される場所で、クラウドで、またはその間のどこかで、最も適切な場所で実行できます。さらに重要なのは、決定をリアルタイムで変更する能力です。条件や要件が変化するにつれて、インフラストラクチャーは適応します。

先を見ると、成功したAIアプリケーションは、モデルサイズやアクセス可能なコンピューティング量によって定義されるのではなく、パーソナライズされた、レスポンシブなエクスペリエンスを提供しながらリソースを効率的に管理する能力によって定義されます。Skymelの目標は、スケールや複雑さに関係なく、すべてのAIアプリケーションがこのレベルのインテリジェントな最適化を利用できるようにすることです。

素晴らしいインタビュー、詳しく知りたい読者はSkymelを訪問してください。