インタビュー
Neetu Pathak, Skymelの共同創設者兼CEO – インタビュー・シリーズ
Neetu Pathak, Skymelの共同創設者兼CEOは、革新的なNeuroSplit™テクノロジーを使用して、AI推論を革命的に変えている。CTOのSushant Tripathyとともに、Skymelのミッションを推進し、AIアプリケーションのパフォーマンスを向上させながら計算コストを削減している。
NeuroSplit™は、適応型の推論テクノロジーであり、AIワークロードをエンドユーザーデバイスとクラウドサーバー之间で動的に分配する。このアプローチは、ユーザーデバイスのアイドルコンピューティングリソースを活用し、クラウドインフラストラクチャコストを最大60%削減し、推論速度を高速化し、データプライバシーを確保し、シームレスなスケーラビリティを実現する。
ローカルコンピューティングパワーを最適化することで、NeuroSplit™は、AIアプリケーションが古いGPUでも効率的に実行されるようにする。コストを大幅に削減し、ユーザーエクスペリエンスを向上させる。
あなたはSkymelを共同創設することをどうやって思いついたのですか？また、NeuroSplitで解決しようとしたAIインフラストラクチャーの主な課題は何ですか？
Skymelの創設は、私たちが補完的な経験を持っていたことから生まれた。Googleでの経験の中で、共同創設者のSushant Tripathyは、数十億のAndroidデバイスに音声ベースのAIモデルを展開していた。彼は、エンドユーザーデバイスに大量のアイドルコンピューティングパワーがあることを発見したが、多くの企業はユーザーエクスペリエンスを損なうことなくこれらのリソースを活用することができなかった。
一方、私はRedisでの経験から、企業やスタートアップでの遅延の重要性を深く理解していた。AIアプリケーションが普及するにつれて、データを生成される場所に近づけて処理する必要性が明らかになった。
それが私たちがSkymelを創設し、NeuroSplitを開発するきっかけとなった。ローカルまたはクラウド処理を選択するのではなく、各推論要求に応じてローカル、クラウド、またはハイブリッド処理をシームレスに適応できるインテリジェントなテクノロジーを作ることにした。
NeuroSplitは、ユーザーのプライバシーとパフォーマンスを維持しながら、コンピューティングリソースをどのように動的に最適化するのか説明できますか？
ローカルAI推論の大きな落とし穴の1つは、静的なコンピューティング要件だった。従来、AIモデルを実行するには、デバイスの条件やユーザーの行動に関係なく、同じコンピューティングリソースが必要だった。このワンサイズフィッツオールアプローチは、デバイスがさまざまなハードウェア能力を持っていることを無視している。
NeuroSplitは、デバイスのテレメトリを継続的に監視する。ハードウェア能力からリソース利用状況、バッテリー状態、ネットワーク条件まで。ユーザーの行動パターンも考慮する。アプリケーションの使用状況や充電パターンなど。 この包括的な監視により、NeuroSplitは、エンドユーザーデバイスで安全に実行できる推論コンピューティング量を動的に決定し、開発者の重要なパフォーマンス指標を最適化する。
データプライバシーが重要な場合、NeuroSplitは、生のデータがデバイスを離れないようにし、ローカルで機密情報を処理しながら、最適なパフォーマンスを維持する。AIモデルをスマートに分割、トリミング、または切り離す能力により、エンドユーザーデバイスのメモリ空間に、1つの量子化モデルよりも50〜100のAIスタブモデルを収めることができる。実用的には、ユーザーは、従来の静的計算アプローチと比較して、ローカルで機密データを処理しながら、同時に多くのAI駆動アプリケーションを実行できることを意味する。
NeuroSplitの適応型推論の主な利点は、特に古いGPUテクノロジーを使用するAI企業にとって何ですか？
NeuroSplitは、AI企業に3つの変革的な利点を提供する。まず、インフラストラクチャコストを大幅に削減する。企業は、安価な古いGPUを効果的に使用でき、また、Skymelの独自の能力により、クラウドGPU上でフルモデルとスタブモデルを両方収めることができるため、GPUの利用率が大幅に向上する。例えば、通常、複数のNVIDIA A100が必要なアプリケーションは、単一のA100または複数のV100で実行でき、コストは1時間あたり$2.74から$0.83に削減される。
2番目に、パフォーマンスを大幅に改善する。ユーザーデバイスで生のデータを直接処理することで、クラウドに送信されるデータのサイズを大幅に削減し、ネットワークの遅延を削減しながら精度を維持する。 このハイブリッドアプローチにより、企業はローカル処理のスピードとクラウドコンピューティングのパワーを両方得ることができる。
3番目に、機密情報の初期処理をエンドユーザーデバイスで処理することで、企業はユーザーのプライバシー保護を維持しながらパフォーマンスを損なわないようにする。プライバシー規制が厳しくなり、ユーザーがプライバシーに敏感になっているため、これはますます重要になっている。
Skymelのソリューションは、モデル複雑さや精度を妥協することなく、AI推論のコストをどのように削減するのですか？
まず、AIモデルを分割することで、ユーザーデバイスとクラウドの両方で計算を分配する。計算の最初の部分はエンドユーザーデバイスで実行され、利用可能なデバイスリソースに応じて、合計計算量の5%から100%を処理する。
この分割により、クラウドGPUは減少した計算量のみを処理する必要がある。もともとフルA100 GPUが必要だったモデルは、分割後にはGPUの30〜40%の容量のみを使用することになる。これにより、企業はよりコスト効率の高いGPUインスタンス（例：V100）を使用できる。
2番目に、NeuroSplitはクラウドでのGPU利用率を最適化する。クラウドGPU上でフルモデルとスタブモデルを効率的に配置することで、従来のアプローチと比較してGPU利用率を大幅に向上させる。つまり、同じクラウドGPU上でより多くのモデルを同時に実行でき、推論コストをさらに削減できる。
Skymelのハイブリッド（ローカル＋クラウド）アプローチは、市場にある他のAIインフラストラクチャーソリューションとどのように異なりますか？
AIの風景は、興味深い変化点にあり。Apple、Samsung、Qualcommは、エコシステム機能を通じてハイブリッドAIの力を実証している。しかし、これらはウォールドガーデンに留まる。AIは、ユーザーが使用するエンドデバイスによって制限されるべきではない。
NeuroSplitは、基本的にデバイス非依存、クラウド非依存、ニューラルネットワーク非依存である。これにより、開発者は、ユーザーがiPhone、Androidデバイス、またはラップトップを使用しているか、AWS、Azure、またはGoogle Cloudを使用しているかに関係なく、一貫したAIエクスペリエンスを提供できる。
これは、開発者にとって何を意味するのか考えてみましょう。彼らは一度AIアプリケーションを構築し、どのデバイス、どのクラウド、どのニューラルネットワークアーキテクチャーでも適応的に動作することを知ることができる。もう、異なるプラットフォーム向けに異なるバージョンを構築する必要はなく、デバイスの能力に基づいて機能を妥協する必要もない。
私たちは、エンタープライズグレードのハイブリッドAI機能をウォールドガーデンから解放し、ユニバーサルにアクセス可能にしている。AIが毎日のアプリケーションの中核となるにつれて、このような柔軟性と一貫性は、革新のために不可欠となる。
Orchestrator AgentはNeuroSplitをどのように補完し、AI展開戦略を変革する役割を果たしますか？
Orchestrator Agent（OA）とNeuroSplitは、自己最適化AI展開システムを構成する。
1. 開発者が境界を設定する：
- 制約：許可されたモデル、バージョン、クラウドプロバイダー、ゾーン、コンプライアンス規則
- 目標：ターゲット遅延、コスト制限、パフォーマンス要件、プライバシー要件
2. OAはこれらの制約内で目標を達成する：
- 各リクエストに使用するモデル/APIを決定する
- 実際のパフォーマンスに基づいて展開戦略を適応させる
- 指定された目標を最適化するためにトレードオフを行う
- ニーズの変更に応じて瞬時に再構成できる
3. NeuroSplitはOAの決定を実行する：
- リアルタイムのデバイステレメトリを使用して実行を最適化する
- 有益な場合は、処理をデバイスとクラウドの間で分割する
- 現在の状況に応じて、各推論が最適に実行されるようにする
これは、ルールと目標を定義した上で、AIシステムが自己最適化されることを意味する。
Orchestrator Agentは、業界横断的にAIの展開方法をどのように変えるでしょうか？
3つの重要な課題を解決する。
まず、企業は最新のAI進歩に容易に追随できるようになる。Orchestrator Agentを使用すると、インフラストラクチャーを再構成することなく、新しいモデルやテクニックを瞬時に活用できる。これは、AIイノベーションが急速に進化している世界では大きな競争上の利点となる。
2番目に、AIモデル選択のリクエストごとの動的最適化を可能にする。Orchestrator Agentは、ユーザーとの各インタラクションで最良の結果をもたらすために、さまざまなオプションの巨大なエコシステムからモデルを賢く組み合わせることができる。例えば、カスタマーサービスAIは、技術的な質問には特化したモデルを使用し、請求に関する質問には別のモデルを使用し、各種のインタラクションでより良い結果をもたらす。
3番目に、パフォーマンスを最大化しながらコストを最小限に抑える。エージェントは、プライバシーが重要な場合にはローカルでデータを処理し、追加のコンピューティングパワーが必要な場合はクラウドを利用する。すべてがシームレスに裏で行われ、ユーザーにはスムーズなエクスペリエンスを提供しながら、ビジネスリソースを最適化する。
しかし、Orchestrator Agentを真正に際立たせるのは、ビジネスが次世代のハイパーパーソナライズされたエクスペリエンスを作成できるようにすることである。eラーニングプラットフォームを考えてみましょう。私たちのテクノロジーを使用すると、システムを構築して、各学生の理解度に基づいて自動的に教え方を適応させることができる。ユーザーが「機械学習」を検索した場合、プラットフォームは一般的な結果を表示するのではなく、ユーザーがすでに理解している概念を使用して説明をカスタマイズする。
最終的に、Orchestrator AgentはAI展開の未来を表す。静的でモノリシックなAIインフラストラクチャーから、動的で適応的な自己最適化AIオーケストレーショーへのシフトである。これは、AI展開を簡単にすることではなく、まったく新しいクラスのAIアプリケーションを可能にすることである。
Orchestrator Agentのプライベートベータに参加している企業からどのようなフィードバックを受け取ったのですか？
プライベートベータ参加企業からのフィードバックは素晴らしいものだった。企業は、プロプライエタリモデルやホスティングサービスへのロックインから解放されることができて、非常に喜んでいる。展開決定を将来にわたって保護できるということは、AIアプローチを切り替える際の数ヶ月間のリワークを排除することを意味する。
NeuroSplitのパフォーマンス結果は、公開するのを待ち切れないほど素晴らしい。特に、適応型AI展開の概念が、多くの人々の想像力を掻き立てている。AIが自分で展開されるという考えは、未来的なものであり、多くの人々が今すぐに期待していなかった。ただ、技術的な進歩のため、多くの人々が新たな可能性や将来の市場の創出に興奮している。
ジェネレーティブAIの急速な進歩を考えると、AIインフラストラクチャーの次の大きな課題は何ですか？また、Skymelはこれらの課題に対処する計画をどうしていますか？
私たちは、ほとんどの人がまだ完全に理解していない未来に向かっている。単一の支配的なAIモデルは存在せず、数十億のモデルが存在する。最も強力な汎用AIモデルを創造したとしても、地球上のすべての人々に対して、各人のユニークなコンテキスト、好み、ニーズに合わせてパーソナライズされたバージョンが必要になる。少なくとも80億のモデルが必要になる。
これは、今日のワンサイズフィッツオールアプローチから、革命的な変化を意味する。未来は、数十億のモデルを処理できるインテリジェントなインフラストラクチャーを必要とする。Skymelでは、今日の展開課題のみを解決するのではなく、次に来るものへの準備をしている。
次の5年間で、AIインフラストラクチャーはどのように進化するでしょうか？また、Skymelはこの進化においてどのような役割を果たすでしょうか？
AIインフラストラクチャーの風景は、根本的な変化を遂げることになる。今日の焦点は、クラウドでの大規模言語モデルのスケーリングにあるが、次の5年間では、AIは深くパーソナライズされ、コンテキストに応じたものになる。ただ、単にファインチューニングするのではなく、AIは特定のユーザー、デバイス、状況にリアルタイムで適応する必要がある。
これにより、2つの大きなインフラストラクチャーの課題が生じる。まず、中央集約型データセンターでのすべての処理は、技術的にも経済的にも非実現可能になる。2番目に、AIアプリケーションの複雑性の増大により、インフラストラクチャーが複数のモデル、デバイス、コンピューティングロケーションを動的に最適化できる必要がある。
Skymelでは、特にこれらの課題に対処するインフラストラクチャーを構築している。私たちのテクノロジーにより、AIは、データが生成されるデバイスで、またはクラウドで、またはその両方を賢く組み合わせて実行できる。さらに重要なのは、テクノロジーは、変化する状況や要件に基づいてこれらの決定をリアルタイムで適応させる。
先を見ると、成功したAIアプリケーションは、モデルサイズやアクセス可能なコンピューティングリソースの量によって定義されるのではなく、パーソナライズされた、レスポンシブなエクスペリエンスを提供し、リソースを効率的に管理する能力によって定義されるようになる。私たちの目標は、Skymelのテクノロジーを使用して、スケールや複雑さに関係なく、すべてのAIアプリケーションでこのレベルのインテリジェントな最適化を実現することである。
素晴らしいインタビュー、Skymelについてもっと知りたい読者は、Skymelを訪問してください。
