ダラ・アンボースは、Penguin SolutionsのAdvanced Computing Products and Solutions担当VPを務めています。ダラは、2022年にStratusの買収の一環としてPenguinに参加し、サーバーおよびソフトウェア製品開発で30年以上の経験を持ちます。ダラは、PenguinのHPC/AIハードウェア製品およびStratusエッジフォールトトレラント製品の製品開発チームを率いています。
AI業界、およびそれに伴う対話は、AIモデルをトレーニングするための努力から注目が外れつつあります。那らの話は、クラウドまたはデータセンター（または両方）で中心的に行われていた「旧来の話」です。現在、ほとんどの業界で多数のユースケースがあり、これらのモデルは分散型、分散環境で展開および実行されています。業界はトレーニング段階から推論段階への移行を遂げており、この話はエッジでリアルタイムのインテリジェンスが必要なすべてのもの、スマートカメラから工業機械に組み込まれたデバイスまで、エッジで起こっています。焦点は、中央のAIトレーニングからエッジAI、またはハイブリッド展開に移りつつあります。スピード、精度、データプライバシーが以前よりも重要な時代に、エッジAIは、ビジネスの最も重要なタッチポイントでの運用プロセスを再定義しています。従来のAIモデルがクラウドインフラストラクチャに依存するのとは異なり、エッジAIは、データ生成の地点に近い場所で意思決定を行います。エッジAIの価値データ生成と意思決定の間の距離を最小限に抑えることで、ネットワーク伝送による遅延を排除し、予測的な洞察と自動化された意思決定をより迅速に提供することができます。このリアルタイム処理により、組織は、顧客の体験、製品の品質、または従業員の安全性の向上など、すべての面で効率性を高めることができます。ユースケースに関係なく、距離を短縮することで、セキュリティと信頼性も向上し、機密データが移動中の時間が短縮され、必要な帯域幅が削減されます。即時性と関連性は、業界のセクターに関係なく、非常に重要です。たとえば、製造業では、エッジAIは、製品の欠陥を瞬時に検知する品質保証システムを動作させることができます。ヘルスケアでは、患者のモニタリングシステムをサポートし、異常が検知された瞬間に警報を発生させることができます。小売業者は、エッジAIを使用して、店内での顧客の体験をパーソナライズし、在庫をダイナミックに管理します。すべてのシナリオでは、エッジにある必要なインテリジェンスが大きな違いを作ります。エッジAIは、ミリ秒が重要な場合に重要です。データセンターからエッジまでのコンテキストGPUはしばしばAIと同義的に見なされますが、エッジAIには、推論のニーズと性質がトレーニングのものと根本的に異なるため、より繊細なアプローチが必要です。多くの推論ワークロード、特にビジョンベースのアプリケーションは、CPUによって効率的に処理できます。CPUは、パワーとコストの面で効率的です。エッジの展開がより高いパフォーマンスを必要とする場合でも、低電力GPUの新しいクラスが登場し、エッジ向けのターゲットソリューションを提供しています。最終的には、正しい構成を選択することは、特定のワークロード、望ましいスループット、環境の制約をバランスさせることです。エッジAIの展開では、実用的かつフィールドでの運用性とパフォーマンスのバランスをとるハードウェアが必要です。エッジでの成功には、スペース、パワー、クーリングの制約を考慮しながら、パフォーマンスを維持するための根本的に異なるアプローチが必要です。ハードウェアとソフトウェアは、ハーシュな環境でコンピューティング能力を損なうことなく信頼性を持って動作できるように、エッジのニーズに特化して設計する必要があります。代替案は、ダウンタイムとなり、壊滅的なダウンストリームの影響をもたらす可能性があります。成功への道エッジAIの成功への道は、単一の、高い影響力のあるユースケースを特定し、初期の展開をそれに集中させることから始まります。このような焦点により、組織は範囲を管理可能に保ち、展開の際にポジティブな勢いを生み出すことができ、組織はこのテクノロジーの潜在力を理解しながら、運用プロセスとサポートフレームワークを洗練することができます。しかし、これは実際に行うのが容易なことではありません!AIの展開で利益を上げようとしているほとんどの組織は、基礎となるテクノロジーに深く精通しているわけではなく、浸透しているわけでもありません。この知識のギャップにより、組織は外部のパートナーからガイダンスと強化された機能を求めるようになります。特に、展開が増え、業界がコアのトレーニングからエッジの推論に移行するにつれて、ハードウェアに伴うソフトウェアとサービス要件が重要になります。さらに、複雑さは将来さらに増すでしょう。特に、ダウンタイムが大量の——そして高額な——ダウンストリームの影響をもたらす可能性があるエッジでは、パフォーマンスを確実に保つために必要な専門知識とサービスと提携することは、交渉の余地がありません。組織が遭遇する一般的な落とし穴は、スケールアップする明確な計画なしに、Proof-of-Conceptプロジェクトに狭く焦点を当てていることです。組織は、リモート管理可能性、障害耐性、ライフサイクルサポートなどの運用の複雑さも考慮する必要があります。経験豊富なパートナーと協力することの重要性の理由です。データセンターとは異なり、システムが密接に監視され、頻繁に更新されるため、エッジインフラストラクチャは、通常5〜7年という目標を持って、長期にわたって設計される必要があります。さらに、組織はエッジコンピューティングリソースを統合してフットプリントとコストを削減しようとしています。これにより、従来のワークロードとAIアプリケーションが統一された仮想化プラットフォーム上で組み合わさり、別々のインフラストラクチャの必要性が排除され、リアルタイムのインテリジェンスの必要性が増大します。エッジAIの進化エッジAIは急速に進化しており、ルールベースのシステムからより適応性のある、コンテキストに応じたインテリジェンスへと移行しています。生成的なAIと基礎モデルにおける進歩により、エッジシステムはクラウドに依存せずに、データ入力に基づいて自律的に調整される、継続的な学習ループをサポートし始めています。Kubernetesベースの展開とコンテナ化されたモデルは、エッジAIの展開を効率的に保つために必要な一貫性を確立します。コンテナ化により、クラウドからエッジへの迅速な更新を容易にし、Kubernetesはコンテナを大規模にオーケストレーションし、展開、更新、ヘルスチェックを自動的に管理します。これにより、エッジノード全体での更新の効率と信頼性が向上し、モデル精度が向上し、ダウンタイムを避けることができます。同時に、エッジデバイスは、クローズドループAIシステムでより良いモデルをトレーニングするために役立つ新しいデータを収集できます。 エッジAIは、単なる流行語句ではありません。それは、将来、業界がインタラクションの地点でインテリジェンスをどのように活用するかという、有形な進化です – そして、それはすでに近づいてきています。エッジAIプランと適切なインフラストラクチャおよびシステム機能と組み合わせることで、組織はAIの新しい効率性を解放し、レスポンス性を高め、コストのかかるダウンタイムを回避することができます。
