ソートリーダー

実世界でのAIの本格的な展開を可能にする

mm
Unite.AI を Google の優先ソースに追加

Brad King、ScalityのフィールドCTOによる

AI/MLやビッグデータのツールには、共通する特徴があります。データが必要であり、多くのデータが必要です。一般的には、データが多いほどよいと考えられています。アナリストによると、2025年までに世界で生成されるデータは180ゼタバイトを超えることが予測されています。2020年には、生成されコピーされたデータの量は64.2ゼタバイトという新たな高水準に達しました。

そのデータは非常に貴重であり、多くの場合、取り替えがつかないか、あるいは一度きりのイベントや一度きりの機会を表しています。このデータを安全に、セキュアに保管する必要があります。新しく生成されるデータのうち、ごく一部しか保管されていないと推定されていますが、ストレージ容量の需要は依然として高まっています。実際、2020年から2025年の間に、ストレージ容量の導入ベースは19.2%の年間複合成長率で成長することが、Statistaの研究者によって予測されています。

さらに多くのデータが生成されるにつれ、特にAI/MLのワークロードによって、組織はより多くのストレージが必要になります。しかし、すべてのストレージソリューションがこれらの集中度の高いワークロードと巨大なデータを処理することができるとは限りません。新しいストレージアプローチが必要です。以下の3つのユースケースを通じて、組織がこれらの課題をどのように克服しているかを見てみましょう。

旅行業界

ロックダウン後の旅行再開に伴い、旅行業界は大きな変化を迎えています。データ、特にその適用と利用が、業界にとって非常に重要になってきました。

世界中の航空旅行者の大多数がどこへ旅行するか、またはどこへ行く予定であるかを知ることができたらどうでしょうか。旅行代理店にとって、それは非常に大きな機会となります。

しかし、旅行業界は大量のデータに直面しています。どのデータが意味のあるものであるかを判断することは、非常に困難な課題です。1日あたり約1ペタバイトのデータが生成され、Kayakのようなサイトによって一部のデータが重複しています。このデータは時間依存性が高く、旅行会社はすぐにどのデータが意味のあるものであるかを判断する必要があります。より効果的にこのレベルのスケールを管理できるツールが必要です。

自動車業界

自動車業界は、長い間、レーンキーパー、衝突回避システムなどの支援ツールを開発してきました。これらのセンサーは大量のデータを生成しています。また、自動運転アルゴリズムの開発、テスト、検証も進めています。

業界が必要としているのは、保管されたデータをより効果的に利用できる方法です。インシデントの分析、センサーデータのテストケースの作成、アルゴリズムのテスト、QAテストの実施など、さまざまなタスクを実行する必要があります。

デジタルパスロジー

デジタルパスロジーは、AI/MLのユースケースの1つであり、データの洪水とデータのより良い利用の必要性に直面しています。組織が必要としているのは、データをより効果的に利用できる能力です。組織は、組織は、自動的に病理を検出する、遠隔診断を実行する、などのタスクを実行する必要があります。

しかし、現在のストレージは、利用を制限しています。有用な解像度を持つ画像は、経済的にストレージすることができません。ただし、高速オブジェクトストレージによって、新しい能力が実現します。画像バンクの作成、多解像度画像の保存と取得、メタデータのタギングなど、さまざまな機能が可能になります。

AIワークロードには新しいアプローチが必要

上記の3つのケースからも明らかなように、AI/MLワークロードに関連する大量のデータを集約し、オーケストレーションすることが非常に重要です。データセットは多くの場合、ペタバイトスケールに達し、インフラストラクチャ全体を飽和させる可能性のあるパフォーマンス要件を伴います。大量のトレーニングデータとテストデータセットを扱う場合、ストレージのボトルネック(待ち時間と/またはスループットの問題)と容量制限/障壁を克服することが成功の重要な要素です。

AI/ML/DLワークロードには、データをパイプラインを通じて流し続けることができるストレージアーキテクチャが必要です。生のI/Oパフォーマンスと容量スケーリング能力の両方が優れている必要があります。ストレージインフラストラクチャは、AI/ML/DLパイプラインのすべての段階で、ますます厳しい要件に追いつく必要があります。解決策は、速度と無限のスケール性を特徴とするストレージインフラストラクチャです。

価値の抽出

AIとMLがビジネスプロセスや日常生活を変える可能性についての話は、1週間もしない内に聞かれることになります。多くのユースケースが、これらのテクノロジーを使用することの利点を明確に示しています。ただし、現在の企業におけるAIの現実は、圧倒的に大量のデータセットと、これらの大量のワークロードを処理できないストレージソリューションです。自動車、ヘルスケアなど、多くの業界におけるイノベーションは、ストレージの問題が解決されるまで進みません。高速オブジェクトストレージによって、大量のデータを保持する課題を克服し、組織はデータから価値を抽出してビジネスを前進させることができます。

フィールドCTOとして、Brad Kingは、 Scality が世界中で展開する最大のシステムの設計を担当しています。これには、数百のサーバーを備えたマルチペタバイト、複数サイトのシステムが含まれます。Bradは、Scalityの共同創設者の一人です。彼は、フランス海軍の海軍建築家として多面的なキャリアを始め、船の転覆と大きな船の周りの波に関する数値シミュレーションを行っていました。彼はその後、数年間、パリのSchlumberger研究ラボに参加し、乱流流体力学、研究室の自動化、大規模な並列数値シミュレーション、および新しいインターネット技術、Schlumbergerが資金提供したNCSAプロジェクト(Mosaicなど)の監視を含む作業を行っていました。