インテリジェントなワークフローがデータの貯蔵を変革する

“よい” データ管理 の実践は、以前は「今必要なものだけを保持する」という意味だったが、その考え方は、データが高価で扱いにくかった時代の遺物である。AIの時代に、その考え方に従うと、時代遅れになるリスクがある。組織がデータを、キュレーション、接続、継続的に豊富化される、生きている、進化する資産として扱うとき、データは、以前は運用の副産物だったものを、次のAIドリブンのイノベーションのエンジンに変える燃料となる。

賭けは、これ以上高くない。AIは、ライフサイエンス、政府、メディア、製造業など、さまざまな業界で、顧客が気づき（そして投資家が期待する）、測定可能な利益をもたらす、即時的な、高い影響力をもたらす使用法を見つけており、次のAIイノベーションの波は、さらに貴重なものを要求する：正確で、独自のデータが必要である。組織の独自の経験と運用を反映した、独自のデータを今採用するものが、競争上の優位性を定義するだろう。

データの混沌の隠れたコスト

データは、通常、断片的な配置に散在し、断片化されたシステム、不透明なクラウド、管理されていないアーカイブが時間の経過とともに一時的な解決策から現状へと変化する。結果：重複した労力、過負荷のネットワークインフラストラクチャ、隠れたコスト、孤立した価値。

これが見覚えがあるのは、すべての組織がこれを経験しているからである。チームは、プロジェクトを完了するために、一時的なストレージまたはクラウドインスタンスを立ち上げるが、プロジェクトが終了した後も、それらのシロは長く残る。チーム、部門、さらには会社が合併し、突然、ストレージシステムの混沌とデータの散在が、IT管理者、データマネージャー、AI研究者の仕事を無限に難しくし（そして生産性の低下を引き起こす）、これらの問題は、予算、パフォーマンス、コンプライアンスに影響を与えるまで、表面に見えずに存在する。

以下は、データストレージへのアプローチが、理想的なワークフローを構築する能力を損なうことを示す最も一般的な警告信号である。

• ワンサイズフィットアール思考。任意のベンダーが、すべての問題を解決する単一のソリューションを押し付けるのを警戒する。フラッシュ、オブジェクト、テープそれぞれの長所を活かし、各ワークフローまたはパイプラインのステップで必要な特性を提供する技術を、慎重に展開する：フラッシュ、オブジェクト、テープそれぞれの長所を活かし、1つにロックインすると、将来のアジリティと選択肢を大幅に制限する。
• ダークまたはアイドルクラウドリポジトリ。孤立したクラウドバケットまたは忘れられた共有は、ワークフロー外にあり、インデックス付けされず、管理されず、ツールに役立たない。
• 「安い」コールドストレージが実際にはそうではない。アーカイブ階層は、データをすばやく取り戻す必要があるときに、予期せぬ回復とエグレス料金に当たるまで、経済的であるように見える。
• クリティカルなアクセスポイントでのパフォーマンスのボトルネック。遅いインジェストまたはコラボレーションのステップが、革新、意思決定、収益を促進するワークフローを絞る。
• クラウドへの過度の依存。すべてをクラウドに保持すると、コストが高騰し、データが最も必要なオンプレミスとエッジのワークフローから隔離され、最終的に、出境ネットワークインフラストラクチャにさらに多くの圧力がかかる。

これらの落とし穴は、それぞれ、時間、予算、アジリティを消費する運用上の摩擦を生み出す——AIドリブンの組織が必要とするものとは正反対のものである。しかし、最大の落とし穴は、データを静的なリソースとして扱うことである。新しいAIとデータドリブンの意思決定ワークフローに真正面から取り組むためには、データは、迅速な使用を促進し、時間の経過とともにデータを豊富化し、スケールを戦略的な優位性に変える、アジリティと適応性のあるワークフローを通過する必要がある。

静的なデータを生きているインテリジェンスに変える

AIについてのストレージの議論は、主に、今日のAIモデルをトレーニングする小さな例について焦点を当ててきたが、継続的なデータの豊富化システムを開発することは、はるかに多くのものになる可能性がある。データにアクセスするたびに、人間の入力、システム分析、AIドリブンのタグ付け、分類、発見を通じてデータを豊富化する機会が生まれる。

そして、AIモデルをトレーニングするたびに、アルゴリズムが改善される。各イテレーションは、モデルの精度を高め、予測を改善し、無関係なソース間の新しい関係を明らかにする。データは、時間のスナップショットではなく、継続的な学習のエンジンとなる。当「生きているデータ」、AIテクノロジー、人間の専門知識が協力して動作するとき、組織は変化に反応するのではなく、変化を予測し始める。

しかし、このような生きているインテリジェンスを解放するには、同等のダイナミックな基盤が必要である。データを最も新鮮な状態でキャプチャするためのインジェストのパフォーマンス、洞察を生成するためのGPUパワードトレーニングと推論、およびすべてを保持するための大量の経済的なストレージが必要である——次の豊富化サイクルに備えて。

スピードとスケールのバランスが、エンドツーエンドのワークフローを不可欠にする。フラッシュストレージはリアルタイムコラボレーションとモデル開発を促進する。オブジェクトストレージは、検索可能な、耐久性のあるスケールを提供する。テープは、ペタバイトを超えるスケールを拡張し、数十年の貴重な情報をコストの小さな部分で保存する。共に、シームレスなパイプラインを形成する——データは迅速に入力され、賢くなる、次のモデルを教えるためにいつでも準備ができている。

接続されたワークフローが解放するもの

接続されたワークフローでは、以前は遅れを生み出していた同じ課題が、優位性の源となる：

• 選択の自由。フラッシュ、オブジェクト、テープの最良の組み合わせを展開することで、最大のパフォーマンスと最低のコストを実現する。各テクノロジーは、それぞれの長所を提供するが、ロックインすることは、将来のアジリティと選択肢を大幅に制限する。
• 継続的な豊富化。データにアクセスする、使用する、または分析するたびに、新しいコンテキストとメタデータが追加される。時間の経過とともに、情報ベースは、賢く、豊かで、より有用になる。
• 任意のスケールでのアジリティ。容量を追加したり、パフォーマンスを高めたり、リーチを拡大したりすることが、混乱や予期せぬコストなしに簡単にできるシステム。
• どこでも即時的な洞察。データは、クラウド、オンプレミス、エッジのどこにあっても、必要とする人やシステムの近くに残る。つまり、意思決定はリアルタイムで行われる。
• 効果的な経済性。パフォーマンスと容量は、タスクに合わせて調整され、支出は実際のビジネスニーズと一致する。
• 視認性によるセキュリティ。統一されたワークフローは、データを追跡可能、監査可能、コンプライアンスを保ち、漏洩、損失、または放棄のリスクを軽減する。
• AIの基盤。統合システム内で移動し、学習し、改善するデータは、真の競争上の優位性——ライバルが簡単に複製または追いつくことができないもの——となる。

負担からブレイクスルーへ

事実は、効率的なワークフローと生きているデータは、別々のアイデアではなく、不可分である。よく設計された、高パフォーマンスのワークフローは、データに、構造、コンテキスト、循環を与える——継続的に進化するために必要なものである。生きているデータは、ワークフローに目的を与える——継続的に、モデル、ツール、洞察を豊富化し、組織の知性を定義する。

データの混沌の落とし穴——シロ、失われたリポジトリ、コストの暴走——は、避けられないものではない。過去のシステムの構築の徴候である。未来は、データを、ダイナミックな資産として扱い、自由に流れる、継続的に学習し、時間の経過とともに価値が増すワークフローを構築する組織に属する。

今が、自分の基盤を評価する時である。データがどれだけ流れているか。次のAIツールとビジネスドメインの理解のために、準備ができているか。行動を起こす——インテリジェントなデータ管理と、接続されたワークフローを合わせる——ものが、次のAIイノベーションの波にただ生き残るのではなく、リードする準備ができるだろう。データの黄金時代が来ている。組織がそれに備えているかどうかが、疑問である。