データチームは死んだ、長生きするデータチーム

はい、タイトルはクリックベイトで挑発的ですが、データのCTOとして多くの年を経験してきて、ドラマを正当化する変革を見てきました。伝統的な「データチーム」 – バックオフィスのクルーがレポートとダッシュボードを絞り出す – は実質的に死んでいます。その場所に、新しい種類のデータチームが登場しています: AIファースト、プロダクトドリブンのパワーハウスで、直接収益に影響します。彼らはもはやコストセンターではなく、利益を生み出すグループです。

ビジネスインテリジェンスからマシンラーニングへの旅

しばらく前まで、データチームはビジネスインテリジェンス（BI）と同義でした。私たちは会社のデータの歴史家で、SQLとスプレッドシートに住んでいて、「先月は何が起こったか？」という質問に答えるように任命されました。ビッグデータテクノロジーが登場し、「データサイエンティスト」という用語が新しいセクシーな仕事になったとき、データチームは進化しました。2010年代半ばまでに、レポート以外のことも行っていました。データ視覚化とインタラクティブな分析に進出し、各部門のためのダイナミックなダッシュボードを生成していました。仕事はデータの取り扱い、異なるソースと形のデータセットを混合し、ドメインの知識を理解することについてでした。

その後、2010年代後半にマシンラーニングの時代が来ました。データチームは予測モデルを構築し、膨大なデータセットの中から洞察を得るためにデータサイエンティストを雇い始めました。私たちは過去を説明することから未来を予測することに移りました: チャーンモデル、レコメンデーションエンジン、需要予測 – などなど。ただし、それでも、私たちの出力はスライドデッキと洞察でした。生の製品ではありませんでした。内部サービスビューローとして機能し、分析を通じてビジネスにアドバイスしていました。言い換えれば、私たちはコストセンターでした – 有用でしたが、コア製品と収益から一歩引いたところにいました。

GenAI: サポート機能から利益センターへ

それからGenAIが登場し、すべてが変わりました。強力な大規模言語モデル、GPTファミリーとLlamaのようなオープンソースバリアントのリリースは、ほぼ一夜で風景を覆いました。突然、データチームはビジネスを分析するだけでなく、AI製品とエクスペリエンスを構築するために不可欠になりました。顧客向けアプリケーションまたは内部ワークフローにLLMを統合することに成功した場合、ビジネスを推進することになります。うまく実装されたGenAIシステムは、カスタマーサポートを自動化したり、マーケティングコンテンツを生成したり、ユーザーエクスペリエンスをパーソナライズしたり、または新しいエージェントAIシステムをトレーニングするために必要なデータを提供したりできます。これらの機能は直接収益ストリームに影響します。実際、データチームの成果物はPowerPointスライドから生のAIパワードアプリケーションにシフトしました。

GenAIチームはイノベーショングループから始まり、感動の証明を生成しました。すぐに、誰でもAIエンジニアになり、組織全体にシャドウITを広げました。

データチームは新しい質問に直面しました: 「いつまでに利益センターになる予定ですか？」AIエンジニアが驚くべきツールを作成し始めたとき、データとアプリケーションを構築する2つのチームを統合する時が来たことは明らかでした。

小売会社が販売に関する問い合わせを処理するためのGenAIチャットボットを展開したり、銀行がAI駆動のパーソナライズされた投資アドバイザーを立ち上げたりとします。これらは伝統的なITのサイドプロジェクトではありません。デジタル製品で、顧客価値を創出し、収益を生み出します。しかし、同時に、これらのシステムを大規模に作成するには、従来のチームが準備したデータにアクセスし、運用できるようにする必要があります。

探索から製品へ – 片道のドア

探索的分析から製品中心のAIへのシフトは、深く不可逆的です。なぜ不可逆的か？GenAIのビジネスへの影響があまりに大きいため、R&Dの玩具に戻すことはできません。最近の世界的な調査によると、96%のITリーダーがすでにAIをコアプロセスに統合しています – 1年前の88%から上昇しました。言い換えれば、ほぼすべての企業がAIの実験からミッションクリティカルなワークフローへの統合へと移行しました。AIが生産で価値を生み出すしきい値を超えたら、戻ることはできません。

この新しいAI駆動の焦点は、データチームのテンポとマインドセットを変えます。過去には、長い発見プロジェクトとオープンエンドの分析の贅沢ができました。今日、AI機能を構築している場合、それは生産準備ができて、コンプライアンスが保たれ、信頼性が高い必要があります – どの顧客向け製品にも同じです。私たちは「オートノマスエイジ」と呼ばれるデータサイエンスの時代に入りました。私たちの仕事を導く質問は、もはや「どんな洞察を得ることができるか？」ではなく、「どのような知的システムを構築して、リアルタイムで洞察に基づいて行動することができるか？」です。

GenAIイニシアチブの多くが失敗する理由: ハードトゥルース

すべての興奮の中で、冷静な現実があります: GenAIイニシアチブのほとんどが失敗します。GenAIを成功裏に展開することは極めて困難であることがわかりました。 最近のMIT研究によると、驚くべき95%の企業GenAIパイロットプロジェクトは、計測可能なROIを生み出しません。約5%のAIパイロットのみが急速な収益増加または有意義なビジネスインパクトを達成します。これは、AIの潜在力が不足しているためではありません。AIを正しく行うことの複雑さが原因です。

失敗の原因を掘り下げると、MITの研究は明確な絵を描きます。多くのプロジェクトは「ハードワークよりもハイプ」 – デモユースケースではなく、統合、検証、監視の基本的な基礎に投資するチームが失敗します。他のプロジェクトは「ガベージインガベージアウト」の古典的な症状 – データの品質が低く、シロされたデータパイプラインがプロジェクトを最初から失敗させます。 souvent、AIモデルが欠陥があるのではなく、周囲の環境が欠陥です。研究者は、GenAIは研究室で失敗するのではなく、企業で曖昧な目標、低品質のデータ、組織の慣性と衝突するときに失敗することを指摘しています。実践では、ほとんどのAIパイロットはプルーフオブコンセプトの段階で停滞し、完全な生産展開には移行しません。

GenAIの成功を妨げるもの: データ、ガバナンス、インフラストラクチャ

5%のAIプロジェクトが成功するものと95%のプロジェクトが失敗するものを何が区別しますか？私の経験（および研究が確認するように）、勝者は基礎的な能力 – データ、ガバナンス、インフラストラクチャに焦点を当てています。GenAIは魔法ではありません。データの上に構築されています。高品質のデータパイプラインがモデルに供給されていない場合、最も優れたAIでも不安定な結果を生み出します。 Summit Partnersは最近の分析でそう述べています: 「AIを使用するシステムまたはプロセスの成功は、AIを供給するデータの品質、構造、可用性に依存します。」

実際には、GenAIを採用する組織がデータアーキテクチャとガバナンスに重点を置く必要があることを意味します。統一された、利用可能なデータストアがあなたのAIに利用できるもの（データセンター、ハイパースケーラー、サードパーティのSaaSシステムなど、すべてのデータストアを含む）がありますか？そのデータはクリーンで、キュレーションされ、規制に準拠していますか？データの連鎖と監査可能性（AIの出力が信頼でき、どのように生成されたかがわかる）がありますか？これらの質問は今や最前線にあります。

GenAIは企業がデータの家を整えることを強いる

ガバナンスも新たな重要性を獲得しました。AIモデルが間違った答え（または差別的な答え）を生成する可能性がある場合、堅牢なガバナンスはオプションではありません – 必須です。バージョニング、バイアスチェック、ループ内の人間によるレビュー、機密データ入力の厳格なセキュリティ対策などのコントロールは不可欠です。適切なガバナンス、トレーニング、明確に定義された目標がない場合、強力なAIツールでもビジネスで軌道に乗せることが難しいです。

インフラストラクチャも忘れてはいけません。GenAIを大規模に展開するには、重要なコンピューティングパワーと厳格なエンジニアリングが必要です。モデルはリアルタイムで、低遅延で、数百万のクエリに対して提供される必要があります。GPUまたは特殊なハードウェア、さらに監視、保守、ライフサイクル管理が必要です。簡単に言えば、セキュリティ、スケーラビリティ、回復力のある工業規格のAIインフラストラクチャが必要です。これがPrivate AIの概念が登場する場所です。Private AIは、インフラストラクチャ、データ、ガバナンスを統合するフレームワークです。Private AIは、セキュアでコントロールされた環境内でAIを開発することを意味します。データのセキュリティとコンプライアンスを確保します。

AIエンジニアだけではできない

これらの要件から、単に数人の才能あるAIエンジニアを雇用するだけが銀の弾丸ではないことは明らかです。データ業界で過去数年間に学んできた教訓です。データサイエンスブームの初期の日々に、企業はすべてをできる「ユニコーン」データサイエンティストを見つけようとしました – モデルを構築し、コードを書き、データと展開を処理します。その神話はすでに破綻しています。ベテランのデータサイエンティストはこう述べています: 「ノートブックの中にあるモデルは、実際にはビジネスには何もしません。」モデルをアプリケーションまたはプロセスに埋め込む必要があります。そのためには、チームの努力が必要です。複数のスキルセットを横断します。

2010年代後半に、データチームは異なる役割に分化しました: データエンジニアは堅牢なパイプラインを構築し、機械学習エンジニアはモデルをプロダクション化し、分析エンジニアは分析レイヤーを管理しました。

今日、GenAIはさらに高いハードルを設定しています。はい、AIスペシャリスト（プロンプトエンジニア、LLMファインチューナーなど）が必要ですが、成熟したデータパイプライン、ガバナンスフレームワーク、セキュアなプラットフォームがなければ、スペシャリストは壁に当たるでしょう。AIエンジニアはサンドボックスで素晴らしい言語モデルをプロトタイプ化できますが、それを製品に変えるには、セキュリティチーム、コンプライアンスオフィサー、データアーキテクト、サイトの信頼性エンジニアなどと協力する必要があります。

AIはチームスポーツです。最先端のモデルをビジネスにドロップして、突然AI駆動の企業を持つことができるという考えは魅力的に思えます。しかし、AIで成功する企業は、すべてのピースをまとめるクロスファンクショナルチーム、または「AIファクトリー」を構築した企業です。データチームは、実質的にフルスタックのAI製品チームに進化しました。データ、モデリング、エンジニアリング、オペレーションの専門知識を融合させています。彼らはデータドリブン、プロダクトリードの方法でツールを構築し、展開しています。価値生成はすべてのKPIに組み込まれています。

次世代のデータチーム

新しい「データチーム」の未来はどうなりますか？ここ数年で来ることについての兆しです:

• 手動ETL/ELTの減少: 面倒なデータの取り扱いは減ります。自動化されたデータパイプラインとAIアシストの統合により、チームはデータのクリーンアップと移動に半分の時間を費やす必要はありません。データの準備の雑用は、人間がより高度な設計と品質管理に集中できるように、知的システムによって処理されるようになります。
• ダッシュボードの減少: 無限にフィルタを調整するダッシュボードの時代は衰退しています。AIはより自然な言語の問い合わせとダイナミックな洞察の提供を可能にします。事前に構築されたダッシュボードではなく、AIから会話形式の答えが得られます（ソースデータが付随します）。データチームは静的なレポートの開発に時間を費やすのではなく、AIが洞察を生成する方法をトレーニングすることに重点を置くようになります。
• AIネイティブ製品開発の増加: データチームは製品イノベーションの中心になります。新しいカスタマーフェイスのAI機能を開発すること、または内部のAIツールを開発して運用を最適化することに関係なく、これらのチームは製品チームとして機能します。ソフトウェア開発の実践、迅速なプロトタイピング、A/Bテスト、ユーザーエクスペリエンス設計を採用します。データ分析だけではなく、すべてのデータチームは、実質的にAI製品チームとなり、直接のビジネス価値を提供します。
• 自律エージェントの台頭: 遠からず、データチームはルーチンタスクと意思決定を処理するために自律エージェントを展開します。予測のみではなく、特定のアクションを実行する権限を持つエージェントを想像してください。例えば、AIオペレーションエージェントが異常を検出して自動的に修復チケットを開いたり、AIセールスエージェントがリアルタイムで電子商取引の価格を調整したりします。データチームはこれらのエージェントを構築して管理する責任を負います。自動化の限界を押し広げます。

これらの変化を考慮すると、確かに「データチームは死んだ」と言うことができます。スプレッドシートのジョッキーとダッシュボードの配管工は、AIファーストのチームに取って代わられました。チームはデータ、コード、ビジネス戦略に精通しています。しかし、これは弔辞ではありません。新しいデータチームの世代は始まったばかりで、以前よりも価値があります。

したがって、覚えておいてください: データエンジニアは死んだ、長生きするデータエンジニア! 私たちが知っていたデータチームは去りましたが、新しいデータチームに長生きを！ – 感情、責任、そして大胆さを持って、AIが支配する世界で支配し続けます。