データチームは死んだ、長生きするデータチーム

はい、タイトルはクリックベイトで挑発的ですが、多くの年をデータで過ごしたCTOとして、私はドラマを正当化する変革を目撃しています。伝統的な「データチーム」 – バックオフィスのクルーがレポートとダッシュボードを分析する – は実質的に死んでいます。その代わりに、新しい種類のデータチームが登場しています: AI優先、製品主導のパワーハウスで、直接収益に影響します。彼らはもうコストセンターではなく、利益を生み出すグループです。

ビジネスインテリジェンスからマシンラーニングへの旅

しばらく前まで、データチームはビジネスインテリジェンス（BI）と同義でした。私たちは会社のデータの歴史家で、SQLとスプレッドシートに住み、先月何が起こったかを答えるように任命されました。Hadoopなどのビッグデータ技術が登場し、「データサイエンティスト」という用語が新しいセクシーな仕事になったとき、データチームは進化しました。2010年代半ばまでに、報告だけでなく、データ視覚化とインタラクティブな分析に取り組み、毎回動的なダッシュボードを生成しました。仕事はデータの取り扱い、さまざまなソースと形のデータセットの混合、ドメインの知識の理解でした。
その後、2010年代後半にマシンラーニングの時代が来ました。データチームは予測モデルを構築し、広大なデータセット内の洞察を発見するためにデータサイエンティストを雇用し始めました。私たちは過去を説明することから未来を予測することに移りました: 退会モデル、レコメンデーションエンジン、需要予測 – などなど。但し、その時点でも、私たちの出力はスライドデッキと洞察でしたが、ライブ製品ではありませんでした。私たちは内部サービス局として機能し、分析を通じてビジネスにアドバイスしました。言い換えれば、私たちはコストセンターでした – 有価値ではありましたが、コア製品と収益から一歩遅れました。
最善の場合、マシンラーニングチームは別々のユニットに分散されたり、製品グループ内に埋め込まれたりして、彼らのモデルと推論が完全にプラットフォームに統合されることがありました。大きい隔たりは多くの失敗したプロジェクト、没収された投資、失われた機会につながりました。

GenAI: サポート機能から利益センターへ

それからGenAIが登場し、すべてが変わりました。GPTファミリーやLlamaなどの強力な大規模言語モデルがリリースされ、ほぼ一夜で景色を覆いました。突然、データチームはビジネスを分析するだけでなく、AI製品とエクスペリエンスを構築するために不可欠になりました。LLMを顧客向けアプリケーションまたは内部ワークフローに正常に統合すると、ビジネスに情報を提供するだけでなく、ビジネスを推進することになります。うまく実装されたGenAIシステムは、カスタマーサポートを自動化したり、マーケティングコンテンツを生成したり、ユーザーエクスペリエンスをパーソナライズしたり、または新しいエージェントAIシステムをトレーニングするために必要なデータを提供したりできます。これらの機能は直接収益ストリームに影響します。実際、データチームの成果物はPowerPointスライドからライブAIパワードアプリケーションに移りました。
GenAIチームはイノベーショングループから始まり、感動の証明を提供しました。すぐに、誰でもAIエンジニアになり、組織全体に影のITを広めました。
データチームはすぐに新しい質問に直面しました: 「いつまでに利益センターになるのですか?」AIエンジニアが驚くべきツールを作成し始めたとき、データとアプリケーションを構築する2つのチームを統合する時が来たことは明らかでした。
小売会社が販売に関する問い合わせを処理するためにGenAIチャットボットを展開したり、銀行がAI駆動のパーソナライズされた投資アドバイザーを立ち上げたりとします。これらは伝統的なITのサイドプロジェクトではありません – これらは顧客価値を生み出し、収益を生み出すデジタル製品です。しかし、同時に、これらのシステムを大規模に作成するには、AIエンジニアリングチームが従来のチームが準備したデータにアクセスして操作できる必要があります。
幹部は気づきました。データチームの期待は今や非常に高くなっています。取締役会とCEOは、次のAI駆動の成長ベクトルを私たちに提供するよう期待しています。私たちは、舞台裏の分析家から最前線のイノベーターに移りました。これは、興奮する立場ですが、結果を大規模に生み出すための激しいプレッシャーも伴います。

探索から製品へ – 一方通行のドア

探索的分析から製品中心のAIへの移行は深く不可逆的です。なぜ不可逆的か? その理由は、GenAIのビジネスへの影響がR&Dの玩具に戻すにはあまりに大きいからです。最近の世界的な調査によると、96%のITリーダーがコアプロセスにAIを統合しました – 1年前の88%から上昇しました。言い換えれば、ほぼすべての企業がAIの実験からミッションクリティカルなワークフローへの埋め込みに移行しました。AIが生産で価値を生み出すしきい値を超えると、そこから戻ることはできません。
この新しいAI駆動の焦点は、データチームのテンポとマインドセットを変えます。過去には、長い発見プロジェクトやオープンエンド分析の余裕がありました。今日、AI機能を構築している場合、それはプロダクションレディ、コンプライアント、信頼性が必要です – どのカスタマーフェイシング製品のように。私たちはデータサイエンスの「オートノマスエイジ」に入りました。私たちの仕事を導く質問は、もはや「どのような洞察を発見できるか?」ではなく、「どのようなインテリジェントシステムを構築できるか?」です。
GenAIシステムは質問に答えるだけでなく、決定を下し始めています。これは一方通行のドアです: このようなオートノミーと影響力を経験した後、企業は静的なレポートと手動の意思決定に戻ることはありません。現在、データチームは利害関係者と製品指向である必要があります。

難しい真実: なぜほとんどのGenAIイニシアチブは失敗するのか

すべての興奮の中で、厳粛な現実があります: ほとんどのGenAIイニシアチブは失敗します。GenAIを成功裏に展開することは極めて困難であることがわかりました。 最近のMIT研究によると、95%の企業GenAIパイロットプロジェクトは測定可能なROIを生み出すことはありません。約5%のAIパイロットのみが急速な収益増加または有意義なビジネス影響を達成します。これは、潜在力の欠如によるものではなく、AIを正しく行うことの複雑さによるものです。
失敗の原因を分析すると、MITの研究は明確な絵を描きます。多くのプロジェクトは、実践的な基礎からではなく、デモユースケースの華麗さを追求するために躓きます。他のプロジェクトは、「ガベージインガベージアウト」症候群 – データの品質が低く、データパイプラインがシロされたため、プロジェクトが失敗する前にAIの仕事ができないようになります。 souvent、AIモデルが欠陥があるのではなく、周囲の環境が欠陥です。研究者は、GenAIは研究所で失敗するのではなく、企業で目標が曖昧で、データが悪く、組織の慣性に衝突したときに失敗するということを示しています。実践では、ほとんどのAIパイロットはプルーフオブコンセプトの段階で止まってしまい、完全なプロダクション展開には至りません。
この現実チェックは、貴重な教訓です。それは、GenAIが大規模に成功するには、古いBIの日々よりもはるかに高いバーを超える必要があることを教えてくれます。

賢いプロンプトを超えて: データ、ガバナンス、インフラストラクチャが重要

5%のAIプロジェクトが成功するのに対し、95%のプロジェクトが失敗するのは何が原因ですか? 私の経験（および研究が確認するように）では、勝者は基礎的な能力に焦点を当てています – データ、ガバナンス、インフラストラクチャ。GenAIは魔法ではありません – データの上に構築されています。モデルに高品質の、厳格に管理されたデータパイプラインを供給しないと、最も優れたAIでも不安定な結果を生み出します。 Summit Partnersは最近の分析で、「AIを使用するシステムまたはプロセスの成功は、AIを推進するデータの品質、構造、可用性に依存します。」と述べています。
実用的には、組織がGenAIを採用するにつれて、データアーキテクチャとガバナンスに重点を置く必要があることを意味します。すべてのデータストア（データセンター、ハイパースケーラー、サードパーティーのSaaSシステムなど）に対して統一されたアクセス可能なデータストアを持っていますか? そのデータはクリーンでキュレーションされ、規制に準拠していますか? データの連鎖と監査可能性（AIの出力を信頼し、どのように生成されたかを知ることができる）があるかどうかを確認するには、明確なデータの連鎖と監査可能性がありますか? これらの質問は今や最前線にあります。

GenAIは企業にデータの家を整理することを強制しています。

ガバナンスも新しい重要性を獲得しました。AIモデルが間違った答え（または攻撃的な答え）を生成する可能性がある場合、厳格なガバナンスは任意ではありません – 必須です。バージョニング、バイアスチェック、人間によるレビュー、機密データ入力の厳格なセキュリティ対策などのコントロールは不可欠です。適切なガバナンス、トレーニング、明確に定義された目標なしで、強力なAIツールでもビジネスで浸透することは難しいです。
インフラストラクチャについても忘れないでください。GenAIを大規模に展開するには、重大なコンピューティングパワーと厳格なエンジニアリングが必要です。モデルはリアルタイムで、低遅延で、可能な場合は数百万のクエリに対して提供される必要があります。GPUまたは専用ハードウェアが必要な場合があり、さらに監視、保持、ライフサイクル管理が必要です。簡単に言うと、セキュアでスケーラブルで堅牢な工業用AIインフラストラクチャが必要です。これは、インフラストラクチャをデータとガバナンスと統合するプライベートAIの概念で来ます。プライベートAIは、データのセキュリティとコンプライアンスを保証する、制御されたセキュアな環境でAIを開発することを指します。
結論として、GenAIの成功は、3つの柱の調和に依存します: データ、ガバナンス、インフラストラクチャ。どれか1つが欠けると、95%のプロジェクトがデモステージを超えて大規模に展開できないリスクがあります。

AIエンジニアだけではできない

これらの要件を考えると、単に数人の才能あるAIエンジニアを雇用するだけが銀の弾丸ではないことは明らかです。データ業界では過去数年間でこの教訓を学んできました。データサイエンスブームの初期の日々には、モデルを構築してコードを書き、データと展開を扱うことができる「ユニコーン」データサイエンティストを見つけるために、企業は試みました。その神話は今や消え去りました。ベテランのデータサイエンティストは、「ノートブックに置かれたモデルは実際にはビジネスに何もしません。」と述べています。モデルをアプリケーションまたはプロセスに埋め込む必要があります。そうすることで価値が生み出されます。そうするには、チームの努力が、複数のスキルセットにわたって必要です。
2010年代後半には、データチームがさまざまな役割に分化し始めました: データエンジニアは堅牢なパイプラインを構築し、機械学習エンジニアはモデルをプロダクション化し、分析エンジニアは分析レイヤーを管理し、その他多数。
今日、GenAIはバーをさらに高く設定しています。はい、AIスペシャリスト（プロンプトエンジニア、LLMファインチューナーなど）が必要ですが、これらのスペシャリストは、成熟したデータパイプライン、ガバナンスフレームワーク、セキュアなプラットフォームを持たないと壁に当たるでしょう。AIエンジニアはサンドボックスで素晴らしい言語モデルをプロトタイプ化できますが、それを製品に変えるには、セキュリティチーム、コンプライアンスオフィサー、データアーキテクト、サイトの信頼性エンジニアなどのコラボレーションが必要です。
AIはチームスポーツです。最先端のモデルをビジネスにドロップし、突然AI駆動の企業を持つことができるという考えは、魅力的ですが、実現可能ではありません。GenAIで成功している企業は、すべてのピースをまとめるクロスファンクショナルチーム、または「AIファクトリー」を構築しました。彼らのデータチームは、実際にフルスタックAI製品チームに進化しました。データ、モデリング、エンジニアリング、オプスの専門知識を融合させて、データ駆動型、製品主導の方法でツールを構築して展開し、価値生成をすべてのKPIに組み込んでいます。

次世代のデータチーム

では、新しい「データチーム」の将来はどうなりますか? ここ数年で彼らにとって何が来るのかの兆しです:

• 手動ETL/ELTが少なくなる: 面倒なデータの取り扱いは減ります。自動化されたデータパイプラインとAIアシストの統合により、チームはデータの準備に半分の時間を費やすことはありません。データの準備の下働きは、人間がより高いレベルの設計と品質管理に集中できるように、知的システムによって増加的に処理されるようになります。
• ダッシュボードが少なくなる: ダッシュボードフィルタを無限に調整する時代は衰えます。AIにより、より自然な言語のクエリとダイナミックな洞察の配信が可能になります。事前に構築されたダッシュボードではなく、ユーザーはAI（ソースデータ付き）から会話的な回答を取得します。データチームは静的なレポートの開発に時間を費やすのではなく、AIをトレーニングしてフライで洞察を生成することに時間を費やすことになります。
• AIネイティブ製品開発が増える: データチームは製品イノベーションの中心になります。新しいカスタマーフェイシングのAI機能を開発する場合でも、内部のAIツールを最適化する場合でも、これらのチームは製品チームとして機能します。ソフトウェア開発の実践、迅速なプロトタイピング、A/Bテスト、ユーザーエクスペリエンス設計を採用します – ただデータ分析ではありません。すべてのデータチームは、実質的にAI製品チームとなり、直接ビジネス価値を生み出します。
• オートノマスエージェントの台頭: すぐに予想される将来、データチームはオートノマスAIエージェントを展開して、ルーチンな決定とタスクを処理するでしょう。予測のみではなく、これらのエージェントは特定のアクションを実行することが承認されます（監視付き）。例えば、異常を検出して自動的に改善チケットを開くAIオペレーションエージェント、またはリアルタイムで電子商取引の価格を調整するセールスAIエージェントを想像してください。データチームはこれらのエージェントの構築と管理を担当し、自動化が達成できる限界を押し広げます。

これらの変化を考慮すると、確かに「データチームは死んだ」と言えるでしょう。しかし、これは弔詞ではありません – これは祝賀です。新世代のデータチームはまだ始まったばかりであり、彼らは今までで最も価値があります
したがって、覚えておいてください: データエンジニアは死んだ、長生きするデータエンジニア! 私たちが知るデータチームは去りましたが、新しいデータチームが長く在ります – 感覚、責任、そして大胆さと共に、このAI駆動の世界を支配するように。