データの整理：AIがゲームを変える方法

私たちはデータの海に溺れています。毎秒、スマートウォッチやスマートフォンが私たちの生活を断片化し、量化化しています。しかし、そのほとんどは無意味で、使い物にならないものです。

企業はこれを知っているので、テクノロジー大手のMetaは、去年夏に14億ドルを投資して、データラベリングスタートアップのScale AIの49%の株式を取得しました。これは、AIモデルに高品質のトレーニングデータを確保するための計算された戦略的な動きでした。

大規模な言語モデルは、入力されたデータの品質に完全に依存しています。つまり、「ガベージイン、ガベージアウト」です。ただし、現在、企業が直面している実際の課題は、生の情報の洪水を有用なデータに変えることです。

解決策は、目に見えているかもしれません。AI自体が、データをラベル付けしたり、エンドレスなスプレッドシートを手動で処理したりするような退屈なタスクを回避する戦略を生成することで、助けてくれることがあります。そうすれば、混沌を人間の知恵に変えることができます。

データが混沌になる：企業の隠れたコスト

ガートナーの2020年の調査によると、データの品質が低いと、企業に年間少なくとも1億2900万ドルものコストがかかり、生産性に影響し、情報に基づいた決定が下されず、不正確な報告が行われることがあります。

不完全なヘルスレコード、請求書の詳細、システム間の不一致なデータは、誤診、治療のミス、資源の無駄遣いにつながる可能性があります。長期的には、コストが増加し、システムへの信頼が低下します。

一方、物流では、サプライヤーと配送業者間のデータの不一致は、遅延や在庫不足につながる可能性があります。配送先の住所が間違っている場合や、在庫レコードが古い場合、サプライチェーン全体に波及効果が生じ、納期を逃したり、顧客が不満を抱いたりする可能性があります。

「過去のデータを組み合わせて、[ルート上で]何が起こるかを予測または理解することで、これらの非効率性を大幅に削減できます」と、ロジスティクスAI企業TransmetricsのCEO、アスパル・コエフは、Unite AIとの対談で述べました。

実用的には、不完全なデータは高コストです。1-10-100のルールは、これを示しています。データを入力時にチェックするコストは1ドル、後でクリーンアップするコストは10ドル、 何もしない場合は100ドルです。

AIを搭載したプラットフォームがもたらすもの

企業は、不完全なデータの増加に直面して、AIに解決策を求めています。新興のAIを搭載したプラットフォームは、データのクリーンアッププロセスを自動化し、コスト効率と精度を向上させています。

ロバート・ジアディーナ、Claritypeの創設者は、AIのプロセスを説明しました：

「データを共通の形式にまとめることができます。ビジネスに適した標準形式に変換することが必要です。」

ClaritypeのAIは、単純な標準化を超えています。プラットフォームの監視下での修復により、企業はシステムの境界を超えて、最も重要な質問に答えることができます。シロを破壊することができます。

「システムが別々に保持されていた各ピースは、ビジネス全体にわたる質問に対する答えの一部を保持しています」と、ジアディーナはUnite AIに語りました。

たとえば、重要なサプライヤーが配送遅延の影響を受けた場合、サプライヤー、注文、顧客の履歴を接続することで、どの主要顧客に最初に遅延について通知するかを判断できます。

「最終目標は、エンタープライズ内のすべてのデータを統一し、すべての質問に簡単に答えることができるようにすることです」と、ジアディーナは述べました。

このような相互接続の考え方は、企業がアドホックなデータクリーンアップから体系的なデータ管理への転換を図っている今日のより広い変化の代表です。データの品質を一時的な解決策ではなく、構造化されたプロセスとして開発することで、企業はより良い決定を下し、データからより有意義な洞察を得ることができます。

データ管理は、ITの雑用ではなく、貴重なビジネスプロセスと見なされています。企業は、データ管理を全体的な戦略に統合することで、より良い決定を下し、データからより有意義な洞察を得ることができます。

AIがデータをクリーンアップする方法と、それが直面する課題

AIに過度に依存することは危険です。ジアディーナによると、「心配される自動データ変換は、標準化を超えて推測に基づくものです。」

例えば、略語は簡単に誤解される可能性があります。「International Business Machines, Inc.」または「I.B.M.」は通常「IBM」に変換されますが、自動変換で「I.B.」が「IBM」に誤って変換された場合、両社にとって重大な問題になる可能性があります。

不足しているデータと不正確なデータは、最も一般的な問題です。コンテキストに基づいてギャップを埋めるためにAIにのみ頼ることは簡単に裏目に出る可能性があります。ジアディーナは、「影響が重大な場合、各推測を人間が承認する必要があります」と指摘しています。

自動化と人間の洞察のバランス

不完全なデータは、企業が情報を扱う方法に深い欠陥を浮き彫りにします。決定を改善するために、企業はデータを純粋に技術的な問題と見なすのを止め、人間の専門知識、倫理的認識、長期的な戦略的ビジョンを組み合わせたガバナンスモデルに移行する必要があります。

クリーンなデータは、より効果的なAIを作成し、AIはデータの品質を向上させます。この相互に強化されるサイクルは、自動化だけが私たちの不完全なデータの問題を解決しないことを示唆しています。この潜在性は、アルゴリズムの精度と人間の判断、そしてそれが導入する可能性のある偏見の認識を組み合わせることでのみ実現できます。透明性と、構築するシステムへの信頼を高めることができます。

アレックス・サンドバル、製造インテリジェンスAI企業Allie AIのCEOも、生成AIコパイロットは、アルゴリズムだけではなく、工場の論理に対する人間の流暢さに依存していることを強調しています。

「今日の最も成功した導入は、プログラマブルロジックコントローラー（PLC）データ、オペレーターのノート、コンプライアンスプロトコルでモデルを餌付けすることだけではありません。マシンの動作とデジタルな直感を翻訳できる新しいタイプの最前線の労働者に依存しています」と彼は結論付けました。