機械学習開発の成功には新しいパラダイムが必要 – Thought Leaders

By Victor Thu, president, Datatron

機械学習を使用したイニシアチブは、従来のソフトウェアを使用したプロジェクトと同じように扱うことはできません。迅速に進める必要があり、テストを行い、問題を修正し、再テストする必要があります。言い換えると、早期に失敗する能力が必要です – プロセスの早期に失敗する必要があります。後で問題を発見することは非常に高価で時間がかかる可能性があります。

AI には新しいアプローチが必要

従来の方法でソフトウェアを開発する場合、決定ロジックを使用します。できるだけ正確にし、ソフトウェアが正常に機能するようにロジックを組み込む必要があります。アプリケーションのロジックが開発された後、バグの修正以外の変更は必要ありません。これは非常に方法的な開発プロセスであり、各ステップが正確であることを確認した後で次のステップに進む必要があります。これはソフトウェア開発に効果を発揮することが実証された戦略です。

しかし、AI/ML プロジェクトには同じ戦略を使用することはできません。代わりに、迅速に繰り返し処理を行う能力が必要です。機械学習には初期トレーニングが必要であり、プロセスであるため、最初にデプロイされたときに正確ではないという認識でアプローチする必要があります。

このプロセスには複数のイテレーションが必要です。現実は、最初のモデルは 99% の確率で予期せぬ結果に遭遇します。ラボでモデルを数ヶ月トレーニングしても、現実世界のデータとトラフィックに出会うと必ず変更されます。

即時の完璧さを目指すな

したがって、モデルをテストし、必要な変更を判断するには、迅速にプロダクションに配置する必要があります。次に、変更を加え、再度リリースし、改良します。このため、テスト前にモデルを完璧にしようとしすぎてはいけません。最初の試みは完璧ではありませんが、誰もそれを期待するべきではありません。

モデルがラボで開発されている場合、92% から 95% の精度への追加改善は、一部のユースケースでは重要ではない可能性があります。なぜでしょうか。AI モデルをトレーニングするために使用されるトレーニング データは一部だけです。精度のわずかな向上のために多くの時間とお金を費やすことになり、モデルが提供できる利点を一時的に放棄することになります。

ML デプロイの有効なステップ

モデルが失敗したり、誤った予測を生成したりする可能性があるため、ML 科学者はモデルをプロダクションに配置することを躊躇することがあります。ある程度は理解できます。リアルタイムでイベントを表示できるシステムが必要です。このアプローチにより、モデルをすぐにプルして更新し、新しいモデルを迅速にリリースできます。「分析麻痺」に陥るのではなく、これが ML モデルをプロダクションに配置する最も効率的な方法です。

モデルを起動して現実世界の経験を積むことができるようにする方がはるかに優れています。これは、データ サイエンティストが最初からモデルを可能な限り正確に作成する必要性を排除するものではありません。しかし、最初のバージョンが完成した後すぐに、重要なデータの収集を開始する必要があります。

このプロセスでは、モデルを A/B テスト モードまたはシャドウ モードで実行し、現実世界のデータに対して実行することができます。そうすることで、さまざまなモデルのパフォーマンスを比較し、どのモデルを昇格または降格するかを決定する前に多くのデータと証拠を取得できます。

別のベスト プラクティスは、グローバル モデルを作成するのではなく、ローカライズされたモデルを構築することです。ローカライズされたモデルを使用すると、特定のシナリオからのデータを使用して、モデルが各シナリオで適切に動作するようにすることができます。これは、多くのリソースを必要とする包括的なモデルよりも時間、データ、労力を節約できます。

カスタム スニーカーの需要を決定することがここでの例となります。ニューヨーク市の人口に基づいてグローバル モデルを構築した場合、北米の他の地域には適用できるかもしれません。しかし、国の中の他の地域の需要を正確に表すことはできないでしょう。ローカライズされたモデル戦略を使用すると、現在失っているより高い利益率を獲得できたでしょう。

モデルは、もちろん、定期的に更新する必要があります。従来のソフトウェアは一度設定して放置できるのに対し、環境のデータは常に変化しているため、モデルは継続的に更新する必要があります。ML モデルは、定期的にイテレーションを実行しないと、時間の経過とともに劣化します。これは、モデルの生涯にわたって発生し、慎重に監視する必要があります。

機械学習の新しいパラダイム

機械学習モデルを従来のソフトウェアと比較することは不適切です。ただし、AI/ML モデルに対する迅速なデプロイ テクニックは、ソフトウェア エンジニアが DevOps で行ったように、ML 専門家にも利益をもたらします。ML プロジェクトには、モデルを迅速に起動できるシステムが必要です。ライブのモデルと非ライブのモデルを効果的に比較する必要があります。これらのベスト プラクティスと上記の他のベスト プラクティスを使用すると、「分析麻痺」を回避し、早期に失敗して機械学習をスケールアップできます。