復元力 > 精度: モデルを運用するための真の指標が「モデルの復元力」である理由

インゴ・ミエルワ著、創設者、社長兼チーフデータサイエンティスト RapidMiner.

データ サイエンスはここ数年で大きな進歩を遂げており、多くの組織が高度な分析または機械学習モデルを使用して、プロセスに関するより深い洞察を取得し、場合によっては、将来起こり得る結果を予測することさえできています。他の「科学」の場合、プロジェクトが成功するかどうかが不明確であることが多く、次のような報告があります。 87% ものデータ サイエンス プロジェクトが本番環境に導入されない。 100% の成功率を期待することはできませんが、データ サイエンス プロジェクトでは、この分野で許容できると考えられるよりも高い成功率につながるパターンがいくつかあります。 これらの問題のあるパターンは、特定の業界やユースケースとは無関係に存在するようであり、データ サイエンスには対処すべき普遍的な問題があることを示唆しています。

機械学習の成功を測定する

機械学習 (ML) モデルを作成するデータ サイエンティストは、明確に定義された数学的基準に基づいて、そのようなモデルのパフォーマンスを測定します。 これらの基準のどれが適用されるかは、主にモデルのタイプによって異なります。 モデルが新しい状況 (顧客が離脱するかどうかなど) のクラスまたはカテゴリを予測する必要があると仮定します。 このような状況では、データ サイエンティストは、精度 (モデルが正しい頻度) や精度 (離脱を予測した場合に実際に顧客が離脱する頻度) などの測定値を使用します。

データ サイエンティストには、これらの評価基準を最適化して最良のモデルを作成することが仕事の一部であるため、このような客観的な基準が必要です。 実際、モデリングの準備としてデータを準備する次は、それらのモデルの構築と調整です。 データサイエンティストがほとんどの時間を費やす場所.

この欠点は、データ サイエンティストがこれらのモデルを実稼働環境に導入することに実際にはあまり重点を置いていないことです。これには複数の理由があります。 何よりもまず、成功した結果をもたらさないモデルは、それを導入する組織にビジネスへの影響を与えるために使用することはできません。 第 XNUMX に、これらの組織は、「現実世界」のデータに対して実行しても結果がうまく得られなかったモデルの開発、トレーニング、運用化に時間と費用を費やしてきたため、ML やその他のデータ サイエンス ツールが組織にとって役に立たないとみなしている可能性が高くなります。そして将来のデータサイエンスへの取り組みを進めることを拒否します。

真実は、データ サイエンティストは単にモデルの微調整を楽しんでおり、これに多くの時間を費やしているということです。 しかし、ビジネスへの影響がなければ、この時間を賢明に使うことはできません。今日の世界ではデータ サイエンティストのリソースがいかに不足しているかを考えると、これは特に痛ましいことです。

Netflixの受賞と制作の失敗

近年、モデルの運用化ではなくモデル構築に過剰投資が行われる現象が発生しています。 の ネットフリックス賞 映画のユーザー評価を予測するための最高の協調フィルタリング アルゴリズムを競うオープン コンペティションでした。 新しい映画に高い評価を付けた場合、あなたはこの映画を楽しんだ可能性が高く、この評価システムを使用すると、Netflix は特定のタイトルをあなたに推奨し、推奨されたコンテンツを楽しんだ場合は、Netflix の顧客として長く滞在する可能性が高くなります。 グランプリは、Netflix 独自のアルゴリズムを少なくとも 1% 改善できたチームに与えられる総額 10 万ドルでした。

このチャレンジは 2006 年に始まり、その後 40,000 年間で世界中の 10 を超えるデータ サイエンス チームの貢献により、タイトル レコメンデーションの成功率は XNUMX% 以上という目覚ましい改善につながりました。 ただし、優勝チームのモデルは、 運用されることは一度もなかった。 Netflixは、「精度の向上は、これらのモデルを製品化するために必要な労力を正当化するものではないようだ」と述べた。

最適が必ずしも最適とは限らない理由

モデルの精度やその他のデータ サイエンス基準は、問題のモデルを実稼働環境に導入する前にモデルの成功を測定するための指標として長い間使用されてきました。 これまで見てきたように、多くのモデルはこの段階に到達することさえできません。これはエネルギーと時間の両方の点で資源の無駄です。

しかし、モデルの調整に過剰に投資するこの文化には、さらに多くの問題があります。 XNUMX つ目は、テスト データに対する不注意による過剰適合です。これにより、管理するデータ サイエンティストにとっては良いように見えるモデルが、運用環境に入ると実際にはパフォーマンスが低下し、場合によっては害を引き起こすこともあります。 これは次の XNUMX つの理由で発生します。

1. テストエラーと運用環境で発生するエラーとの間にはよく知られた矛盾があります。
2. ビジネスへの影響とデータ サイエンスのパフォーマンス基準には相関関係があることがよくありますが、「最適な」モデルが常に最大の影響をもたらすとは限りません

上記の最初の点は「」とも呼ばれます。テストセットへの過剰適合」 これは、特に次のようなデータ サイエンス コンテストの参加者の間ではよく知られた現象です。 Kaggle。 これらの競技会では、この現象のより強力なバージョンがすでに公開リーダーボードと非公開リーダーボードの間で見られます。 実際、参加者は、 データを読んだことすらない。 同様に、プライベート リーダーボードと全体的な競争の勝者は、評価に使用したデータセット以外のデータセットでパフォーマンスを維持できるモデルを作成していない可能性があります。

精度はビジネスへの影響と同等ではありません

私たちはあまりにも長い間この慣行を受け入れてきたため、テスト データ セットへのモデルの適応が遅くなります。 結果として、最良のモデルに見えるものは、せいぜい平凡であることが判明します。

• 予測精度などの測定値は、ビジネスへの影響と同等ではないことがよくあります
• 精度が 1% 向上しても、ビジネス成果が 1% 向上するわけではありません。
• ビジネスへの影響に関しては、低パフォーマンスのモデルが他のモデルを上回る場合があります。
• メンテナンス、スコアリング速度、時間の経過による変化に対する堅牢性 (「回復力」と呼ばれる) などの他の要素も考慮する必要があります。

この最後の点は特に重要です。 最高のモデルは、競争に勝ったり、データ サイエンス ラボで優れた見栄えを示すだけでなく、実稼働環境にも耐え、さまざまなテスト セットで優れたパフォーマンスを発揮します。 これらのモデルは、復元力のあるモデルと呼ばれます。

ドリフトと回復力の重要性

どのモデルも時間の経過とともに劣化します。 唯一の問題は、これがどのくらいの速さで起こるか、そして変化した状況下でもモデルがどの程度うまく機能するかということです。 この悪化の理由は、世界が静的ではないという事実です。 したがって、モデルが適用されるデータも時間の経過とともに変化します。 こうした変化がゆっくりと起こる場合、私たちはこれを「コンセプトドリフト」と呼びます。 変化が突然起こる場合、私たちはこれを「コンセプトシフト」と呼びます。 たとえば、顧客はトレンドやマーケティングの影響を受けて、時間の経過とともにゆっくりと消費行動を変える可能性があります。 傾向モデルは、ある時点で機能しなくなる可能性があります。 これらの変化は、特定の状況では大幅に加速される可能性があります。 たとえば、新型コロナウイルス感染症（COVID-19）の影響で、トイレットペーパーや消毒剤などの商品の売り上げが伸びており、特定の商品が予想外に急増しており、こうしたモデルが完全に軌道から外れてしまう可能性がある。

復元力のあるモデルは、精度や精度などの尺度に基づくと最適なモデルではない可能性がありますが、より広範囲のデータセットで適切にパフォーマンスを発揮します。 このため、長期間にわたってパフォーマンスが向上し、持続的なビジネスへの影響をより効果的に発揮できるようになります。

線形モデルやその他のタイプの単純なモデルは、特定のテスト セットや瞬間にオーバーフィットすることが難しいため、復元力が高いことがよくあります。 より強力なモデルは、より単純なモデルの「チャレンジャー」として使用でき、使用する必要があります。これにより、データ サイエンティストは、それが長期間にわたって維持できるかどうかを確認できます。 ただし、これはモデリングの開始時点ではなく、終了時点で使用する必要があります。

復元力を測定するための正式な KPI はまだデータ サイエンスの分野に導入されていませんが、データ サイエンティストがモデルの復元力を評価できる方法がいくつかあります。

• 相互検証実行における標準偏差が小さいということは、モデルのパフォーマンスがさまざまなテスト セットの詳細に依存しないことを意味します。
• データ サイエンティストが完全な相互検証を実行していない場合でも、テストと検証に XNUMX つの異なるデータ セットを使用する場合があります。 テスト データ セットと検証データ セットのエラー率の差が小さいほど、回復力が高いことを示します。
• 実稼働環境でモデルが適切に監視されている場合、時間の経過とともにエラー率が確認されます。 時間の経過に伴うエラー率の一貫性は、モデルの回復力を示す良い兆候です。
• 選択したモデル監視ソリューションがドリフトを考慮している場合、データ サイエンティストは、モデルがその入力ドリフトによってどの程度影響を受けるかにも注意を払う必要があります。

データサイエンスの文化を変える

モデルが運用段階に導入された後も、モデルの精度に対する脅威は依然として存在します。 モデルの回復力に関する上記の最後の XNUMX つの点では、運用環境でのモデルの適切な監視がすでに必要です。 データ サイエンスの文化変革の出発点として、企業は適切なモデルのモニタリングに投資し、モデルが実稼働環境に入った後にパフォーマンスの不足についてデータ サイエンティストに責任を負わせ始めることをお勧めします。 これにより、データ サイエンスの分野において、モデル構築の文化から価値を創造し維持する文化へと即座に変化します。

最近の世界情勢が示しているように、世界は急速に変化しています。 現在、私たちはこれまで以上に、長期にわたって意味のあるビジネスへの影響を捉えるために、正確なモデルだけでなく、回復力のあるモデルを構築する必要があります。 たとえば、Kaggle は、世界中のデータ サイエンティストを活性化し、新型コロナウイルス感染症との世界的な闘いで使用するモデル ソリューションの構築を支援するチャレンジを主催しています。 新型コロナウイルス感染症のデータが 19 日でどれほど急速に変化するかを見てきたので、この課題の結果として生成された最も成功したモデルは、最も正確ではなく、最も回復力のあるモデルになると予想しています。

データ サイエンスは、「最良の」モデルを作成することではなく、真実を発見することを目的としている必要があります。 データ サイエンティストは、正確さよりも高い回復力の基準を維持することで、組織により多くのビジネス効果をもたらし、未来を前向きに形作ることができるようになります。