Andrew Ng が機械学習における過学習の文化を批判

過去 10 年間で機械学習界で最も影響力のある発言者の 1 人である Andrew Ng 氏は、現在、この分野がデータよりもモデル アーキテクチャの革新をどの程度重視しているか、特に「過剰適合」結果がどの程度許容されているかについて懸念を表明しています。一般化された解決策または進歩として描かれること。

これらは、現在の機械学習文化に対する広範な批判であり、その最高権威の一人から発せられたものであり、機械学習に対する恐怖に悩まされているセクターへの信頼に影響を与えています。 第三の崩壊 XNUMX 年間で AI 開発に対する企業の信頼が高まりました。

スタンフォード大学の教授であるン氏は、deeplearning.ai の創設者の XNUMX 人でもあり、XNUMX 月に 書状 を蒸留した組織のサイトで 最近のスピーチ 彼のいくつかの中核的な推奨事項に至るまで:

まず、研究コミュニティは、データ クリーニングが機械学習の課題の 80% を占めているという不平を言うのをやめ、堅牢な MLOps 手法と実践の開発に取り組むべきです。

第二に、機械学習モデルにデータを過剰適合させることで得られる「楽勝」から脱却する必要があります。その結果、そのモデルではうまく機能しますが、一般化できなかったり、広く展開可能なモデルを生成できなかったりすることです。

データ アーキテクチャとキュレーションの課題を受け入れる

「私の見解」とンさんは書いた。 「私たちの仕事の 80% がデータの準備であるとすれば、データの品質を確保することが機械学習チームの重要な仕事であるということです。」

彼は続けた：

「エンジニアがデータセットを改善する最適な方法を偶然見つけてくれると期待するのではなく、高品質のデータセットの構築を含む AI システムの構築をより再現可能かつ体系的に行うのに役立つ MLOps ツールを開発できることを願っています。」

「MLOps は初期の分野であり、人によって定義が異なります。 しかし、MLOps チームとツールの最も重要な組織原則は、プロジェクトのすべての段階を通じて一貫した高品質のデータ フローを確保することであると私は考えています。 これにより、多くのプロジェクトがよりスムーズに進むようになります。」

ライブ配信でZoomで話す 質疑応答 XNUMX 月末、Ng 氏は、放射線科用の機械学習分析システムの適用性の不足について次のように述べました。

「スタンフォード病院からデータを収集すると、同じ病院からのデータでトレーニングおよびテストを行うことができ、実際、[アルゴリズム] が特定の状態を発見する点で人間の放射線科医に匹敵することを示す論文を発表できることがわかりました。

「…同じモデル、同じ AI システムを、古いマシンを使用して通りの古い病院に持ち込み、技術者がわずかに異なる画像プロトコルを使用すると、そのデータがドリフトして AI システムのパフォーマンスが低下します。著しく劣化します。 対照的に、人間の放射線科医なら誰でも、通りを歩いて古い病院まで行くことができ、問題なく仕事をすることができます。」

スペック不足は解決策ではない

過剰適合は、機械学習モデルが特定のデータセット (またはデータのフォーマット方法) の偏心に対応するように特別に設計されている場合に発生します。これには、たとえば、そのデータセットから良い結果が得られるが、他のデータでは「一般化」されない重みを指定することが含まれます。

多くの場合、そのようなパラメーターは、収集された情報の特定の解像度や、後続の他のデータセットで再発することが保証されていないその他の特異性など、トレーニング セットの「データ以外の」側面で定義されます。

それは良いことですが、実際に必要なのは、さまざまなデータにわたって適切に機能する、広く適用可能で非常に顕著な機能である場合、過剰適合は、データ アーキテクチャやモデル設計の範囲や柔軟性をやみくもに拡大することで解決できる問題ではありません。環境 – より厄介な課題です。

一般に、この種の「仕様不足」は、機械学習モデルが目に見えないデータで失敗するという、Ng 氏が最近概説したまさに問題を引き起こすだけです。 この場合の違いは、モデルが失敗しているのは、データまたはデータ形式が過剰適合された元のトレーニング セットと異なるためではなく、モデルが脆弱すぎるというよりむしろ柔軟性が高すぎるためであるということです。

2020年後半、 紙 過小仕様により現代の機械学習の信頼性に課題が生じる はこの慣行に対して激しい批判を発し、Google や MIT などの機関から XNUMX 人以上の機械学習研究者や科学者の名前が名を連ねています。

この論文は「ショートカット学習」を批判し、モデルのトレーニングが開始されるランダムなシードポイントに基づいて、過小仕様のモデルがワイルドな接線で離陸する可能性がある方法を観察しています。 寄稿者は次のように観察しています。

「私たちは、多くのドメインにわたる実際の機械学習パイプラインにおいて過小仕様が蔓延していることを確認してきました。 実際、過小仕様のおかげで、決定の実質的に重要な側面は、パラメータの初期化に使用されるランダム シードなどの任意の選択によって決定されます。

文化の変化による経済的影響

学術的な資格にもかかわらず、Ng 氏は気取った学者ではありませんが、Google Brain と Coursera の共同創設者、Baidu のビッグデータと AI の元主席科学者、そして AIとMoku Landing AI は、この分野の新規スタートアップに 175 億 XNUMX 万ドルを管理しています。

彼が「ヘルスケアだけでなく、すべての AI には概念実証と製品化のギャップがある」と言うとき、それは、現在のレベルの誇大宣伝と明らかな歴史によって、ますます次のように特徴づけられているセクターへの警鐘を意図しています。不確実な長期的な事業投資、 悩ませる 定義と範囲の問題によって。

それにもかかわらず、その場ではうまく動作し、他の環境では失敗する独自の機械学習システムは、業界の投資に報いる可能性のある一種の市場獲得を表しています。 労働災害という文脈で「過剰適合問題」を提示することは、不誠実な方法を提供します。 収益化する オープンソース研究への企業投資、および競合他社による複製は可能だが問題がある（事実上）独自のシステムを生産することです。

このアプローチが長期的に機能するかどうかは、機械学習における真のブレークスルーがどの程度継続的に必要となるかによって決まります。 ますます高いレベルの投資、そして、ホスティングと運用に必要な膨大なリソースのために、すべての生産的な取り組みが必然的にある程度FAANGに移行するかどうか。