メタラーニングとは何か？

メタラーニングとは何か?

機械学習の分野で最も急速に成長している研究分野の1つは、メタラーニングの分野です。メタラーニングとは、機械学習アルゴリズムを使用して、他の機械学習モデルのトレーニングと最適化を支援することです。メタラーニングはますます人気を博し、多くのメタラーニング技術が開発されています。メタラーニングの基本的な考え方、メタラーニングの種類、およびメタラーニングの応用方法について理解することは有益です。メタラーニングの背後にある考え方、メタラーニングの種類、およびメタラーニングの応用方法について見ていきましょう。

メタラーニングという用語は、ドナルド・モーズリーによって、人々が学習を形作り始めるプロセスを記述するために造られました。モーズリーによると、人々は「感覚、探究、学習、成長の習慣を内面化し、ますますコントロールできるようになる」ということです。後には、認知科学者や心理学者がメタラーニングを「学習方法を学ぶ」と説明しました。

機械学習におけるメタラーニングでは、「学習方法を学ぶ」という考え方がAIシステムに適用されます。AIシステムは、複雑なタスクを実行するために、多くの小さなサブタスクをマスターする必要があります。このトレーニングには長い時間がかかり、AIエージェントは1つのタスクで学習した知識を別のタスクに簡単に転用できません。メタラーニングモデルと技術を開発することで、AIは学習方法を汎化し、新しいスキルをより迅速に習得できるようになります。

メタラーニングの種類

オプティマイザーメタラーニング

メタラーニングは、既存のニューラルネットワークの性能を最適化するために使用されます。オプティマイザーメタラーニング方法は、別のニューラルネットワークのハイパーパラメータを調整することで、ベースのニューラルネットワークの性能を向上させることができます。結果として、ターゲットネットワークはトレーニングされているタスクをよりうまく実行できるようになります。メタラーニングオプティマイザーの1つの例は、勾配降下の結果を改善するためにネットワークを使用することです。

ファーシュットメタラーニング

ファーシュットメタラーニングアプローチは、深層ニューラルネットワークを設計し、トレーニングデータセットから未知のデータセットに汎化できるようにするものです。ファーシュット分類の1つの例は、通常の分類タスクと似ていますが、データサンプルはデータセット全体です。モデルは多くの異なる学習タスク/データセットでトレーニングされ、次に多くのトレーニングタスクと未知のデータで最適な性能を実現するために最適化されます。このアプローチでは、1つのトレーニングサンプルが複数のクラスに分割されます。つまり、各トレーニングサンプル/データセットは2つのクラスで構成される可能性があり、合計4つのショットになります。この場合、トレーニングタスクは4ショット2クラスの分類タスクと説明できます。

ファーシュット学習では、個々のトレーニングサンプルは最小限であり、ネットワークはわずか数枚の画像を見ただけでオブジェクトを識別できることを目指しています。これは、子供が数枚の画像を見ただけでオブジェクトを区別できるように学習するのと似ています。このアプローチは、1ショットジェネレーティブモデルやメモリ増強型ニューラルネットワークなどの技術を作成するために使用されてきました。

メトリクスメタラーニング

メトリクスベースのメタラーニングは、ニューラルネットワークを使用して、メトリクスが効果的に使用されているか、ネットワークがターゲットメトリクスに到達しているかどうかを判断することです。メトリクスメタラーニングはファーシュット学習と似ており、ネットワークをトレーニングし、メトリクス空間を学習するためにわずか数枚の例が使用されます。同じメトリクスがさまざまなドメイン全体で使用され、ネットワークがメトリクスから逸脱すると、ネットワークは失敗しているとみなされます。

リカレントモデルメタラーニング

リカレントモデルメタラーニングは、リカレントニューラルネットワークと長短期記憶ネットワークにメタラーニング技術を適用することです。この技術は、RNN/LSTMモデルをシーケンシャルに学習させ、次にこのトレーニング済みモデルを別の学習者の基礎として使用することで機能します。メタラーナーは、初期モデルをトレーニングするために使用された特定の最適化アルゴリズムを取り込みます。メタラーナーの継承されたパラメータ化により、迅速に初期化および収束できますが、まだ新しいシナリオに対して更新できます。

メタラーニングのしくみ

メタラーニングの正確な方法は、モデルとタスクの性質によって異なります。ただし、一般的には、メタラーニングタスクでは、最初のネットワークのパラメータを2番目のネットワーク/オプティマイザのパラメータにコピーします。

メタラーニングには2つのトレーニングプロセスがあります。メタラーニングモデルは、ベースモデルで数ステップのトレーニングが行われた後、通常トレーニングされます。ベースモデルをトレーニングするためのフォワード、バックワード、最適化ステップの後、オプティマイザーのフォワードトレーニングパスが行われます。たとえば、ベースモデルで3または4ステップのトレーニングを行った後、メタロスが計算されます。メタロスが計算された後、各メタパラメータの勾配が計算されます。その後、オプティマイザーのメタパラメータが更新されます。

メタロスを計算する1つの方法は、初期モデルのフォワードトレーニングパスを完了し、次に既に計算されたロスを組み合わせることです。メタオプティマイザは別のメタラーナーである可能性がありますが、最終的にはADAMやSGDなどの離散オプティマイザを使用する必要があります。

多くのディープラーニングモデルには数十万または数百万のパラメータがあります。新しいパラメータセットを持つメタラーナーを作成することは計算コストが高いため、コーディネート共有という戦略が通常使用されます。コーディネート共有には、メタラーナー/オプティマイザを設計して、ベースモデルから1つのパラメータを学習し、他のすべてのパラメータの代わりにそのパラメータを複製することが含まれます。結果として、オプティマイザが持つパラメータは、モデルのパラメータに依存しなくなります。