デバイス上での永続的学習が新しいトレーニング技術により近づく

MITとMIT-IBM Watson AI Labの研究チームは、デバイス上でのトレーニングを可能にする新しい技術を開発しました。この技術は、約250キロバイトのメモリを使用してトレーニングを行うことができます。これは、他のトレーニングソリューションが通常500メガバイト以上のメモリを必要とするのに対し、250キロバイト以下のメモリでトレーニングを行うことができるため、重要な成果です。

インテリジェントエッジデバイス上でのマシンラーニングモデルのトレーニングにより、デバイスは新しいデータに適応し、より良い予測を行うことができます。ただし、トレーニングプロセスには通常多くのメモリが必要となるため、デバイスにデプロイする前に、データセンターのコンピューターでトレーニングを行うことがよくあります。このプロセスは、新しい技術よりもコストが高く、プライバシーに関する懸念もあります。

研究者たちは、モデルをトレーニングするために必要な計算量を削減するようにアルゴリズムとフレームワークを開発しました。これにより、トレーニングプロセスが速くなり、メモリ使用量も削減されます。この技術により、マイクロコントローラー上でのマシンラーニングモデルのトレーニングが、わずか数分で行えるようになります。

新しい技術は、プライバシーにも役立ちます。データをデバイス上で保持することで、機密データが関与する場合に重要な考慮事項となります。同時に、フレームワークは、他のアプローチと比較してモデルの精度を向上させます。

ソン・ハンは、電気工学およびコンピューター科学科の准教授であり、MIT-IBM Watson AI Labのメンバーであり、研究論文の筆頭著者です。

「私たちの研究により、IoTデバイスは、推論を行うだけでなく、新しく収集されたデータに基づいてAIモデルを継続的に更新できるようになります。これは、デバイス上での永続的学習の道を開くものです。低リソース使用により、ディープラーニングがより幅広い分野で利用可能になり、特に低電力エッジデバイスにも適しています。」

論文には、共同筆頭著者であり、EECSの博士課程の学生であるジ・リンとリーガン・ズー、MITのポスドクであるウェイ・ミン・チェンとウェイ・チェン・ワンが含まれています。また、MIT-IBM Watson AI Labのプリンシパルリサーチスタッフであるチュアン・ガンも含まれています。

トレーニングプロセスをより効率的にする

トレーニングプロセスをより効率的にし、メモリ使用量を削減するために、研究チームは2つのアルゴリズムソリューションに頼りました。最初のソリューションは、スパースアップデートと呼ばれます。これは、各トレーニングラウンドで更新する最も重要な重みを特定するアルゴリズムを使用します。アルゴリズムは、重みを1つずつ凍結し、精度が一定のしきい値以下になると停止します。残りの重みは更新され、凍結された重みに対応するアクティベーションはメモリに保存する必要がありません。

「モデルの全体を更新することは非常にコストがかかるため、多くのアクティベーションがあるため、人々は通常最後の層のみを更新します。しかし、想像できるように、これは精度を損なうことになります。私たちの方法では、重要な重みを選択的に更新し、精度が完全に保存されるようにします。」

研究チームが開発した2番目のソリューションは、量化トレーニングと重みの簡略化を含みます。アルゴリズムは、重みを8ビットに丸め、トレーニングと推論の両方のメモリ使用量を削減する量化プロセスを使用します。アルゴリズムは、重みと勾配の比率を調整する乗数として機能する量化感知スケーリング(QAS)という技術を使用します。これにより、量化トレーニングによって精度が低下するのを防ぎます。

研究者たちは、アルゴリズムの革新を実行するためのシステムを開発しました。このシステムは、オペレーティングシステムのないシンプルなマイクロコントローラー上で動作します。モデルをエッジデバイスにデプロイする前に、コンパイル段階でより多くの作業を行うために、システムはトレーニングプロセスのステップの順序を変更します。

「コンパイル時には、自動微分やグラフ最適化などの多くの計算を実行します。また、スパースアップデートをサポートするために、冗長な演算子を積極的に削除します。ランタイムでは、デバイス上で実行する作業量が大幅に削減されます。」

高効率の技術

従来の軽量トレーニング用の技術は、約300〜600メガバイトのメモリを必要とするのに対し、研究チームの最適化は、マイクロコントローラー上でのマシンラーニングモデルのトレーニングに157キロバイトのみを必要としました。

フレームワークは、画像内の人物を検出するためのコンピュータビジョンモデルをトレーニングすることによってテストされ、10分でこのタスクを学習することができました。方法は、他の方法よりも20倍以上速くモデルをトレーニングすることができました。

研究者たちは、今後、言語モデルやさまざまな種類のデータにこれらの技術を適用しようと考えています。また、精度の低下なしに大規模モデルを縮小するために得られた知識を使用することも計画しており、これにより、大規模マシンラーニングモデルのトレーニングの炭足跡を削減することもできます。