スマートフォンがマシンラーニングモデルを実行するときに熱を発生しないようにする方法

オースティン大学とカーネギーメロン大学の研究者は、スマートフォンなどのモバイルデバイスや低電力のエッジデバイスで、計算コストの高いマシンラーニングモデルを実行する新しい方法を提案しました。この方法では、熱制限をトリガーせずにモデルを実行できます。熱制限は、デバイスの温度が上昇したときにパフォーマンスを低下させる保護メカニズムです。

この新しいアプローチにより、より複雑なMLモデルが推論や他のタスクを実行できるようになり、ホストデバイスの安定性が損なわれることはありません。

このアプローチの中心となる考え方は、ダイナミックネットワークを使用することです。ここで、モデルの重みは、ローカルのマシンラーニングモデルの「低圧力」バージョンと「フルインテンシティ」バージョンの両方によってアクセスできます。

モデルの実行によってデバイスの温度が急上昇した場合、モデルは自動的に要求の少ないモデルに切り替え、温度が安定化するとフルバージョンに戻ります。

テストタスクは、画像分類と質問回答の自然言語推論（QNLI）タスクでした。両方とも、モバイルAIアプリケーションで使用される可能性のあるタスクです。ソース：https://arxiv.org/pdf/2206.10849.pdf

研究者は、2019年のHonor V30 ProスマートフォンとRaspberry Pi 4B 4GBで、コンピュータビジョンと自然言語処理（NLP）モデルの実験を行いました。

結果から、スマートフォンの温度が使用状況によって上昇し、下降することがわかります。赤い線は、ダイナミックシフトなしでモデルを実行したときの温度変化を示しています。

結果は似ているように見えますが、実際は異なります。青い線（ダイナミックシフトを使用した場合）の温度変化は、モデルが簡単なモデルと複雑なモデルの間を切り替えることによって起こります。熱制限は一度もトリガーされません。

一方、赤い線（ダイナミックシフトを使用しない場合）の温度変化は、デバイスの自動熱制限によって起こります。熱制限によってモデルは遅くなるため、待ち時間が長くなります。

モデルの使用可能性については、以下の画像から、未援用モデルの待ち時間が熱制限によって大きく増加することがわかります。

一方、ダイナミックシフトを使用したモデルは、待ち時間にほとんど変化がないことがわかります。

ユーザーにとって、長い待ち時間はタスクの放棄や不満につながる可能性があります。

NLPシステム（コンピュータビジョンではなく）では、応答時間が遅いと、特に自動翻訳や障害者支援ツールなどのプロンプト応答が必要なタスクでは、より不安定になる可能性があります。

リアルタイムVR/ARなどの時間 крит的なアプリケーションの場合、待ち時間が長いとモデルはほとんど使えなくなります。

研究者は述べています：

‘熱制限は、待ち時間に敏感なモバイルMLアプリケーションに対して重大な脅威をもたらします。例えば、ビデオストリーミングやゲームでのリアルタイムビジュアルレンダリングの場合、1フレームあたりの処理待ち時間の急激な増加はユーザーエクスペリエンスに大きな悪影響を及ぼします。また、モバイルオペレーティングシステムは、VoiceOver on iOSやAndroidのTalkBackなどの、視覚障害者のための特別なサービスやアプリケーションを提供しています。 ‘

‘ユーザーは通常、モバイルフォンを操作するために完全に音声に頼ります。したがって、これらのサービスの品質は、アプリケーションの応答性や待ち時間に大きく依存しています。 ‘

BERT w50 d50の未援用とダイナミックシフトを使用したパフォーマンスのグラフ。ダイナミックシフトの待ち時間の均一性に注目してください（青）。

この論文は、Play It Cool: Dynamic Shifting Prevents Thermal Throttlingというタイトルで、オースティン大学とカーネギーメロン大学の研究者によって共同で執筆されました。

CPUベースのモバイルAI

ダイナミックシフトとマルチスケールアーキテクチャは、すでに確立された研究分野ですが、ほとんどの取り組みは、高性能な計算デバイスのアレイに集中しています。現在の研究の焦点は、ローカル（デバイスベース）のニューラルネットワークの最適化にあり、通常は推論ではなくトレーニングの目的で行われます。また、専用のモバイルハードウェアの改善も行われています。

研究者が行った実験は、CPUチップではなくGPUチップで行われました。GPUリソースをモバイルマシンラーニングアプリケーションで利用することへの関心は高まっています（TensorFlow Liteの場合も同様です）。また、モバイルデバイスで直接トレーニングを行うことも可能です（この方法により、最終モデルの品質が向上する可能性があります）。しかし、GPUは通常、より多くの電力を消費します。これは、AIがクラウドサービスに依存しないようにするための重要な要素です。

ウェイトシェアリングのテスト

このプロジェクトでテストされたネットワークは、スリムネットワークとDynaBERTでした。これらは、コンピュータビジョンとNLPベースのタスクを表しています。

モバイルデバイスで効率的に実行できるBERTのバージョンを開発するための試みはありますが、一部の試みは、回避策として批判されています。研究者は、BERTをモバイルスペースで使用することは課題であり、BERTモデルは一般にモバイルフォンにとって計算コストが高すぎると述べています。

DynaBERTは、Googleの強力なNLP/NLUフレームワークを、リソースが限られた環境で最適化するための中国の取り組みです。しかし、研究者は、DynaBERTは非常に要求の厳しいモデルであることを発見しました。

研究者は、スマートフォンとRaspberry PIデバイスの両方で、2つの実験を実行しました。コンピュータビジョンの実験では、ランダムに選択された画像を、ResNet50を使用して分類タスクとして連続的に処理しました。1時間の実験時間中、安定して熱制限をトリガーせずに実行できました。

論文では、

‘ダイナミックシフトは、正確さを犠牲にしても、推論速度が速くなります。最も重要なのは、ダイナミックシフトアプローチは一貫した推論を提供することです。 ‘

ResNet50を未援用とダイナミックシフトを使用して、Slimmable ResNet50 x1.0とx0.25のバージョンを60分間の連続画像分類タスクで実行しました。

NLPテストの場合、研究者はDynaBERTスイートの2つの最小モデルを切り替えるように設定しました。しかし、1.4倍の待ち時間で、BERTは70°で熱制限をトリガーします。したがって、65°に達したときにダウンシフトを発生させるように設定しました。

BERTの実験では、GLUEのONLIデータセットの質問/回答のペアで、連続的に推論を実行しました。

待ち時間と精度のトレードオフは、コンピュータビジョンの実装よりもBERTタスクでより厳しかったため、精度は待ち時間の制御の必要性の代償でした。

研究者の実験の2つのセクタータスクの待ち時間と精度のトレードオフ。

研究者は観察しています：

‘ダイナミックシフトは一般に、BERTモデルを熱制限から守ることはできません。ただし、制限のある状況下では、モバイルフォンでBERTモデルを展開する場合にまだ役立つことがあります。 ‘

研究者は、BERTモデルがHonor V30フォンのCPU温度を32秒以内に80°まで上昇させ、6分以内に熱制限をトリガーすることを発見しました。したがって、研究者は半幅BERTモデルを使用しました。

実験はRaspberry PI設定でも繰り返され、技術はそこでも熱制限をトリガーせずに機能しました。ただし、研究者は、Raspberry PIがスマートフォンのような厳しい熱制限下で動作しないことを指摘しています。この実験シリーズは、モデストに装備された処理環境での方法の有効性をさらに示すものです。

2022年6月23日に初めて公開されました。