インタビュー
マルロス・C・マシャド、アルバータ大学非常勤教授、Amiiフェロー、CIFAR AI研究講座担当教授 – インタビューシリーズ
Unite.AI を Google の優先ソースに追加
マルロス・C・マシャドは、アルバータ機械知能研究所（Amii）の常駐フェロー、アルバータ大学の非常勤教授、Amiiフェローであり、カナダCIFAR AI研究講座を担当しています。主な研究分野は強化学習です。ブラジルのミナスジェライス連邦大学（UFMG）で学士号と修士号、アルバータ大学で博士号を取得し、オプション（options）を通じた時間的に拡張された探索という考え方を広めました。
2021～2023年にはDeepMind、2019～2021年にはGoogle (GOOGL ) Brainで研究員を務め、特にLoonの成層圏気球を制御する深層強化学習に貢献しました。研究はNature、JMLR、JAIR、NeurIPS、ICML、ICLR、AAAIなどの主要な学術誌・会議で発表され、BBC、Bloomberg TV、The Verge、Wiredなどでも紹介されています。
今回のインタビューは、エドモントンで開かれた2023年の年次AI会議Upper Boundで行いました。主催はAmii（アルバータ機械知能研究所）です。
強化学習を主に研究されています。どのような点に魅力を感じますか？
強化学習の、相互作用によって学ぶという考え方が好きです。私にはとても自然に感じられ、ある意味で人間の学び方に似ています。AIを擬人化したいわけではありませんが、何かを試し、良い結果や悪い結果を経験して、より良い結果を生む行動を学ぶのは直感的です。エージェントが世界と相互作用し、仮説を立てて検証できるところに魅力があります。
そのため、新しい行動を発見できます。有名なのはAlphaGoの37手目で、ドキュメンタリーでは創造性の表れとして語られました。前例のない手で、皆が驚きました。既存のどこかから見つけたのではなく、環境と相互作用して発見したのです。私が関わった成層圏気球のプロジェクトでも、似たことが起きました。
誰も考えなかったのに実に巧妙な行動が現れ、皆が感心しました。強化学習は相互作用できるため、こうした発見に適しています。難しい問題の一つが反実仮想、つまり「実際とは別の行動を取っていたら何が起きたか」です。多くの機械学習の研究環境では調べようがありませんが、強化学習なら、次に同じ状況に遭遇したとき別の行動を試せます。私はこの対話的な側面が好きです。
もちろん、魅力的な応用も関心の理由です。何十年も前の初期の成功例を振り返っても、とても面白いと思います。
初期の応用で特に好きなものは何ですか？
有名な例が二つあります。スタンフォード大学が強化学習で飛ばしたヘリコプターと、1990年代のバックギャモンのプログラムTD-Gammonです。後者は世界王者級のプレーを実現しました。博士課程では、TD-Gammonを率いたジェラルド・テサウロのもとで学ぶため、IBMでのインターンを選びました。とても刺激的でした。
面白いことに、最初は強化学習とは何かを十分理解していませんでした。大学院に出願するとき、広く機械学習を学びたくて、多くの教授のサイトを見て研究紹介を読み、「面白そうだ」と思いました。振り返ると強化学習の著名な教授ばかり選んでいましたが、有名だからではなく、研究内容に惹かれたのです。この先生、あの先生と研究したい、と自然に感じていました。
自然にその人たちを見つけたのですね。
そうです。昔、一緒に研究したいと出願した相手が、後から見るとそういう方々でした。分野を理解する前から、他の論文で研究紹介を読むと「これは読んでみたい」と思い、いつも強化学習に行き着いていたのです。
Google Brainでは成層圏気球の自律航行に取り組まれました。なぜ通信が届きにくい地域へのインターネット提供に適していたのですか？
私はその分野の専門家ではありませんが、Alphabet (GOOG )傘下のLoonが掲げた構想です。通常はアンテナを設置して通信を提供します。エドモントンに一基置けば、半径5～6キロ程度をカバーできます。ニューヨークの中心部なら何百万人に届きますが、アマゾンの熱帯雨林にある50人ほどの集落ではどうでしょう。設置の経済的負担が大きく、現地に行くこと自体も困難です。
人口が少なく到達しにくい場所への大規模投資は採算が合いません。そこで、極端に高いアンテナを作れないか、例えば高さ20キロならどうか、という発想でした。そのようなアンテナは作れませんが、気球を置くことはできます。カバー半径が10倍なら、面積は100倍になります。森やジャングルの中央に置けば、本来はそれぞれアンテナが必要な複数の集落をまとめてカバーできます。
こうした地域への接続が動機の一つでした。Loonの標語は「次の10億人」ではなく「最後の10億人」にインターネットを届けることだったと記憶しています。最も接続が難しい人々を対象にする、非常に野心的な目標です。
どのような航行の問題を解決しようとしたのですか？
気球には推進装置がありません。熱気球と同じように、高度を上げ下げして、望む方向に吹く気流を探し、それに乗ります。別の方向へ行きたければ、また高度を変えて違う風を見つけます。ただしLoonの気球は熱気球ではなく、成層圏を飛ぶ固定容積の気球です。
航行上できるのは上昇、下降、高度維持だけで、目的地へ運んでくれる風を探す必要があります。課題は多く、まず通信を提供したい地域にとどまりながら、太陽光発電の電力を確保しなければなりません。位置と電力効率を両立する多目的最適化問題です。
さらに、今いる場所の風は分かっても、500メートル上の風は分かりません。AIでいう部分観測性です。予報はあっても風向きが90度外れることもあります。何百もの風の層、風速、風向、モデル、予報の不確実性や信頼度を考える、非常に高次元の問題です。
プロジェクト後には、問題がどれほど難しかったかを伝えること自体にも苦労しました。画面に見えるような対象ではなく、何百もの次元や風、最後にその風を測った時刻まで考えます。それに電力、時刻、目的位置も同時に扱う必要があります。
機械学習は何を学んでいるのですか？風のパターンや温度だけでしょうか？
風のモデルは機械学習システムでしたが、強化学習ではありません。さまざまな高度の過去データからモデルを作ります。ここで「私たち」と言いましたが、私はその部分には参加しておらず、Google Brainが関わる前にLoonが作ったものです。異なる高度の間をどう補間するかも扱っていました。例えば、2年前のある高度の風は分かっても、10メートル上は分かりません。
そこにガウス過程を用いており、モデルの性能について論文も出ています。私たちは強化学習のために、気球の運動を再現する優れたシミュレーターと風のシミュレーターを使いました。そして2010年に戻ったつもりで、その年の世界全体の粗い風データに機械学習モデルとガウス過程を重ね、ノイズなども加えられるようにしました。
過去の環境に戻り、気球の動力学と風を組み合わせることで、シミュレーターができたのです。
過去の世界のデジタルツインのようですね。
そうです。目標地域にとどまり、電力も節約する報酬関数を設計しました。気球はその世界と相互作用して学習します。天候や風を完全にはモデル化できませんが、過去の環境を使うことで航行を学べました。周囲の状況を踏まえて上昇、下降、高度維持のどれを選ぶか。最終目標はその地域へのインターネット提供です。
ゲームと比べて、現実世界に強化学習を導入する際の課題は何ですか？
いくつかあります。ゲームと現実というより、基礎研究と応用研究の違いでもあります。何百万人に提供するゲームにモデルを実装するなら、ゲームでも応用研究です。主要な課題はエンジニアリングです。研究にゲームを使うのは、関心のある性質を含みながら、制約が明確だからです。そこで学習を検証できます。「安全」というより、理解しやすい限定された環境といえます。
研究内容が必ず大きく変わるわけではありませんが、現実の導入には安全制約などが加わります。気球が危険な行動をしたり、エージェントが予想外の行動を学んで悪い結果を招いたりしないか確認しなければなりません。ゲームなら最悪でも負けるだけですが、現実では違います。
製品全体の技術基盤も扱う必要があります。研究者が一人でゲームを検証するように自由にはできません。チーム規模も違い、Loonには何十人、場合によっては何百人もいました。私たちの相手は一部でも、航空担当者と連絡する管制室もあり、関係者は多くなります。
アルゴリズムの前提が現実では成立しないこともあり、対処が必要です。現実は、自分で研究する限定されたゲームほど都合よくありません。
好きな例があります。資料を受け取って1～2週間後、私たちはエンジニアに「解決した、精度100％だ」と言いました。相手は笑って、適切な風がないときもあるので不可能だ、と答えました。調べると、アルゴリズムは気球を区域の中央へ移動させ、破裂するまで上昇させていました。落ちた気球は区域内にずっと残ります。もちろん望む解ではありません。シミュレーション上の出来事でしたが、破裂する高度まで上がれないようにするなどの制約が必要でした。
ゲームだけを扱う研究者は、こうした現実の制約や他のシステムとの相互作用を見落としがちです。現実に出て初めて、行動には結果が伴うと実感します。
もう一つは実験周期の長さです。ゲームは開始ボタンを押せば、遅くても一週間ほどで結果が出ます。成層圏ではそうはいきません。私は「成層圏のA/Bテスト」と呼んでいます。案に自信が持てても、統計的に優れていると確認しなければなりません。確か13個の気球を太平洋上で一か月以上飛ばし、やっと改善を検証できました。時間尺度が違い、試せる回数が少ないのです。
ゲームのように同じ実験を百万回並行して走らせるわけにはいきませんね。
はい。訓練ではシミュレーションを使えました。ゲームよりずっと遅いものの、技術面で対処できました。しかし現実世界で行うと、事情が変わります。
現在はどのような研究をしていますか？
アルバータ大学で多くの学生と研究グループを運営し、彼らのおかげで幅広い研究ができます。特に楽しみなのは継続学習です。通常はシミュレーターやデータセットを使って計算し、モデルを学習・配備して、うまく動くことを期待します。多くの場合それで十分ですが、現実が複雑すぎて、どんなに大きなモデルでもすべてを取り込めないことがあります。そこで適応が必要です。
例えば水処理施設のプロジェクトでは、強化学習で人間の意思決定を助ける、あるいは自律的に制御する方法を研究しています。水質は数時間で変わることがあり、前日のデータで毎日訓練して配備しても、数時間後にはデータドリフトでモデルが役に立たなくなるかもしれません。上流の山火事や雪解けまで予測するには世界全体をモデル化しなければなりません。
人間もそんなことはせず、適応し、学び続けます。「これまでの方法が効かなくなったから、別の方法を学ぼう」と考えます。現実の応用には永続的な学習が必要なものが多いのに、機械学習では一括して訓練・配備し、数日や数週間後に更新する考え方が一般的です。それでは時間尺度が合わない場合があります。
どうすれば永久に学び続け、改善し適応できるか。これは難題です。私たちも論文を出していますが、現状の方法や分野の標準的な解法でも、学習を止めて配備する代わりに学び続けさせると、急速に悪化します。固定モデルの成功は今後も続きますが、研究者として継続学習を一つの最前線だと考えています。
強化学習の多くのアルゴリズムは、データが来るたび処理するので、この課題を考えるのに適しています。既にうまくできるという意味ではありませんが、面白い研究課題がたくさんあります。
継続学習の将来の応用で、特に期待しているものは何ですか？
それは十億ドルの問いです。私はそうした応用を探しています。研究者にとって正しい問いを立てることが仕事の半分以上です。強化学習は、例えば成層圏の五つの気球をどう制御するか、といった問題に導かれ、その解決を通じて科学を進めます。今はアダム・ホワイト、マーサ・ホワイトらと、彼らが率いる水処理施設のプロジェクトで協力しています。言葉で表現することすら難しい問題で、言語技術の最近の成功をそのまま応用できるわけではありません。
水の濁度や温度はさまざまな時間尺度で変わり、継続学習は避けられません。社会的意義も大きく、飲料水の供給ほど重要なものはそう多くありません。カナダ北部など人口の少ない地域では、施設を動かす人がいない場合もあります。必ずしも運転員を置き換えるためではなく、人手がなくてできないことを可能にするためです。
シミュレーターも、それを用意する手段もないため、手元のデータを最大限使い、オンラインで学ぶ必要がある難しい問題です。もう一つ、まだ深く取り組んではいませんが、建物の冷房にも興味があります。気候変動や天候を考えると、今日は何百人もいるこの建物を、先週と同じ方策で冷やすべきでしょうか。現在はせいぜいサーモスタットですが、部屋ごとの人数にも応じて、もっと賢く適応できるはずです。
こうした高次元で直感的に理解しにくい制御系には、現在の標準的な方法を改善する機会がたくさんあります。
場所によっては消費電力の75％が空調ということもあるので、意義がありますね。
そのとおりです。家庭にも利用者から学ぶ機械学習製品はありますが、大きな建物ではもっと細かな制御が可能です。フロリダやブラジルなど需要の大きな場所があり、データセンターの冷却に取り組む企業も出ています。SFのようですが、必要に応じて継続的に学び適応する能力は、気球のような高次元の制御問題にも大きく影響します。
私たちは、特に深層強化学習がセンサー情報から、人間が設計するより複雑な判断を学べることを示しました。人が応答曲線を作ると線形や二次関数を考えがちですが、ニューラルネットワークはさまざまな非線形性を学び、より細かな、時に非常に効果的な判断ができます。
貴重なお話をありがとうございました。さらに知りたい方は、次の情報をご覧ください。
