Інтерв’ю
Марлос С. Мачадо, ад’юнкт-професор Університету Альберти, співробітник Amii, голова кафедри CIFAR AI – Серія інтерв’ю
Додайте Unite.AI до бажаних джерел у Google
Марлос С. Мачадо – співробітник Альбертського інституту машинного інтелекту (Amii), ад’юнкт-професор Університету Альберти, де він також очолює кафедру CIFAR AI. Дослідження Марлоса в основному зосереджені на проблемі навчання з підкріпленням. Він отримав ступінь бакалавра та магістра в Університеті Федерал у Мінас-Жерайс, Бразилія, а ступінь доктора філософії – в Університеті Альберти, де він популяризував ідею тимчасово розширеної експлуатації через опції.
Він був дослідником у DeepMind з 2021 по 2023 рік і у Google (GOOGL ) Brain з 2019 по 2021 рік, під час якого він зробив значний внесок у навчання з підкріпленням, зокрема застосування глибокого навчання з підкріпленням для контролю стратосферних куль проекту Loon. Роботи Марлоса були опубліковані у провідних конференціях та журналах з штучного інтелекту, включаючи Nature, JMLR, JAIR, NeurIPS, ICML, ICLR та AAAI. Його дослідження також були представлені у популярних ЗМІ, таких як BBC, Bloomberg TV, The Verge та Wired.
Ми провели інтерв’ю з ним на щорічній конференції Upper Bound 2023 з штучного інтелекту в Едмонтоні, Альберта, організованій Amii (Альбертським інститутом машинного інтелекту).
Ваш основний фокус був на навчанні з підкріпленням, що вас приваблює до цього типу машинного навчання?
Мені подобається концепція навчання з підкріпленням, це дуже природний спосіб навчання, тобто ви вчитеся через взаємодію. Це здається мені тим, як ми вчимося як люди, у певному сенсі. Я не люблю антропоморфізувати штучний інтелект, але це просто інтуїтивний спосіб, коли ви пробуєте речі, деякі речі здаються хорошими, деякі – поганими, і ви вчитеся робити речі, які роблять вас кращими. Однією з речей, які мене приваблюють у навчанні з підкріпленням, є те, що через взаємодію з світом ви можете прийти до гіпотези та перевірити її.
Причина, через яку це важливо, полягає в тому, що це дозволяє відкрити нове поведінку. Наприклад, одним з найвідоміших прикладів є AlphaGo, хід 37, про який говорять у документальному фільмі, який був творчим. Це була річ, якої раніше не бачили, вона залишила нас усіх ураженими. Це не було ніде, це було просто через взаємодію зі світом, ви отримуєте можливість відкрити такі речі. Ви отримуєте можливість відкрити поведінку, яка залишає всіх ураженими.
Ми бачили поведінку, яка виникала і залишала всіх ураженими, як один з проектів, над яким я працював, був пов’язаний з польотом видимих куль у стратосфері, і ми побачили дуже схожі речі.
Ми бачили поведінку, яка виникала і залишала всіх ураженими, як ми ніколи не думали про це, але це було genіяльно. Я думаю, що навчання з підкріпленням унікально розташовується для відкриття цього типу поведінки, оскільки ви взаємодієте, оскільки одним з найважчих речей є контрфакти, тобто що б відбулося, якби я зробив щось інше? Це надзвичайно складна проблема в цілому, але в багатьох випадках навчання з підкріпленням ви можете спробувати це наступного разу, коли ви будете взаємодіяти з цим.
Конечно, я не буду гіпокритом, я думаю, що багато крутих застосунків, які прийшли з цим, зробили це дуже цікавим. Як повернення назад десятиліттями і десятиліттями, навіть коли ми говоримо про ранні приклади великого успіху навчання з підкріпленням, все це зробило це для мене дуже привабливим.
Який був ваш улюблений історичний приклад?
Я думаю, що є два дуже відомі приклади, один – це літаючий гелікоптер, який вони створили в Стенфорді з допомогою навчання з підкріпленням, і інший – це TD-Gammon, який став чемпіоном з нарди. Це було у 90-х роках, і тоді я зробив усе, щоб пройти стажування в IBM з Джеральдом Тесоро, і Джеральд Тесоро очолював проект TD-Gammon, тому це було дуже круто.
Це було смішно, оскільки коли я почав займатися навчанням з підкріпленням, я не зовсім розумів, що це таке. Коли я подав заяву до аспірантури, я відвідав багато сайтів професорів, оскільки я хотів займатися машинним навчанням, і я читав описи їхніх досліджень, і я був таким: “О, це цікаво”. Коли я повернувся назад, без знання галузі, я вибрав усіх відомих професорів з навчання з підкріпленням, але не тому, що вони були відомими, а тому, що опис їхніх досліджень був привабливим.
Як ви натрапили на них?
Точно, тому що коли я повернувся назад, я сказав: “О, ці люди, з якими я хотів працювати давно”. Це було не тому, що вони були відомими, а тому, що опис їхніх досліджень був привабливим.
Під час роботи в Google Brain ви працювали над автономною навігацією стратосферних куль. Чому це був хороший випадок для надання доступу до Інтернету в важкодоступні регіони?
Це не моя спеціальність, це була презентація Loon, дочірньої компанії Alphabet. Коли ви проходите через те, як ми надаємо Інтернет багатьом людям у світі, ви будуєте антену, наприклад, в Едмонтоні, і ця антена дозволяє вам обслуговувати регіон радіусом п’ять-шість кілометрів. Якщо ви поставите антену в центрі Нью-Йорка, ви будете обслуговувати мільйони людей, але якщо ви спробуєте надати Інтернет племені в амазонському лісі, можливо, у вас буде 50 людей у племені, економічна вартість встановлення антени там буде дуже високою, не кажучи вже про те, що доступ до цього регіону буде дуже складним.
Економічно це не має сенсу вкладати великі інвестиції в інфраструктуру в важкодоступному регіоні, який дуже рідко заселений. Ідея куль полягала в тому, щоб створити антену, яка була б дуже високою. Ми не знаємо, як побудувати таку антену, але ми можемо поставити кулю туди, і тоді куля зможе обслуговувати регіон, який у 10 разів більший за радіус, або якщо говорити про площу, то у 100 разів більший.
Якщо ви поставите кулю в центрі лісу або джунглей, ви зможете обслуговувати кілька племен, яким інакше потрібно було б окрема антена для кожного з них. Надання доступу до Інтернету в такі важкодоступні регіони було однією з мотивацій. Я пам’ятаю, що девіз Loon був не надати Інтернет наступному мільярду людей, а надати Інтернет останньому мільярду людей, що було дуже амбіційним.
Які були навігаційні проблеми, які ви намагалися вирішити?
Ці кулі працюють так, що вони не рухаються, як люди навигують на повітряних кулях, ви або піднімаєтеся, або опускаєтеся, і знаходитьесь у вітрі, який дме в певному напрямку, потім ви їдете на цьому вітрі, і тоді ви кажете: “О, я не хочу йти туди nữa”, можливо, ви піднімаєтеся або опускаєтеся і знаходитьесь у іншому вітрі тощо. Це те, що роблять ці кулі. Це не гаряча повітряна куля, це куля постійного об’єму, яка літає у стратосфері.
Все, що вона може зробити з навігаційної точки зору, це піднятися, опуститися або залишитися на місці, а потім вона повинна знайти вітри, які дозволять їй потрапити туди, куди вона хоче. У цьому сенсі це те, як ми навигуємо, і є багато складностей. Однією з них є те, що, говорячи про формулювання спочатку, ви хочете бути в певному регіоні, обслуговувати Інтернет, але ви також хочете бути певними, що ці кулі сонячні, тобто ви хочете зберегти енергію.
Це багатоцільова оптимізаційна проблема, не тільки бути в регіоні, куди ви хочете, але також бути енергоефективним. Це перша проблема, але коли ви дивитесь на деталі, ви не знаєте, яким є вітер, ви знаєте, яким є вітер там, де ви знаходитеся, але ви не знаєте, яким є вітер за 500 метрів над вами. У нас є те, що ми називаємо в штучному інтелекті частковою спостережуваністю, тобто у вас немає цих даних.
У вас є прогнози, і є статті, написані про це, але прогнози часто можуть бути неправильними на 90 градусів. Це дуже складна проблема у сенсі того, як ви справляєтеся з цією частковою спостережуваністю, це надзвичайно висока проблема, оскільки ми говоримо про сотні різних шарів вітру, і тоді вам потрібно подумати про швидкість вітру, напрям вітру, те, як ми моделюємо це, наскільки ми впевнені в цьому прогнозі, невизначеності.
Це робить проблему дуже складною. Однією з речей, з якою ми найбільше боролися в цьому проекті, було те, як ми можемо пояснити, наскільки складна ця проблема. Тому що це складно осмислити, тому що це не те, що ви бачите на екрані, це сотні вимірів і вітрів, і коли востаннє ви мали вимір цього вітру? У певному сенсі вам потрібно засвоювати все це, поки ви думаєте про енергію, час доби, куди ви хочете бути, це багато.
Що вивчає машинне навчання? Чи це просто вітрові моделі та температуру?
Це працює так, що у нас є модель вітру, яка є системою машинного навчання, але це не навчання з підкріпленням. У вас є історичні дані про різні висоти, а потім ви будуєте модель машинного навчання на основі цього. Коли я кажу “ми”, я не був частиною цього, це була річ, яку зробили в Loon ще до того, як Google Brain взяв участь. У них була модель вітру, яка була не тільки про різні висоти, а й про те, як інтерполювати між цими висотами.
Ви можете сказати: “Давайте скажемо, два роки тому, це був вітер, але що було за 10 метрів вище, ми не знаємо”. Тоді ви ставите процес Гауса на основі цього, тому у них були статті про те, наскільки хорошою була ця модель. Ми робили це з точки зору навчання з підкріпленням, у нас був дуже хороший симулятор динаміки кулі, і у нас також був симулятор вітру.
Тоді ми повернулися в часі і сказали: “Давайте представимо, що ми в 2010 році”. У нас були дані про те, яким був вітер у 2010 році по всьому світу, хоча і дуже грубі, але потім ми могли накласти на це модель машинного навчання, цей процес Гауса, щоб отримати фактичні виміри вітру, і тоді ми могли вводити шум, ми могли робити всі sorts of речі.
Тоді, оскільки у нас був симулятор динаміки і у нас був симулятор вітру, і ми повернулися в часі, представивши, що ми були там, тоді у нас був симулятор.
Це як цифрова копія в минулому.
Точно, ми розробили функцію винагороди, яка полягала в тому, щоб залишатися на цілі і бути трохи енергоефективним, але ми розробили цю функцію винагороди, яку мала куля, навчаючись, взаємодіючи з цим світом, але вона могла взаємодіяти з цим світом тільки тому, що ми не знаємо, як моделювати погоду і вітер, але тому, що ми представляли, що ми в минулому, і тоді ми змогли навчитися навігації.
По суті це було питання про те, чи підніматися, опускатися чи залишатися на місці, враховуючи все, що відбувається навколо мене, а в кінцевому підсумку я хочу обслуговувати Інтернет у цьому регіоні. Це була проблема, у певному сенсі.
Які деякі з викликів у розгортанні навчання з підкріпленням у реальному світі порівняно з ігровим середовищем?
Я думаю, що є кілька викликів. Я не думаю, що це обов’язково про ігри та реальний світ, а про фундаментальні дослідження та прикладні дослідження. Тому що ви можете робити прикладні дослідження в іграх, наприклад, якщо ви намагаєтеся розгорнути наступну модель в грі, яка буде випущена мільйонам людей, але я думаю, що одним з основних викликів є інженерія.
Якщо ви працюєте над дослідженням, часто ви використовуєте ігри як середовище для дослідження, оскільки вони захоплюють багато властивостей, про які ми дбаємо, але вони захоплюють їх у більш визначеному наборі обмежень. Через це ми можемо проводити дослідження, ми можемо валідувати навчання, але це більш безпечне середовище, яке ми краще розуміємо.
Це не означає, що дослідження обов’язково повинно бути дуже різним, але я думаю, що реальний світ приносить багато додаткових викликів. Це про розгортання систем, таких як обмеження безпеки, як ми повинні були переконатися, що рішення було безпечним. Коли ви просто робите дослідження в іграх, ви не думаєте про це.
Це виклик, інший полягає в тому, що інженерний стек дуже відрізняється від того, коли ви просто дослідник, який взаємодіє з комп’ютерною грою, щоб валідувати це. Це не те, що вони просто дозволять вам робити все, що вам хочеться, тому я думаю, що вам потрібно стати набагато більш знайомим з цим додатковим елементом.
Я думаю, що розмір команди також може бути дуже різним, як Loon на той час мав десятки, якщо не сотні людей. Ми все ще взаємодіяли з малим числом з них, але тоді у них була кімната керування, яка фактично спілкувалася з авіаційним персоналом.
Ми були невігласами щодо цього, але тоді у вас є багато більше зацікавлених сторін, у певному сенсі. Я думаю, що багато різниці полягає в тому, що інженерія, безпека тощо, і, можливо, інший полягає в тому, що ваші припущення не справджуються. Багато припущень, які ви робите, на яких ці алгоритми засновані, коли вони переходять у реальний світ, вони не справджуються, і тоді вам потрібно вирішити, як з цим справитися.
Світ не такий дружній, як будь-яке застосування, яке ви робите в іграх, це в основному якщо ви говорите про дуже обмежену гру, яку ви робите самостійно.
Одним з прикладів, який я дуже люблю, є те, що вони дали нам все, ми були такими: “Окей, тепер ми можемо спробувати деякі речі, щоб вирішити цю проблему”, і тоді ми пішли і зробили це, і потім ми повернулися до інженерів Loon через тиждень чи два тижні, і сказали: “Ми вирішили вашу проблему”. Ми були дуже розумними, вони подивилися на нас з посмішкою на обличчі, як би кажучи: “Ви не вирішили цю проблему, це занадто складно”, як би кажучи: “Так, ми вирішили, ми абсолютно вирішили вашу проблему, дивіться, у нас 100% точності”.
Як би кажучи: “Це буквально неможливо, іноді у вас немає вітру, який би дозволив вам…” “Ні, давайте подивимось, що відбувається”. Ми вирішили, про що йшлося. Алгоритм навчання з підкріпленням навчився йти до центру регіону, а потім піднімався, і піднімався, і тоді куля лускувалася, і куля йшла вниз, і вона була всередині регіону назавжди.
Вони були такими: “Це явно не те, що ми хочемо”, але тоді, звичайно, це була симуляція, і тоді ми сказали: “Окей, як ми можемо виправити це?” Вони були такими: “Окей, є кілька речей, але одна з них полягає в тому, що ми повинні переконатися, що куля не може піднятися вище рівня, на якому вона лускувалася”.
Ці обмеження в реальному світі, ці аспекти того, як ваше рішення взаємодіє з іншими речами, легко перекласти, коли ви просто дослідник навчання з підкріпленням, який працює над іграми, і тоді, коли ви переходите у реальний світ, ви такі: “Очікую, ці речі мають наслідки, і мені потрібно бути обізнаним про це”.
Я думаю, що це одна з основних складностей. Я думаю, що інша полягає в тому, що цикл цих експериментів дуже довгий, як у грі ви можете просто натиснути кнопку “Грати”. У гіршому випадку, через тиждень у вас будуть результати, але тоді, якщо ви фактично повинні летіти кулями в стратосфері, у вас є вираз, який мені подобається використовувати у моїх розмовах, це як би “ми проводили А/Б-тестування стратосфери”, тому що в кінцевому підсумку, після того, як у нас було рішення і ми були впевнені в ньому, тепер ми хочемо переконатися, що це насправді статистично краще.
Ми отримали 13 куль, я думаю, і ми летіли ними в Тихому океані понад місяць, тому що це було те, що потрібно, щоб валідувати все, що ми прийшли з цим. Часова шкала дуже відрізняється, тому ви не отримуєте так багато можливостей спробувати речі.
На відміну від ігор, немає мільйона ітерацій однієї й тієї ж гри, які відбуваються одночасно.
Так. У нас це було для навчання, оскільки ми використовували симуляцію, хоча, знову ж таки, симулятор значно повільніший за будь-яку гру, яку ви будете мати, але ми змогли впоратися з цим інженерно. Коли ви робите це у реальному світі, то це інакше.
Який ваш дослідницький напрям сьогодні?
Тепер я в Університеті Альберти, і у мене є дослідницька група тут з багатьма студентами. Мої дослідження значно більш різноманітні, оскільки мої студенти дозволяють мені це робити. Однією з речей, яку я особливо схвильований, є ця концепція безперервного навчання.
Що відбувається, це те, що майже кожен раз, коли ми говоримо про машинне навчання в цілому, ми робимо деякі обчислення, чи то за допомогою симулятора, чи обробляючи дані, і ми вчимо модель машинного навчання, і ми розгортаємо цю модель, і ми сподіваємося, що вона працює добре, і це нормально. Багато разів це саме те, що вам потрібно, багато разів це ідеально, але іноді це не так, оскільки іноді проблеми у реальному світі занадто складні, щоб очікувати, що модель, незалежно від того, наскільки великою вона є, зможе захопити всі складності світу, тому вам потрібно адаптуватися.
Одним з проектів, над яким я працюю, наприклад, тут в Університеті Альберти, є водопідготовчий завод. По суті це про те, як ми можемо розробити алгоритми навчання з підкріпленням, які можуть підтримувати інших людей у процесі прийняття рішень, або як зробити це автономно для водопідготовки. У нас є дані, ми можемо бачити дані, і іноді якість води змінюється протягом годин, тому навіть якщо ви скажете: “Кожного дня я буду тренувати свою модель машинного навчання з попереднього дня, і я буду розгортати її протягом годин вашого дня”, ця модель вже не дійсна, оскільки є дрейф даних, це не стаціонарно.
Це дуже складно змоделювати ці речі, оскільки, можливо, це лісовий вогонь, який відбувається вгору за течією, або, можливо, сніг починає танути, тому вам потрібно змоделювати весь світ, щоб зробити це. Конечно, ніхто цього не робить, ми не робимо цього як люди, тому що ми адаптуємося, ми продовжимо вчитися, ми такі: “О, те, що я робив, не працює більше, тому я можу навчитися робити щось інше”.
Я думаю, що є багато публікацій, в основному реальних світових, які вимагають від вас безперервного навчання та вдосконалення. Це не стандартний спосіб, яким ми говоримо про машинне навчання. Часто ми говоримо про те, що “я буду робити великий обсяг обчислень, і я буду розгортати модель”, і, можливо, я буду розгортати модель, поки вже роблю більше обчислень, тому що я буду розгортати модель через кілька днів чи тижнів пізніше, але іноді часова шкала цих речей не працює.
Питання полягає в тому, “Як ми можемо продовжувати вчитися назавжди, так, щоб ми просто ставали краще та адаптувалися?” і це дуже складно. У нас є кілька статей про це, як наша поточна техніка не здатна зробити це, як багато рішень, які є золотим стандартом у галузі, якщо ви просто продовжите вчитися, не зупиняючись і не розгортаючи, речі стають поганими дуже швидко.
Це одна з речей, яку я особливо схвильований, яку я думаю, що особливо підходить для навчання з підкріпленням, оскільки багато наших алгоритмів обробляють дані, коли дані надходять, і багато алгоритмів просто природно підходять для навчання. Це не означає, що вони роблять це, або що вони хороші в цьому, але ми не повинні запитувати себе, і я думаю, що є багато цікавих дослідницьких питань про те, що ми можемо зробити.
Які майбутні застосування безперервного навчання вас найбільш цікавлять?
Це мільярд-доларовий питання, оскільки в певному сенсі я шукаю ці застосування. Я думаю, що в певному сенсі як дослідник я був здатний поставити правильні питання, це більше ніж половина роботи, тому я думаю, що в нашому навчанні з підкріпленням багато разів я люблю бути керованим проблемами.
Це просто як: “О, ми маємо цю проблему, давайте спробуємо вирішити її”, і тоді ви робите наукові відкриття. Тепер я працюю з іншими, наприклад, Адамом Вайтом, Мартой Вайт над цим, яке є проектами, фактично керованими ними, над водопідготовчим заводом. Це щось, чого я особливо схвильований, оскільки це щось, чого дуже складно описати мовою, це просто як: це не все поточні успіхи, які ми маємо з мовою, вони легко застосовні там.
Вони вимагають цього аспекту безперервного навчання, як я казав, ви маєте воду, яка змінюється досить часто, будь то мутність, будь то температура тощо, і працює на різних часових масштабах. Я думаю, що це неминуче, що нам потрібно продовжувати вчитися. Це має великий соціальний вплив, воно важко уявити щось більш важливе, ніж надання питної води населення, і іноді це має велике значення.
Бо це легко перекласти той факт, що іноді в Канаді, наприклад, коли ми йдемо до цих більш рідко заселених регіонів, таких як північна частина тощо, іноді у нас немає навіть оператора для водопідготовчого заводу. Це не означає, що це повинно замінити операторів, а щоб фактично дати нам можливість робити речі, яких інакше ми не могли б зробити, тому що у нас просто немає персоналу чи сили, щоб зробити це.
Я думаю, що це має великий потенційний соціальний вплив, це надзвичайно складна дослідницька проблема. У нас немає симулятора, у нас немає засобів, щоб його придбати, тому нам потрібно використовувати найкращі дані, нам потрібно вчитися онлайн, тому є багато викликів там, і це одна з речей, яку я особливо схвильований.
Інша річ, якої я не роблю багато, але інша річ – це охолодження будівель, і знову ж таки, думаючи про погоду, про зміну клімату та речі, на які ми можемо вплинути, часто це просто як: “Як ми вирішуємо, як охолодити будівлю?” як ця будівля, в якій ми зараз маємо сотні людей, це дуже відрізняється від того, що було минулого тижня, і чи будемо ми використовувати точно ту ж політику?
Бо в нас є термостат, ми такі: “О, тепло, тому ми, можливо, можемо бути більш розумними щодо цього”, знову ж таки, і іноді багато людей в одній кімнаті, а не в іншій. Є багато таких можливостей щодо контрольованих систем, які є високовимірними, дуже складними для того, щоб ми могли їх осмислити, і які ми, можливо, могли б зробити набагато краще, ніж стандартні підходи, які ми зараз маємо в галузі.
У деяких місцях до 75% споживання енергії буквально становлять кондиціонери, тому це має великий сенс.
Точно, і я думаю, що багато цього в вашому будинку вже є продукти, які роблять машинне навчання, і тоді вони вчаться з клієнтами. У цих будівлях ви можете мати набагато більш тонкий підхід, як у Флориді, Бразилії, це багато місць, які мають цю потребу.
Охолодження даних – це ще одна річ, є компанії, які починають це робити, і це звучить майже як наукова фантастика, але є можливість продовжувати вчитися та адаптуватися, коли виникає потреба. Це може мати великий вплив на ці контрольні проблеми, які є високовимірними тощо, як коли ми літали кулями.
Наприклад, одна з речей, яку ми могли показати, це те, як саме навчання з підкріпленням, і зокрема глибоке навчання з підкріпленням, може вивчити рішення на основі датчиків, які є набагато більш складними, ніж те, що люди могли б спроектувати.
Просто через визначення, ви дивитесь, як людина спроектує відповідну криву, як би: “Ну, це, ймовірно, буде лінійним, квадратичним”, але коли у вас є нейронна мережа, вона може вивчити всі нелінійності, які роблять це набагато більш тонким рішенням, яке іноді дуже ефективне.
Дякуємо за чудове інтерв’ю, читачам, які хочуть дізнатися більше, слід відвідати наступні ресурси:
