Marlos C. Machado, Adjunct Professor at the University of Alberta, Amii Fellow, CIFAR AI Chair – Wywiad

Marlos C. Machado jest Fellowem w Alberta Machine Intelligence Institute (Amii), profesorem nadzwyczajnym na Uniwersytecie Alberty oraz Fellowem Amii, gdzie również piastuje stanowisko Canada CIFAR AI Chair. Badania Marlosa koncentrują się głównie na problemie uczenia wzmacniania. Ukończył studia licencjackie i magisterskie na UFMG w Brazylii, a tytuł doktora uzyskał na Uniwersytecie Alberty, gdzie popularyzował ideę czasowo rozszerzonej eksploracji za pomocą opcji.

Był badaczem w DeepMind w latach 2021-2023 oraz w Google (GOOGL ) Brain w latach 2019-2021, podczas których czasu wniósł znaczący wkład w uczenie wzmacniane, w szczególności w zakresie zastosowania głębokiego uczenia wzmacnianego do kontrolowania balonów stratosferycznych Loon. Prace Marlosa zostały opublikowane w czołowych konferencjach i czasopismach z dziedziny sztucznej inteligencji, w tym Nature, JMLR, JAIR, NeurIPS, ICML, ICLR i AAAI. Jego badania zostały również przedstawione w mediach popularnych, takich jak BBC, Bloomberg TV, The Verge i Wired.

Przeprowadziliśmy wywiad na corocznej konferencji Upper Bound w 2023 roku, poświęconej sztucznej inteligencji, która odbyła się w Edmonton, AB i była organizowana przez Amii (Alberta Machine Intelligence Institute).

Twoim podstawowym obszarem zainteresowania jest uczenie wzmacniane, co Cię do tego przyciąga?

Lubię to, co w uczeniu wzmacnianym jest tak naturalne, czyli uczenie się przez interakcję. Wydaje mi się, że to jest sposób, w jaki uczymy się jako ludzie. Nie lubię antropomorfizować sztucznej inteligencji, ale to po prostu wydaje się intuicyjne. Próbujesz różnych rzeczy, niektóre sprawiają, że czujesz się dobrze, a inne źle, i uczysz się robić te rzeczy, które sprawiają, że czujesz się lepiej. Jedną z rzeczy, które mnie fascynują w uczeniu wzmacnianym, jest to, że ponieważ rzeczywiście interaktywnie uczysz się ze światem, możesz przyjść z hipotezą i ją przetestować.

Dlatego to ma znaczenie, ponieważ pozwala na odkrywanie nowych zachowań. Na przykład jednym z najbardziej znanych przykładów jest AlphaGo, ruch 37, o którym mówi się w dokumentach, który był tak kreatywny. Był to ruch, który nigdy wcześniej nie był widziany, zaskoczył nas wszystkich. Nie był nigdzie, po prostu wynikał z interakcji ze światem, co daje możliwość odkrywania takich zachowań. Widzieliśmy podobne zachowania w projekcie, nad którym pracowałem, dotyczącym latania balonów w stratosferze.

Widzieliśmy, jak zachowania wyłaniają się i zaskakują nas, a myśleliśmy, że to jest genialne. Uważam, że uczenie wzmacniane jest szczególnie predysponowane do umożliwienia odkrywania takich zachowań, ponieważ interaktywnie uczysz się ze światem, a w pewnym sensie jeden z najtrudniejszych problemów to przeciwwzory, czyli co by się stało, gdybym zrobił coś innego? To bardzo trudny problem w ogóle, ale w wielu przypadkach w badaniach nad sztuczną inteligencją nie ma nic, co można by z tym zrobić. W uczeniu wzmacnianym możesz to zrobić, “Co by się stało, gdybym zrobił coś innego?” Mogę to spróbować w następnym razie, gdy będę doświadczał tego samego.

Oczywiście nie będę hipokrytą, uważam, że wiele fajnych aplikacji, które wyniknęły z tego, sprawiło, że to było bardzo interesujące. Jak sięgałem dekad wstecz, nawet gdy mówimy o wczesnych przykładach dużych sukcesów w uczeniu wzmacnianym, to wszystko sprawiło, że to było dla mnie bardzo atrakcyjne.

Jaki był Twój ulubiony historyczny przykład?

Myślę, że są dwa bardzo znane przykłady, jeden to latający helikopter, który został zbudowany na Uniwersytecie Stanforda z wykorzystaniem uczenia wzmacnianego, a drugi to TD-Gammon, który jest grą w backgammon, która stała się mistrzem świata. To było w latach 90., a ja robiłem wówczas doktorat, więc upewniłem się, że zrobiłem staż w IBM z Geraldem Tesauro, a Gerald Tesauro prowadził projekt TD-Gammon, więc to było naprawdę fajne. To było zabawne, ponieważ gdy zacząłem zajmować się uczeniem wzmacnianym, nie wiedziałem jeszcze dobrze, czym jest. Gdy aplikowałem na studia podyplomowe, przeglądałem strony internetowe profesorów, bo chciałem robić sztuczną inteligencję, i czytałem opisy ich badań, i myślałem, “O, to jest interesujące”. Gdy spoglądam wstecz, bez wiedzy o dziedzinie, wybrałem wszystkich słynnych profesorów z dziedziny uczenia wzmacnianego, ale nie dlatego, że byli słynni, tylko dlatego, że opisy ich badań były atrakcyjne. Myślałem, “O, ta strona internetowa jest naprawdę ładna, chcę pracować z tym facetem i tym facetem i tą kobietą”, więc w pewnym sensie to było…

Jakbyś znalazł ich organicznie.

Dokładnie, więc gdy spoglądam wstecz, mówiłem, “O, to są ludzie, z którymi chciałem pracować dawno temu”, albo “To są prace, które czytałem, zanim wiedziałem, co robię”, i to było konsekwentnie związane z uczeniem wzmacnianym.

Podczas pracy w Google Brain, pracowałeś nad autonomiczną nawigacją balonów stratosferycznych. Dlaczego był to dobry przypadek użycia do zapewnienia dostępu do Internetu w trudno dostępnych obszarach?

To nie jest moja specjalność, to był pomysł Loon, który był spółką zależną Alphabet. Gdy rozważaliśmy, jak zapewnić dostęp do Internetu dla wielu ludzi na świecie, to zbudowaliśmy antenę, na przykład w Edmonton, i ta antena pozwalała na obsługę Internetu w promieniu pięciu lub sześciu kilometrów. Jeśli postawisz antenę w centrum Nowego Jorku, możesz obsłużyć miliony ludzi, ale wyobraź sobie, że próbujesz zapewnić dostęp do Internetu dla plemienia w amazońskim lesie deszczowym. Może masz 50 ludzi w plemieniu, a koszt ekonomiczny budowy anteny tam jest bardzo wysoki, nie wspominając już o trudnościach w dostępie do tego regionu.

Ekonomicznie nie ma sensu inwestować w dużej infrastrukturze w trudno dostępnym regionie, który jest bardzo rzadko zaludniony. Pomysł balonów polegał na tym, że “Co by było, gdybyśmy mogli zbudować antenę, która byłaby naprawdę wysoka? Co by było, gdybyśmy mogli postawić balon tam?” Oczywiście nie wiemy, jak zbudować taką antenę, ale moglibyśmy postawić balon, a ten balon mógłby obsłużyć region o promieniu 10 razy większym, czyli 100 razy większym obszarze Internetu. Gdybyśmy go postawili tam, na przykład w środku lasu lub dżungli, moglibyśmy obsłużyć kilka plemion, które w przeciwnym razie wymagałyby pojedynczej anteny dla każdego z nich.

Zapewnienie dostępu do Internetu w tych trudno dostępnych regionach było jednym z motywów. Pamiętam, że dewiza Loon brzmiała: “Nie chcemy zapewnić Internetu następnym miliardom ludzi, ale tym ostatnim miliardom ludzi”, co było bardzo ambitne. Nie chodziło o następny miliard, ale o ten najtrudniejszy miliard ludzi do dotarcia.

Jakie były problemy nawigacyjne, które próbowaliście rozwiązać?

Sposób, w jaki te balony działają, polega na tym, że nie są napędzane, tylko unoszą się w górę lub w dół i znajdują prądy wiatru, które unoszą je w określonym kierunku, a potem unoszą się na tym prądzie. To jest podobne do tego, jak ludzie nawigują w balonach na gorące powietrze. To nie jest balon na gorące powietrze, ale balon o stałym objęcie, który lata w stratosferze.

Wszystko, co może zrobić, to pójść w górę, w dół lub pozostać tam, gdzie jest, a potem musi znaleźć wiatry, które pozwolą mu dotrzeć tam, gdzie chce być. To jest sposób, w jaki nawiguje, i są tam wiele wyzwań. Pierwszym z nich jest to, że mówiąc o sformułowaniu, chcesz być w określonym regionie, obsługiwać Internet, ale chcesz również upewnić się, że te balony są zasilane energią słoneczną, aby zachować energię. Jest to wielokryterialny problem optymalizacji, aby nie tylko upewnić się, że jesteś w regionie, w którym chcesz być, ale również aby być wydajnym energetycznie w pewnym sensie.

To był problem sam w sobie, ale gdy spojrzałeś na szczegóły, nie wiedziałeś, jaki jest wygląd wiatrów, wiedziałeś tylko, jaki jest wygląd wiatrów tam, gdzie jesteś, ale nie wiedziałeś, jaki jest wygląd wiatrów 500 metrów powyżej ciebie. Miałeś to, co nazywamy w sztucznej inteligencji częściową obserwowalnością, więc nie miałeś tych danych. Mógłbyś mieć prognozy, a są prace naukowe na ten temat, ale prognozy często mogą być błędne o 90 stopni. To jest bardzo trudny problem, ponieważ mówimy o setkach różnych warstw wiatru, a potem musisz uwzględnić prędkość wiatru, kierunek wiatru, sposób, w jaki modelowaliśmy to, i jak bardzo jesteśmy pewni tej prognozy niepewności.

To sprawia, że problem jest bardzo trudny do rozwiązania. Jedną z rzeczy, z którymi mieliśmy największe trudności w tym projekcie, było to, że po tym, jak wszystko było zrobione, i tak dalej, było jakby “Jak możemy przekazać, jak trudny jest ten problem?” Bo to jest trudne do ogarnięcia, bo to nie jest coś, co widzisz na ekranie, to setki wymiarów i wiatrów, i kiedy ostatni raz miałeś pomiar tego wiatru? W pewnym sensie musisz wchłonąć wszystko, podczas gdy myślisz o energii, czasie dnia, gdzie chcesz być, to jest dużo.

Co badają systemy machine learning? Czy to po prostu wzorce wiatru i temperatura?

Sposób, w jaki to działa, polega na tym, że mieliśmy model wiatrów, który był systemem machine learning, ale nie było to uczenie wzmacniane. Mieliśmy dane historyczne o różnych wysokościach, a potem zbudowaliśmy model machine learning na podstawie tych danych. Gdy mówię “my”, nie byłem częścią tego, to była rzecz, którą Loon zrobił nawet przed zaangażowaniem Google Brain. Mieli ten model wiatru, który był poza różnymi wysokościami, więc jak interpolować między różnymi wysokościami?

Można by powiedzieć, “Dajmy sobie spokój, dwa lata temu to było takie, ale co to było 10 metrów powyżej, nie wiemy”. Potem położyli proces Gaussa na górze, więc mieli prace naukowe na temat tego, jak dobrze ten model działał. Sposób, w jaki to zrobiliśmy, polegał na tym, że zaczęliśmy od perspektywy uczenia wzmacnianego, mieliśmy bardzo dobry symulator dynamiki balonu, a potem mieliśmy również symulator wiatru. Potem cofnęliśmy się w czasie i powiedzieliśmy, “Zacznijmy od 2010 roku”. Mieliśmy dane o tym, jaki był wiatr w 2010 roku na całym świecie, ale bardzo grube, a potem mogliśmy nałożyć ten model machine learning, ten proces Gaussa, aby uzyskać rzeczywiste pomiary wiatru, a potem mogliśmy wprowadzić szum, mogliśmy robić wszystko.

Potem, ponieważ mieliśmy dynamikę modelu i mieliśmy wiatry, i cofnęliśmy się w czasie, udając, że jesteśmy w przeszłości, potem mieliśmy symulator.

To jest jak cyfrowy bliźniak wstecz w czasie.

Dokładnie, zaprojektowaliśmy funkcję nagrody, która polegała na pozostaniu na celu i była trochę wydajna energetycznie, ale zaprojektowaliśmy tę funkcję nagrody, aby balon mógł się uczyć, interaktywnie ze światem, ale mógł interaktywnie uczyć się tylko dlatego, że nie wiedzieliśmy, jak modelować pogodę i wiatry, ale ponieważ udawaliśmy, że jesteśmy w przeszłości, i potem byliśmy w stanie nauczyć się nawigować. Podstawą było, czy idziemy w górę, w dół, czy pozostajemy, biorąc pod uwagę wszystko, co dzieje się wokół nas, a ostatecznie chcieliśmy zapewnić dostęp do Internetu w tym regionie. To był problem, w pewnym sensie.

Jakie są niektóre z wyzwań w wdrożeniu uczenia wzmacnianego w świecie rzeczywistym w porównaniu z ustawieniem gry?

Myślę, że są parę wyzwań. Nie sądzę, że to koniecznie musi być o grach i świecie rzeczywistym, ale raczej o badaniach podstawowych i stosowanych. Można robić badania stosowane w grach, na przykład gdy próbujesz wdrożyć następny model w grze, która zostanie wysłana do milionów ludzi, ale myślę, że jednym z głównych wyzwań jest inżynieria. Gdy pracujesz, często używasz gier jako środowiska badawczego, ponieważ ujmują one wiele właściwości, które nas interesują, ale robią to w bardziej określonym zestawie ograniczeń. Dlatego możemy robić badania, możemy walidować uczenie, ale to jest bardziej bezpieczne środowisko, które lepiej rozumiemy.

To nie musi koniecznie oznaczać, że badania muszą być bardzo różne, ale myślę, że świat rzeczywisty przynosi wiele dodatkowych wyzwań. To jest o wdrażaniu systemów, takich jak ograniczenia bezpieczeństwa, jak upewniliśmy się, że rozwiązanie jest bezpieczne. Gdy tylko robisz badania nad grami, nie musisz się tym martwić. Jak upewnić się, że balon nie zrobi czegoś głupiego, albo że agent uczenia wzmacnianego nie nauczył się czegoś, czego nie przewidzieliśmy, i co mogłoby mieć złe konsekwencje? To było jednym z największych naszych zmartwień, czyli bezpieczeństwo. Oczywiście, gdy tylko grasz w gry, nie martwisz się tym, najgorsze, co może się stać, to przegrasz grę.

To jest wyzwanie, a drugim jest stos inżynierski. Jest to bardzo różne od tego, gdy jesteś badaczem, który sam interaktywnie uczy się z komputerem, ponieważ chcesz zwalidować, ale teraz masz cały produkt, z którym musisz się zmierzyć. Nie pozwolą ci po prostu zrobić tego, co chcesz, myślę, że musisz się stać bardziej zaznajomionym z tym dodatkowym elementem. Myślę, że rozmiar zespołu może być również znacznie różniejszy, jak Loon w tamtym czasie miał dziesiątki, jeśli nie setki ludzi. Wciąż jeszcze interaktywnie uczymy się tylko z niewielką ich częścią, ale oni mają pokoj kontrolny, który naprawdę rozmawia z personelem lotniczym.

Myślę, że wiele różnic polega na tym, że jest to inżynieria, bezpieczeństwo itd., a także to, że twoje założenia nie są spełnione. Wiele założeń, na których opierają się te algorytmy, gdy idą do świata rzeczywistego, nie są spełnione, a potem musisz się zmierzyć z tym. Świat nie jest tak przyjazny jak jakakolwiek aplikacja, którą robisz w grach, jest to głównie gdy mówisz o bardzo ograniczonej grze, którą robisz sam.

Jeden z przykładów, który naprawdę kocham, to gdy dali nam wszystko, “OK, teraz możemy spróbować rozwiązać ten problem”, a potem wróciliśmy do inżynierów Loon i powiedzieliśmy, “Rozwiązaliśmy wasz problem”. Byliśmy naprawdę mądrzy, oni spojrzeli na nas z uśmiechem na twarzy, “Nie, nie rozwiązaliście, wiemy, że nie możecie rozwiązać tego problemu, jest on zbyt trudny”, “Nie, rozwiązaliśmy, absolutnie rozwiązaliśmy wasz problem, spójrzcie, mamy 100% dokładności”. “To jest dosłownie niemożliwe, czasami nie masz wiatrów, które pozwolą ci…” “Nie, spójrzmy, co się dzieje”.

Wygłębiliśmy się w to i odkryliśmy, co się działo. Balon, algorytm uczenia wzmacnianego, nauczył się iść do centrum regionu, a potem szedł w górę, i w górę, i w końcu balon pękał, a potem szedł w dół i był w regionie na zawsze. Oni powiedzieli, “To jest oczywiście nie to, czego chcemy”, ale potem oczywiście to była symulacja, a potem powiedzieli, “OK, jak możemy to naprawić?” Oni powiedzieli, “O, tak, są parę rzeczy, ale jedną z nich jest to, że upewniamy się, że balon nie może pójść powyżej poziomu, na którym pęka”.

Te ograniczenia w świecie rzeczywistym, te aspekty, w jaki sposób twoje rozwiązanie rzeczywiście interaktywnie uczysz się z innymi rzeczami, jest łatwo przeoczyć, gdy jesteś tylko badaczem uczenia wzmacnianego, pracującym nad grami, a gdy rzeczywiście idziesz do świata rzeczywistego, jesteś jak “O, czekaj, te rzeczy mają konsekwencje, i muszę być świadomy tego”. Myślę, że to jest jedno z głównych trudności.

Myślę, że innym jest to, że cykl tych eksperymentów jest naprawdę długi, jak w grze mogę po prostu nacisnąć przycisk “odtwarzaj”. Najgorsze, co może się stać, to że po tygodniu mam wyniki, ale gdy rzeczywiście musisz latać balonami w stratosferze, mamy to wyrażenie, które lubię używać w moich prezentacjach, “byliśmy testując stratosferę”, ponieważ ostatecznie, gdy mamy rozwiązanie i jesteśmy pewni, że jest ono dobre, chcemy się upewnić, że jest ono naprawdę lepsze. Mieliśmy 13 balonów, myślę, i lataliśmy nimi nad Pacyfikiem przez ponad miesiąc, bo tyle czasu zajęło nam zwalidowanie tego, co wymyśliliśmy, i czy to było naprawdę lepsze. Skala czasu jest znacznie inna, również.

W przeciwieństwie do gier, nie ma milionów iteracji tej samej gry, które są uruchamiane jednocześnie.

Tak. Mieliśmy to do treningu, ponieważ wykorzystywaliśmy symulację, chociaż, ponownie, symulator jest znacznie wolniejszy niż jakakolwiek gra, którą mógłbyś mieć, ale byliśmy w stanie się tym zmierzyć inżyniersko. Gdy robisz to w świecie rzeczywistym, jest to inne.

Co jest twoim badaniem, nad którym pracujesz dzisiaj?

Teraz jestem na Uniwersytecie Alberty, i mam grupę badawczą tutaj z wieloma studentami. Moje badania są znacznie bardziej zróżnicowane, w pewnym sensie, ponieważ moi studenci pozwalają mi na to. Jedną z rzeczy, które mnie szczególnie ekscytują, jest ta koncepcja ciągłego uczenia. Co się dzieje, to, że prawie każdy raz, gdy mówimy o machine learningu w ogóle, robimy jakiś komput, albo używamy symulatora, albo przetwarzamy dane, i uczymy model machine learning, i wdrażamy ten model, i mamy nadzieję, że będzie on działał dobrze, i to jest w porządku. Czasami to jest dokładnie to, czego potrzebujesz, czasami to jest idealne, ale czasami nie, ponieważ czasami problemy w świecie rzeczywistym są zbyt złożone, aby oczekiwać, że model, niezależnie od tego, jak duży jest, mógłby uwzględnić wszystkie złożoności świata, więc musisz się adaptować.

Jednym z projektów, w którym jestem zaangażowany, na przykład tutaj na Uniwersytecie Alberty, jest oczyszczalnia wody. Podstawą jest to, jak możemy opracować algorytmy uczenia wzmacnianego, które będą w stanie wspierać innych ludzi w procesie podejmowania decyzji, albo jak to zrobić w sposób autonomiczny dla oczyszczania wody? Mamy dane, widzimy dane, a czasami jakość wody zmienia się w ciągu godzin, więc nawet jeśli powiem, “Każdego dnia będę trenował mój model machine learning z poprzedniego dnia, i będę go wdrażał w ciągu godzin twojego dnia”, ten model nie jest już ważny, ponieważ jest dryf danych, nie jest stacjonarny. To jest bardzo trudne do modelowania, bo może to być pożar lasu, który jest w trakcie, albo może śnieg zaczyna topnieć, więc musisz modelować cały świat, aby to zrobić.

Oczywiście nikt tego nie robi, my nie robimy tego jako ludzie, więc co robimy? Adaptujemy się, uczymy się, mówimy, “O, ta rzecz, którą robiłem, nie działa już, więc mogę się nauczyć robić coś innego”. Myślę, że jest wiele publikacji, głównie tych z świata rzeczywistego, które wymagają ciągłego uczenia przez cały czas, i to nie jest standardowy sposób, w jaki mówimy o machine learningu. Często mówimy o “będę robił duży komput, i będę wdrażał model”, i może będę wdrażał model za parę dni, tygodni później, ale czasami skala czasu tych rzeczy nie działa.

Pytanie brzmi, “Jak możemy uczyć się ciągle, przez cały czas, tak abyśmy byli coraz lepsi i adaptowali się?” i to jest bardzo trudne. Mamy parę prac na ten temat, jak nasze obecne maszyny nie są w stanie tego zrobić, jak wiele rozwiązań, które mamy, które są złotym standardem w tej dziedzinie, jeśli po prostu będziesz kontynuował uczenie, zamiast przestać i wdrożyć, rzeczy stają się złe bardzo szybko. To jest jedna z rzeczy, które mnie naprawdę ekscytują, które myślę, że teraz, gdy zrobiliśmy wiele udanych rzeczy, wdrożyliśmy stałe modele, i będziemy kontynuować to robić, myślę, że jeden z frontów, który mamy, jest ten aspekt ciągłego uczenia.

Myślę, że jeden z powodów, dla których uczenie wzmacniane jest szczególnie predysponowane do robienia tego, jest to, że wiele naszych algorytmów przetwarza dane, gdy dane są dostępne, i wiele algorytmów jest po prostu w stanie uczyć się w sposób ciągły. Nie znaczy to, że robią to, ani że są dobrze w tym, ale myślę, że nie musimy pytać się samych siebie, i myślę, że mamy wiele interesujących pytań badawczych na ten temat.

Jakie przyszłe aplikacje z tym ciągłym uczeniem są Cię najbardziej ekscytujące?

To jest pytanie wartych miliard dolarów, ponieważ w pewnym sensie szukałem tych aplikacji. Myślę, że jako badacz, byłem w stanie zadać odpowiednie pytania, to jest więcej niż połowa pracy, więc myślę, że w naszym uczeniu wzmacnianym wiele razy lubię być prowadzony przez problemy. To jest jak “O, spójrz, mamy ten wyzwanie, teraz musimy się zmierzyć z tym”, a potem robisz postępy naukowe. Teraz pracuję z innymi, jak Adam White, Martha White, nad tym projektem, który jest prowadzony przez nich, na temat oczyszczalni wody.

To jest coś, co mnie naprawdę ekscytuje, ponieważ to jest coś, co jest naprawdę trudne do opisania słowami, to jest jakby “to jest coś, co nie jest łatwe do opisania”. Wymaga to tego ciągłego aspektu uczenia, jak powiedziałem, woda zmienia się bardzo często, czy to jest mętność, czy temperatura itd., i działa na różnych skalach czasu. Myślę, że jest nieuniknione, że musimy uczyć się ciągle. Ma to ogromny wpływ społeczny, trudno wyobrazić sobie coś ważniejszego niż zapewnienie pitnej wody ludności, a czasami to ma znaczenie. Ponieważ łatwo przeoczyć fakt, że czasami w Kanadzie, na przykład, gdy idziemy do tych bardziej rzadko zaludnionych regionów, jak na północy itd., czasami nie mamy nawet operatora, który mógłby obsługiwać oczyszczalnię wody. To nie jest tak, że to ma zastąpić operatorów, ale to jest tak, aby nas wspierać w rzeczach, których inaczej nie moglibyśmy zrobić, ponieważ po prostu nie mamy personelu ani siły, aby to zrobić.

Myślę, że ma to ogromny potencjał społeczny, jest to niezwykle trudny problem badawczy. Nie mamy symulatora, nie mamy środków, aby go pozyskać, więc musimy używać najlepszych danych, musimy uczyć się online, więc jest wiele wyzwań tam. To jest jedna z rzeczy, które mnie ekscytują. Innym jest chłodzenie budynków, i znowu, myśląc o pogodzie, o zmianach klimatycznych i rzeczach, na które możemy mieć wpływ, często jest tak, że “jak możemy zdecydować, jak chłodzić budynek?” Jak ten budynek, w którym mamy dzisiaj setki ludzi, jest zupełnie inny niż ten sam budynek w zeszłym tygodniu, i czy będziemy używać dokładnie tej samej polityki? Najwyżej mamy termostat, więc mówimy, “O, jest ciepło, więc możemy być bardziej sprytni w tym i adaptować”. Znowu, czasami jest wiele ludzi w jednym pokoju, a nie w innym.

Jest wiele takich możliwości w kontrolowanych systemach, które są wysoko wymiarowe, trudne do ogarnięcia w naszych umysłach, które możemy prawdopodobnie zrobić lepiej niż standardowe podejścia, które mamy teraz w tej dziedzinie.

W niektórych miejscach aż 75% zużycia energii to literalnie jednostki klimatyzacji, więc to ma sens.

Dokładnie, i myślę, że wiele z tego w Twoim domu, są już w pewnym sensie produkty, które robią machine learning, i które uczą się z klientów. W tych budynkach możesz mieć znacznie bardziej wyrafinowane podejście, jak na Florydzie, w Brazylii, jest wiele miejsc, które mają tę potrzebę. Chłodzenie data center, to jest kolejne, i są firmy, które zaczynają to robić, i to brzmi jak niemal sci-fi, ale jest możliwość ciągłego uczenia i adaptacji, gdy potrzeba przychodzi. To może mieć ogromny wpływ na te kontrolowane problemy, które są wysoko wymiarowe itd., jak gdy lataliśmy balonami. Na przykład, jedną z rzeczy, które byliśmy w stanie pokazać, było to, jak uczenie wzmacniane, a szczególnie głębokie uczenie wzmacniane, może nauczyć decyzje oparte na sensorach, które są znacznie bardziej złożone niż te, które moglibyśmy zaprojektować jako ludzie.

Właśnie przez definicję, spójrz, jak człowiek by zaprojektował krzywą odpowiedzi, po prostu w pewnym sensie, gdzie jest to “dobrze, to prawdopodobnie będzie liniowe, kwadratowe”, ale gdy masz sieć neuronową, może nauczyć się wszystkich nieliniowości, które sprawiają, że to jest znacznie bardziej wyrafinowana decyzja, która czasami jest bardzo skuteczna. Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić następujące zasoby:

• Upper Bound AI Conference.
• Amii (Alberta Machine Intelligence Institute)