Marlos C. Machado, adjunct-hoogleraar aan de University of Alberta, Amii Fellow, CIFAR AI Chair – Interviewreeks

Marlos C. Machado is een Fellow in Residence bij het Alberta Machine Intelligence Institute (Amii), een adjunct-hoogleraar aan de University of Alberta en een Amii Fellow, waar hij ook een Canada CIFAR AI Chair bekleedt. Het onderzoek van Marlos richt zich voornamelijk op het probleem van reinforcement learning. Hij behaalde zijn B.Sc. en M.Sc. aan de UFMG in Brazilië en zijn Ph.D. aan de University of Alberta, waar hij het concept van temporally-extended exploration through options populariseerde.

Hij was onderzoeker bij DeepMind van 2021 tot 2023 en bij Google (GOOGL ) Brain van 2019 tot 2021, waar hij belangrijke bijdragen leverde aan reinforcement learning, met name de toepassing van deep reinforcement learning voor het besturen van Loon’s stratosferische ballonnen. Het werk van Marlos is gepubliceerd in toonaangevende conferenties en tijdschriften op het gebied van AI, waaronder Nature, JMLR, JAIR, NeurIPS, ICML, ICLR en AAAI. Zijn onderzoek is ook gefeatured in populaire media zoals BBC, Bloomberg TV, The Verge en Wired.

We gingen zitten voor een interview op de jaarlijkse Upper Bound-conferentie over AI in 2023, die gehouden werd in Edmonton, AB en gehost werd door Amii (Alberta Machine Intelligence Institute).

Uw primaire focus is geweest op reinforcement learning, wat trekt u aan in dit type machine learning?

Wat ik leuk vind aan reinforcement learning is het concept, het is een heel natuurlijke manier van leren, namelijk door interactie. Het voelt alsof het de manier is waarop wij als mensen leren. Ik hou niet van antropomorfisme in AI, maar het is gewoon een intuïtieve manier waarop je dingen uitprobeert, sommige dingen voelen goed, sommige dingen voelen slecht, en je leert om de dingen te doen die je een goed gevoel geven. Een van de dingen die ik fascinerend vind aan reinforcement learning is het feit dat je daadwerkelijk met de wereld interacteert, je bent een agent die dingen uitprobeert in de wereld en de agent kan een hypothese opstellen en die hypothese testen.

De reden waarom dit belangrijk is, is dat het ontdekken van nieuw gedrag mogelijk maakt. Bijvoorbeeld, een van de beroemdste voorbeelden is AlphaGo, de zet 37 die ze in de documentaire bespreken, die een creatieve zet was. Het was iets wat nooit eerder was gezien, het liet ons allemaal verbijsterd achter. Het is niet ergens anders vandaan gekomen, het is gewoon door interactie met de wereld dat je dit soort dingen kunt ontdekken. Je krijgt deze mogelijkheid om te ontdekken, zoals een van de projecten waar ik aan werkte, het vliegen van zichtbare ballonnen in de stratosfeer, en we zagen heel vergelijkbare dingen.

We zagen gedrag ontstaan dat iedereen onder de indruk bracht en als “we hebben hier nooit aan gedacht, maar het is briljant”. Ik denk dat reinforcement learning uniek geschikt is om dit soort gedrag te ontdekken, omdat je interacteert, omdat het in zekere zin een van de moeilijkste dingen is, namelijk contrafactuals, zoals “wat zou er gebeurd zijn als ik dat gedaan had in plaats van dit?” Dit is een super moeilijk probleem in het algemeen, maar in veel gevallen in machine learning-studies is er niets dat je eraan kunt doen. In reinforcement learning kun je dat wel, “Wat zou er gebeurd zijn als ik dat gedaan had?” Ik kan het net zo goed de volgende keer proberen dat ik deze situatie meemaak.

Ik denk dat dit interactieve aspect ervan, ik vind het echt leuk. Natuurlijk ga ik niet hypocriet zijn, ik denk dat veel van de coolste toepassingen die ermee kwamen, het ook heel interessant maakten. Zoals terugkijken naar decennia en decennia geleden, zelfs toen we het hadden over de vroege successen van reinforcement learning, dit maakte het voor mij heel aantrekkelijk.

Wat was uw favoriete historische toepassing?

Ik denk dat er twee heel beroemde zijn, een is de vliegende helikopter die ze op Stanford met reinforcement learning deden, en een ander is TD-Gammon, dat een backgammon-speler was die wereldkampioen werd. Dit was in de jaren ’90, en dus was dit tijdens mijn PhD, ik zorgde ervoor dat ik een stage deed bij IBM met Gerald Tesauro en Gerald Tesauro was de leider van het TD-Gammon-project, dus het was alsof “dit is echt cool”. Het is grappig omdat toen ik begon met reinforcement learning, wist ik niet helemaal wat het was. Toen ik solliciteerde naar de graduate school, herinner ik me dat ik naar veel websites van professoren keek omdat ik machine learning wilde doen, in het algemeen, en ik las de beschrijving van hun onderzoek, en ik was als “oh, dit is interessant”. Toen ik terugkijk, zonder dat ik de sector kende, koos ik alle beroemde professoren in ons reinforcement learning, maar niet omdat ze beroemd waren, maar omdat de beschrijving van hun onderzoek aantrekkelijk was. Ik was als “oh, deze website is echt leuk, ik wil met deze man en die man en die vrouw werken”, dus in zekere zin was het-

Alsof u ze op een natuurlijke manier vond.

Exact, dus toen ik terugkeek, zei ik als “oh, dit zijn de mensen met wie ik lang geleden wilde werken”, of dit zijn de papers die ik las voordat ik eigenlijk wist wat ik deed, ik las de beschrijving in iemands paper, ik was als “oh, dit is iets wat ik moet lezen”, het kwam steeds terug bij reinforcement learning.

Toen u bij Google Brain was, werkte u aan autonome navigatie van stratosferische ballonnen. Waarom was dit een goed gebruiksscenario voor het bieden van internettoegang aan moeilijk bereikbare gebieden?

Daar ben ik geen expert in, dit is de pitch die Loon, een dochteronderneming van Alphabet (GOOG ), deed. Toen we door de manier gingen waarop we internet bieden aan veel mensen in de wereld, is het dat je een antenne bouwt, zoals een antenne in Edmonton, en deze antenne laat je internet serveren in een regio van laten we zeggen vijf, zes kilometer straal. Als je een antenne in het centrum van New York bouwt, serveer je miljoenen mensen, maar stel je voor dat je internet wilt bieden aan een stam in de Amazone. Misschien heb je 50 mensen in de stam, de economische kosten van het plaatsen van een antenne daar, het maakt het echt moeilijk, om nog maar te zwijgen over het feit dat je zelfs moeilijk toegang hebt tot die regio.

Vanuit economisch oogpunt maakt het niet uit om een grote infrastructuurinvestering te doen in een moeilijk bereikbaar gebied dat zo dunbevolkt is. Het idee van ballonnen was gewoon “maar wat als we een antenne konden bouwen die echt hoog is? Wat als we een antenne konden bouwen die 20 kilometer hoog is?” Natuurlijk weten we niet hoe we zo’n antenne kunnen bouwen, maar we kunnen een ballon daar plaatsen, en dan kan de ballon een regio serveren die een straal heeft van 10 keer groter, of als je het over straal hebt, dan is het 100 keer groter gebied van internet. Als je het in het midden van het bos of in het midden van de jungle plaatst, dan kun je misschien meerdere stammen serveren die anders een aparte antenne nodig zouden hebben.

Het bieden van internettoegang aan deze moeilijk bereikbare gebieden was een van de motivaties. Ik herinner me dat Loon’s motto was om niet het volgende miljard mensen internet te bieden, maar om internet te bieden aan de laatste miljard mensen, wat extreem ambitieus was. Het is niet het volgende miljard, maar het zijn gewoon de moeilijkste miljard mensen om te bereiken.

Wat waren de navigatieproblemen die u probeerde op te lossen?

De manier waarop deze ballonnen werken is dat ze niet aangedreven worden, net zoals de manier waarop mensen een luchtballon besturen is dat je omhoog of omlaag gaat en je vindt de windstroom die je in een bepaalde richting blaast, dan rijd je op die wind, en dan is het als “oh, ik wil daar niet meer heen”, misschien ga je dan omhoog of omlaag en vind je een andere windstroom enzovoort. Dit is wat de ballon ook doet. Het is geen luchtballon, het is een ballon met een vaste volume die in de stratosfeer vliegt.

Alles wat het kan doen vanuit een navigatieperspectief is omhoog gaan, omlaag gaan of op dezelfde hoogte blijven, en dan moet het winden vinden die het naar de gewenste locatie zullen brengen. In die zin is dit hoe we zouden navigeren, en er zijn veel uitdagingen, eigenlijk. De eerste is dat, als we het over de formulering hebben, we in een regio willen zijn, internet serveren, maar we willen ook zeker zijn dat deze ballonnen zonnepanelen hebben, dat we stroom efficiënt zijn op een bepaalde manier, dus dit is het eerste ding.

Dit was het probleem zelf, maar toen we naar de details keken, wisten we niet hoe de winden eruitzagen, we weten hoe de winden eruitzagen waar we waren, maar we wisten niet hoe de winden eruitzagen 500 meter boven ons. We hebben wat we in AI “partiële observabiliteit” noemen, dus we hebben die gegevens niet. We kunnen voorspellingen hebben, en er zijn papers over geschreven, maar de voorspellingen kunnen tot 90 graden verkeerd zijn. Het is een echt moeilijk probleem in de zin van hoe je omgaat met deze partiële observabiliteit, het is een extreem hoogdimensionaal probleem omdat we het over honderden verschillende lagen wind hebben, en dan moet je de windsnelheid, de windrichting, de manier waarop we het modelleerden, hoe zeker we zijn van die voorspelling van de onzekerheid meenemen.

Dit maakt het probleem heel moeilijk om mee om te gaan. Een van de dingen waar we het meeste moeite mee hadden in dit project was dat, toen alles klaar was enzovoort, het was alsof “hoe kunnen we uitleggen hoe moeilijk dit probleem is?” Omdat het moeilijk is om ons een voorstelling te maken van, omdat het niet iets is dat je op een scherm ziet, het zijn honderden dimensies en winden, en wanneer was de laatste keer dat ik een meting van die wind had? In zekere zin moet je al die dingen verwerken terwijl je ook aan stroom, tijd van de dag, waar je wilt zijn, denkt, het is veel.

Wat is de machine learning die bestudeert? Is het gewoon windpatronen en temperatuur?

De manier waarop het werkt is dat we een model van de winden hadden dat een machine learning-systeem was, maar het was geen reinforcement learning. We hadden historische gegevens over allerlei verschillende hoogtes, dus toen we een machine learning-model op basis van die gegevens bouwden. Toen ik “we” zei, was ik geen onderdeel van dit, dit was iets wat Loon deed voordat Google Brain erbij betrokken raakte. Ze hadden dit windmodel dat niet alleen over de verschillende hoogtes ging, dus hoe interpoleren we tussen de verschillende hoogtes?

Je zou kunnen zeggen “laten we zeggen, twee jaar geleden, zo zag de wind eruit, maar hoe zag het eruit, misschien 10 meter boven?” Toen we een Gaussian proces op basis van dat model bouwden, dus ze hadden papers over hoe goed dat model was. De manier waarop we het deden was dat we vanuit een reinforcement learning-perspectief begonnen, we hadden een heel goed simulator van de dynamica van de ballon, en toen hadden we ook deze windsimulator. Toen gingen we terug in de tijd en zeiden “laten we doen alsof we in 2010 zijn”. We hadden gegevens over hoe de wind eruitzag in 2010 over de hele wereld, maar heel grof, maar toen konden we dit machine learning-model, dit Gaussian proces, erop leggen, dus we kregen eigenlijk de metingen van de winden, en toen konden we ruis introduceren, we konden allerlei dingen doen.

Toen hadden we uiteindelijk, omdat we de dynamica van het model en de winden hadden, en we gingen terug in de tijd en deden alsof we in het verleden waren, toen hadden we eigenlijk een simulator.

Alsof u een digitale tweeling had in de tijd.

Exact, we ontwierpen een beloningsfunctie die erop gericht was om op het doelwit te blijven en een beetje stroom efficiënt te zijn, maar we ontwierpen deze beloningsfunctie die we hadden, zodat de ballon kon leren door interactie met deze wereld, maar het kon alleen interactie hebben met de wereld omdat we niet wisten hoe we het weer en de winden konden modelleren, maar omdat we deden alsof we in het verleden waren, en toen konden we leren navigeren. Het was eigenlijk “ga ik omhoog, omlaag of blijf ik waar ik ben?” Gegeven alles wat er om me heen gebeurt, aan het eind van de dag is de bottom line dat ik internet wil serveren aan die regio. Dat was het probleem, in zekere zin.

Wat zijn enkele van de uitdagingen bij het inzetten van reinforcement learning in de echte wereld versus een gamesetting?

Ik denk dat er een paar uitdagingen zijn. Ik denk niet dat het noodzakelijkerwijs over games en de echte wereld gaat, het gaat over fundamenteel onderzoek en toegepast onderzoek. Omdat je toegepast onderzoek in games kunt doen, laten we zeggen dat je probeert de volgende model in een game te implementeren die naar miljoenen mensen gaat, maar ik denk dat een van de belangrijkste uitdagingen de engineering is. Als je werkt, veel keren gebruik je games als onderzoeksomgeving omdat ze veel van de eigenschappen vastleggen die we belangrijk vinden, maar ze leggen ze vast in een meer gedefinieerde set van beperkingen. Omdat van dat, kunnen we het onderzoek doen, we kunnen het leren valideren, maar het is een beetje een veiligere set. Misschien is “veilig” niet het juiste woord, maar het is een meer gedefinieerde omgeving die we beter begrijpen.

Ik denk dat het onderzoek niet noodzakelijkerwijs heel anders hoeft te zijn, maar ik denk dat de echte wereld veel extra uitdagingen met zich meebrengt. Het gaat over het implementeren van systemen zoals veiligheidsbeperkingen, zoals we moesten zorgen dat de oplossing veilig was. Als je alleen games doet, denk je niet noodzakelijkerwijs aan dat. Hoe zorg je ervoor dat de ballon niet iets stoms doet, of dat de reinforcement learning-agent niet iets heeft geleerd dat we niet hadden voorzien, en dat het slechte gevolgen zou hebben? Dit was een van de grootste zorgen die we hadden, was veiligheid. Natuurlijk, als je alleen games doet, maak je je daar niet echt zorgen over, het ergste wat kan gebeuren is dat je het spel verliest.

Dit is de uitdaging, de andere is de technische stack. Het is heel anders dan als je een onderzoeker bent die alleen met een computer werkt, omdat je een heel product hebt dat je moet omgaan met. Het is niet dat ze je gewoon laten doen wat je wilt, dus ik denk dat je veel meer vertrouwd moet raken met die extra stuk. Ik denk dat de grootte van het team ook heel anders kan zijn, zoals Loon op dat moment, ze hadden tientallen, zo niet honderden mensen. We werkten nog steeds met een klein aantal van hen, maar toen hadden ze een controlekamer die daadwerkelijk met de luchtvaartmedewerkers sprak.

We waren daar niet van op de hoogte, maar toen je veel meer stakeholders hebt, in zekere zin. Ik denk dat veel van het verschil is dat, een, engineering, veiligheid enzovoort, en misschien de andere dat je aannames niet standhouden. Veel van de aannames die je maakt die deze algoritmes op gebaseerd zijn, als ze in de echte wereld terechtkomen, standhouden ze niet, en dan moet je zien hoe je daarmee omgaat. De wereld is niet zo vriendelijk als elke toepassing die je in games doet, het is vooral als je het over een heel beperkte game hebt die je alleen doet.

Een voorbeeld dat ik echt leuk vind is dat ze ons alles gaven, we waren als “oké, dus nu kunnen we proberen om dit probleem op te lossen”, en toen gingen we het doen, en toen kwamen we een week later, twee weken later, terug bij de Loon-ingenieurs als “we hebben jullie probleem opgelost”. We waren echt slim, ze keken naar ons met een grijns op hun gezicht als “jullie hebben het niet opgelost, we weten dat jullie dit probleem niet kunnen oplossen, het is te moeilijk”, als “nee, we hebben het opgelost, we hebben het absoluut opgelost, kijk, we hebben 100% nauwkeurigheid”. Als “dit is letterlijk onmogelijk, soms heb je niet de winden die je naar de regio brengen” “nee, laten we kijken wat er aan de hand is”.

We ontdekten wat er aan de hand was. De ballon, de reinforcement learning-algoritme had geleerd om naar het centrum van de regio te gaan, en toen ging het omhoog, en omhoog, en toen barstte de ballon, en toen ging de ballon omlaag en het was voor altijd in de regio. Ze waren als “dit is duidelijk niet wat we willen”, maar toen waren we natuurlijk in een simulatie, dus toen zeiden we “oh ja, hoe lossen we dit op?” Ze waren als “oh ja, er zijn een paar dingen, maar een van de dingen, we zorgen ervoor dat de ballon niet boven het niveau kan komen waarop het zal barsten”.

Deze beperkingen in de echte wereld, deze aspecten van hoe je oplossing daadwerkelijk met andere dingen interacteert, het is gemakkelijk om ze over het hoofd te zien als je alleen een reinforcement learning-onderzoeker bent die aan games werkt, en dan, als je naar de echte wereld gaat, ben je als “oh wacht, deze dingen hebben gevolgen, en ik moet me daarvan bewust zijn”. Ik denk dat dit een van de belangrijkste moeilijkheden is.

Ik denk dat de andere is dat de cyclus van deze experimenten echt lang is, zoals in een spel kan ik gewoon op play drukken. Het ergste wat kan gebeuren is dat ik na een week resultaten heb, maar dan, als ik daadwerkelijk ballonnen in de stratosfeer moet vliegen, hebben we deze uitdrukking die ik in mijn toespraak gebruik, dat we de stratosfeer aan het A/B-testen waren, omdat we uiteindelijk, toen we de oplossing hadden en we er vertrouwen in hadden, wilden we ervoor zorgen dat het daadwerkelijk statistisch beter was. We kregen 13 ballonnen, ik denk, en we vlogen ze in de Stille Oceaan voor meer dan een maand, omdat dat de tijd was die het kostte om zelfs maar te valideren dat alles wat we hadden bedacht, daadwerkelijk beter was. De tijdschaal is veel anders, dus je krijgt niet zo veel kansen om dingen uit te proberen.

In tegenstelling tot games, zijn er geen miljoen iteraties van hetzelfde spel die tegelijkertijd lopen.

Ja. We hadden dat voor training omdat we een simulator gebruikten, hoewel, opnieuw, de simulator veel langzamer is dan elk spel dat je zou hebben, maar we konden ermee omgaan vanuit een technisch oogpunt. Als je het in de echte wereld doet, is het anders.

Wat is uw onderzoek dat u vandaag doet?

Nu ben ik aan de University of Alberta, en ik heb een onderzoeksgroep hier met veel studenten. Mijn onderzoek is veel diverser, in zekere zin, omdat mijn studenten me in staat stellen om dit te doen. Een ding waar ik erg enthousiast over ben, is dit concept van continue leren. Wat gebeurt, is dat bijna elke keer dat we over machine learning praten in het algemeen, we een berekening gaan doen, hetzij met een simulator, hetzij met een dataset en het verwerken van de gegevens, en we leren een machine learning-model, en we implementeren dat model en we hopen dat het goed doet, en dat is prima. Veel keren is dat exact wat je nodig hebt, veel keren is dat perfect, maar soms is het niet, omdat soms de problemen in de echte wereld te complex zijn om te verwachten dat een model, het maakt niet uit hoe groot het is, daadwerkelijk alle complexiteiten van de wereld kan incorporeren, dus je moet aanpassen.

Een van de projecten waar ik bij betrokken ben, bijvoorbeeld, hier aan de University of Alberta, is een waterzuiveringsinstallatie. Het gaat erom hoe we reinforcement learning-algoritmes kunnen ontwikkelen die andere mensen kunnen ondersteunen in het beslissingsproces, of hoe we het autonoom kunnen doen voor waterzuivering. We hebben de gegevens, we kunnen de gegevens zien, en soms verandert de kwaliteit van het water binnen enkele uren, dus zelfs als je zegt dat “elke dag ga ik mijn machine learning-model trainen van de vorige dag, en ik ga het implementeren binnen enkele uren van uw dag”, dat model is niet langer geldig, omdat er gegevensdrift is, het is niet stationair. Het is heel moeilijk om die dingen te modelleren, omdat het misschien een bosbrand is die aan de gang is stroomopwaarts, of misschien begint de sneeuw te smelten, dus je zou de hele wereld moeten modelleren om dit te kunnen doen.

Natuurlijk doet niemand dat, we doen dat niet als mensen, dus wat doen we? We passen ons aan, we blijven leren, we zijn als “oh, deze dingen die ik deed, werken niet meer, dus ik ga wel iets anders leren”. Ik denk dat er veel publicaties zijn, vooral de echte wereld-publicaties die vereisen dat je constant en voor altijd leert, en dit is niet de standaardmanier waarop we over machine learning praten. Veel keren praten we over “ik ga een grote berekening doen, en ik ga een model implementeren”, en misschien implementeer ik een model terwijl ik al meer berekeningen doe, omdat ik een model ga implementeren enkele dagen, weken later, maar soms werkt de tijdschaal van die dingen niet uit.

De vraag is “hoe kunnen we constant en voor altijd leren, zodat we alleen maar beter worden en ons aanpassen?” en dit is echt moeilijk. We hebben een paar papers over, zoals onze huidige machinerie is niet in staat om dit te doen, zoals veel van de oplossingen die we hebben die de gouden standaard in het veld zijn, als je gewoon iets laat leren in plaats van stoppen en implementeren, gaan dingen snel slecht. Dit is een van de dingen waar ik echt enthousiast over ben, die ik denk dat nu dat we zo veel succesvolle dingen hebben gedaan, geïmplementeerde vaste modellen, en we zullen dat blijven doen, denkend als onderzoeker “wat is de frontier van het gebied?” Ik denk dat een van de frontiers die we hebben, is dit aspect van continue leren.

Ik denk dat een van de dingen die reinforcement learning bijzonder geschikt maakt om dit te doen, is dat veel van onze algoritmes gegevens verwerken terwijl de gegevens binnenkomen, en dus veel van de algoritmes zijn in zekere zin direct geschikt om te leren. Het betekent niet dat ze dat doen of dat ze er goed in zijn, maar we hoeven ons niet af te vragen, en ik denk dat we veel interessante onderzoeksvragen hebben over wat we kunnen doen.

Wat zijn enkele van de toekomstige toepassingen met dit continue leren waar u het meest enthousiast over bent?

Dit is de miljarddollarvraag, omdat in zekere zin ik op zoek ben naar die toepassingen. Ik denk dat als onderzoeker, ik in staat ben om de juiste vragen te stellen, het is meer dan de helft van het werk, dus ik denk dat in onze reinforcement learning veel keren, ik graag door problemen gedreven word. Het is als “oh, kijk, we hebben deze uitdaging, laten we zien hoe we dit probleem kunnen oplossen”, en dan, onderweg, maken we wetenschappelijke vooruitgang. Nu werk ik met andere API’s zoals Adam White, Martha White op dit, dat eigenlijk door hen wordt geleid op dit waterzuiveringsproject. Het is iets waar ik echt enthousiast over ben, omdat het iets is dat echt moeilijk is om met taal te beschrijven, dus het is als “het is niet dat alle huidige successen die we met taal hebben, gemakkelijk toepasbaar zijn”.

Ze vereisen dit aspect van continue leren, zoals ik zei, het water verandert heel vaak, hetzij de troebelheid, hetzij de temperatuur enzovoort, en het werkt op verschillende tijdschalen. Ik denk dat het onvermijdelijk is dat we constant moeten leren. Het heeft een enorme sociale impact, het is moeilijk om je iets belangrijkers voor te stellen dan het bieden van drinkwater aan de bevolking, en soms maakt het echt een groot verschil. Omdat het gemakkelijk is om over het hoofd te zien dat soms in Canada, bijvoorbeeld, als we naar deze meer afgelegen gebieden gaan, zoals in het noorden enzovoort, soms hebben we niet eens een operator om een waterzuiveringsinstallatie te bedienen. Het is niet dat dit noodzakelijkerwijs bedoeld is om operators te vervangen, maar het is om ons te empoweren om dingen te doen die we anders niet zouden kunnen, omdat we gewoon niet het personeel of de kracht hebben om dat te doen.

Ik denk dat het een enorme potentie heeft voor sociale impact, het is een extreem moeilijk onderzoeksprobleem. We hebben geen simulator, we hebben geen middelen om er een te verkrijgen, dus dan moeten we de beste gegevens gebruiken, we moeten online leren, dus er zijn veel uitdagingen daar. Dit is een van de dingen waar ik enthousiast over ben. Een ander is het koelen van gebouwen, en weer, denkend aan het weer, aan klimaatverandering en dingen waar we een impact op kunnen hebben, veel keren is het als “hoe beslissen we hoe we een gebouw gaan koelen?” Zoals dit gebouw dat we vandaag hebben, met honderden mensen, dit is heel anders dan wat het vorige week was, en gaan we exact hetzelfde beleid gebruiken? Het meest wat we hebben, is een thermostaat, dus we zijn als “oh, het is warm, dus we kunnen waarschijnlijk slimmer zijn over dit en aanpassen”, weer, en soms zijn er veel mensen in een kamer, niet in de andere.

Er zijn veel van deze kansen voor gecontroleerde systemen die hoogdimensionaal zijn, heel moeilijk om mee om te gaan in onze hoofden, die we waarschijnlijk veel beter kunnen doen dan de standaardbenaderingen die we nu in het veld hebben.

In sommige gebieden is tot 75% van het energieverbruik letterlijk airconditioning, dus dat heeft veel zin.

Exact, en ik denk dat veel van dit in uw huis, er zijn al producten die machine learning gebruiken en die dan leren van hun klanten. In deze gebouwen kun je een veel fijnmaziger aanpak hebben, zoals in Florida, Brazilië, het zijn veel plaatsen die deze behoefte hebben. Het koelen van datacenters, dit is nog een ander voorbeeld, er zijn enkele bedrijven die hiermee beginnen, en dit klinkt bijna als sciencefiction, maar er is een mogelijkheid om constant te leren en aan te passen naarmate de behoefte zich voordoet. Dit kan een enorme impact hebben op deze gecontroleerde problemen die hoogdimensionaal zijn enzovoort, zoals toen we de ballonnen vlogen. Bijvoorbeeld, een van de dingen die we konden laten zien, was exact hoe reinforcement learning, en specifiek deep reinforcement learning, beslissingen kan leren op basis van sensoren die veel complexer zijn dan wat mensen kunnen ontwerpen.

Alleen maar door definitie, kijk je naar hoe een mens een responscurve zou ontwerpen, het is als “nou, het is waarschijnlijk lineair, kwadratisch”, maar als je een neurale netwerk hebt, kan het alle niet-lineariteiten leren die het een veel fijnmazigere beslissing maken, die soms heel effectief is.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten de volgende bronnen bezoeken:

• Upper Bound AI-conferentie.
• Amii (Alberta Machine Intelligence Institute)