Marlos C. Machado, Adjunct Professor ved Universitetet i Alberta, Amii Fellow, CIFAR AI Chair – Intervju-serie

Marlos C. Machado er en Fellow i Alberta Machine Intelligence Institute (Amii), en adjunktprofessor ved Universitetet i Alberta, og en Amii-fellow, der han også har en Canada CIFAR AI Chair. Marlos’ forskning fokuserer hovedsagelig på problemet med forsterkninglæring. Han har en bachelor- og mastergrad fra UFMG i Brasil, og en ph.d. fra Universitetet i Alberta, hvor han populariserede ideen om tidsforlengede utforskninger gjennom alternativer.

Han var en forsker hos DeepMind fra 2021 til 2023 og hos Google (GOOGL ) Brain fra 2019 til 2021, hvor han bidro vesentlig til forsterkninglæring, spesielt anvendelsen av dyp forsterkninglæring til kontroll av Loons stratosfæriske ballonger. Marlos’ arbeid er blitt publisert i ledende konferanser og tidsskrifter innen AI, inkludert Nature, JMLR, JAIR, NeurIPS, ICML, ICLR og AAAI. Hans forskning har også blitt presentert i populærmidier som BBC, Bloomberg TV, The Verge og Wired.

Vi hadde en samtale under den årlige 2023 Upper Bound-konferansen om AI som holdes i Edmonton, AB og arrangeres av Amii (Alberta Machine Intelligence Institute).

Hva er det primære fokuset ditt på forsterkninglæring, og hva trekker deg til denne type maskinlæring?

Det jeg liker med forsterkninglæring er konseptet, det er en naturlig måte å lære på, nemlig ved å samhandle. Det føles som om det er hvordan vi lærer som mennesker, på en måte. Jeg liker ikke å antropomorfisere AI, men det er bare en intuitiv måte å lære på, ved å prøve ting ut, noen ting føles bra, noen ting føles dårlig, og du lærer å gjøre tingene som gjør deg bedre. En av tingene jeg er fascinert av med forsterkninglæring er at fordi du faktisk samhandler med verden, du er en agent som prøver ting ut i verden og kan komme opp med en hypotese og teste den.

Grunden til at dette er viktig er at det tillater oppdagelse av ny atferd. For eksempel er en av de mest berømte eksemplene AlphaGo, den 37. trekket de snakker om i dokumentaren, som var en bevegelse som folk sa var kreativ. Det var noe som aldri var sett før, det etterlot oss alle forbløffet. Det er ikke noe sted, det var bare ved å samhandle med verden, du får denne evnen til å oppdage slike ting. Du får denne evnen til å oppdage, som ett av prosjektene jeg arbeidet med var å flytte synlige ballonger i stratosfæren, og vi så svært lignende ting også.

Vi så atferd som oppstod som imponerte alle og som vi aldri hadde tenkt på, men det var genialt. Jeg tror at forsterkninglæring er særlig godt egnet til å tillate oppdagelse av denne type atferd, fordi du samhandler, fordi på en måte er en av de virkelig vanskelige tingene kontrafaktiske, som hva ville ha skjedd hvis jeg hadde gjort det istedenfor det jeg gjorde? Dette er et svært vanskelig problem i allminnelig, men i mange sammenhenger i maskinlæring er det ingenting du kan gjøre med det. I forsterkninglæring kan du, “Hva ville ha skjedd hvis jeg hadde gjort det?” Jeg kan like gjerne prøve det neste gangen jeg opplever det.

Jeg tror at denne interaktive aspekten ved det, jeg liker virkelig. Selvfølgelig er jeg ikke going til å være hyklersk, jeg tror at mange av de kjølige anvendelsene som kom med det gjorde det svært interessant. Som å gå tilbake tiår og tiår tilbake, selv når vi snakker om de tidlige eksemplene på stor suksess med forsterkninglæring, dette gjorde det til meg svært attraktivt.

Hva var din favoritt historiske anvendelse?

Jeg tror at det er to svært berømte, en er den flyvende helikopter som de gjorde på Stanford med forsterkninglæring, og en annen er TD-Gammon, som er en backgammon-spiller som ble verdensmester. Dette var tilbake i 90-årene, og da jeg gjorde min ph.d., sørget jeg for å gjøre en praktikantperiode hos IBM med Gerald Tesauro, og Gerald Tesauro var lederen for TD-Gammon-prosjektet, så det var som om det var virkelig kult.

Det er morsomt fordi når jeg startet med forsterkninglæring, visste jeg ikke helt hva det var. Når jeg søkte på masterstudiet, gikk jeg til mange nettsteder til professorer fordi jeg ville gjøre maskinlæring, og jeg leste beskrivelsen av deres forskning, og jeg var som, “Oh, dette er interessant.” Når jeg ser tilbake, uten å vite om feltet, valgte jeg alle de berømte professorer i forsterkninglæring, men ikke fordi de var berømte, men fordi beskrivelsen av deres forskning var tiltalende. Jeg var som, “Oh, dette nettstedet er virkelig bra, jeg vil jobbe med denne mannen og denne kvinnen,” så på en måte var det-

Som om du fant dem på en naturlig måte.

Ja, så når jeg ser tilbake, var jeg som, “Oh, disse er menneskene jeg søkte på for lenge siden,” eller disse er papirene jeg leste før jeg visste hva jeg gjorde, jeg var som, “Oh, dette er noe jeg burde lese,” så det var konsistent tilbake til forsterkninglæring.

Mens du var hos Google Brain, arbeidet du med autonom navigasjon av stratosfæriske ballonger. Hva var grunnene til at dette var en god anvendelse for å gi internett-tilgang til områder som er vanskelige å nå?

Dette er ikke noe jeg er ekspert på, dette er pitchen til Loon, som var datterselskapet til Alphabet. Når vi går gjennom måten vi gir internett-tilgang til mange mennesker i verden, er det at vi bygger en antenne, som å bygge en antenne i Edmonton, og denne antennen lar oss betjene internett til et område på fem eller seks kilometers radius. Hvis du plasserer en antenne i sentrum av New York, betjener du millioner av mennesker, men nå forestiller du deg at du prøver å gi internett-tilgang til en stamme i Amazonas-regnskogen. Kanskje har du 50 mennesker i stammen, og den økonomiske kostnaden ved å plassere en antenne der, gjør det svært, ikke å nevne å nå frem til området.

Økonomisk sett gjør det ikke mening å investere i stor infrastruktur i et område som er vanskelig å nå og svært tynt befolket. Idéen med ballonger var bare, “Hva hvis vi kunne bygge en antenne som var virkelig høy? Hva hvis vi kunne bygge en antenne som var 20 kilometer høy?” Selvfølgelig vet vi ikke hvordan vi skal bygge en slik antenne, men vi kunne plassere en ballong der, og så ville ballongen kunne betjene et område som er 10 ganger større, eller hvis du snakker om radius, så er det 100 ganger større område med internett. Hvis du plasserer den der, la oss si i midten av skogen eller i midten av jungelen, så kan du kanskje betjene flere stammer som ellers ville kreve en enkelt antenne for hver enkelt.

Å gi internett-tilgang til slike områder som er vanskelige å nå var en av motivasjonene. Jeg husker at Loons motto var ikke å gi internett til de neste milliardene mennesker, men å gi internett til de siste milliardene mennesker, som var ekstremt ambisiøst på en måte. Det er ikke de neste milliardene, men det er bare de hardeste milliardene mennesker å nå.

Hva var navigasjonsproblemet du prøvde å løse?

Måten disse ballongene fungerer er at de ikke er fremdrevet, bare som måten mennesker navigerer varmluftsballonger er at du enten går opp eller ned og finner vindstrømmen som blåser deg i en bestemt retning, så du rider på den vinden, og så er det som, “Oh, jeg vil ikke gå der nå mere,” kanskje går du opp eller ned og finner en annen vind og så videre. Dette er hva ballongene gjør også. Den er ikke en varmluftsballong, men en ballong med fast volum som flyr i stratosfæren.

Alt den kan gjøre fra en navigasjonsmessig synsvinkel er å gå opp, gå ned eller bli der den er, og så må den finne vind som lar den gå der den vil være. På denne måten navigerer vi, og det er mange utfordringer, faktisk. Den første er at, når vi snakker om formulering først, vil du være i et område, betjene internett, men du vil også sikre at disse ballongene er solceller, at du beholder kraft. Det er et multi-objektivistisk optimaliseringsproblem, ikke bare å sikre at jeg er i området jeg vil være, men også å være kraft-effektiv på en måte, så dette er det første.

Dette var problemet selv, men når du ser på detaljene, vet du ikke hva vindene er som, du vet hva vindene er som der du er, men du vet ikke hva vindene er som 500 meter over deg. Du har det vi kaller i AI delvis observasjon, så du har ikke den dataen. Du kan ha prognoser, og det er papirer skrevet om dette, men prognosene kan ofte være opptil 90 grader feil. Det er et svært vanskelig problem i forstand til hvordan du håndterer denne delvis observasjonen, det er et ekstremt høydimentjonalt problem fordi vi snakker om hundrevis av forskjellige lag med vind, og så må du vurdere vindhastigheten, vindretningen, måten vi modellerte det på, hvor sikker vi er på denne prognosen, usikkerheten.

Dette gjør problemet svært vanskelig å forholde seg til. En av tingene vi kjempet mest med i dette prosjektet var at etter at alt var gjort og så videre, var det som, “Hvordan kan vi formidle hvor vanskelig dette problemet er?” Fordi det er vanskelig å få noen til å forstå det, fordi det ikke er noe du ser på skjermen, det er hundrevis av dimensjoner og vind, og når var sist jeg hadde en måling av den vinden? På en måte må du innarbeide all denne informasjonen mens du tenker på kraft, tid på dagen, hvor du vil være, det er mye.

Hva er det maskinlæringen studerer? Er det bare vindmønster og temperatur?

Måten det fungerer er at vi hadde en modell av vindene som var et maskinlæringssystem, men det var ikke forsterkninglæring. Du har historisk data om alle slags forskjellige høyder, så deretter bygde vi en maskinlæringmodell på toppen av det. Når jeg sier “vi”, var jeg ikke en del av dette, dette var noe Loon gjorde før Google Brain ble involvert. De hadde denne vindmodellen som var beyond bare forskjellige høyder, så hvordan interpolerer du mellom de forskjellige høyder?

Du kunne si, “La oss si, for to år siden, dette er hva vinden lignet, men hva lignet den 10 meter over, vi vet ikke”. Så du plasserer en Gaussisk prosess på toppen av det, så de hadde papirer skrevet om hvor god denne modelleringen var. Måten vi gjorde det på var at vi startet fra en forsterkninglæringssynsvinkel, vi hadde en svært god simulator av ballongens dynamikk, og så hadde vi også denne vindsimulatoren. Så hva vi gjorde var at vi gikk tilbake i tid og sa, “La oss forestille oss at jeg er i 2010.” Vi har data for hva vinden var som i 2010 over hele verden, men svært grov, men så kan du legge denne maskinlæringmodellen på toppen, så du får faktisk målinger av vindene, og så kan du introdusere støy, du kan også gjøre alle slags ting.

Så til slutt, fordi vi har ballongens dynamikk og vi har vindene og vi går tilbake i tid og forestiller oss at dette er hvor vi var, så har vi faktisk en simulator.

Det er som en digital tvilling tilbake i tid.

Ja, vi designet en belønningsfunksjon som var å holde seg på målet og litt kraft-effektiv, men vi designet denne belønningsfunksjonen som vi hadde ballongen lære ved å samhandle med denne verden, men den kan bare samhandle med verden fordi vi ikke vet hvordan vi skal modellere været og vindene, men fordi vi gikk tilbake i tid og forestilte oss at dette var hvor vi var, så klarte vi å lære å navigere. Det var som å si, går jeg opp, ned eller blir jeg der jeg er, gitt alt som skjer rundt meg, til slutt er det at jeg vil betjene internett til dette området. Det var problemet, på en måte.

Hva er noen av utfordringene med å deployere forsterkninglæring i den virkelige verden i motsetning til et spillmiljø?

Jeg tror at det er noen utfordringer. Jeg tror ikke at det nødvendigvis er om spill eller den virkelige verden, det er om grunnleggende forskning og anvendt forskning. Fordi du kan gjøre anvendt forskning i spill, la oss si at du prøver å deployere neste modell i et spill som skal sendes til millioner av mennesker, men jeg tror at en av de største utfordringene er ingeniørvirksomheten. Hvis du jobber, mange ganger bruker du spill som et forskningsmiljø fordi de fanger mange av egenskapene vi bryr oss om, men de fanger dem i en mer veldefinert sett med begrensninger. Fordi av det kan vi gjøre forskningen, vi kan validere læringen, men det er en mer “sikker” sett med begrensninger som vi bedre forstår.

Det er ikke at forskningen nødvendigvis trenger å være svært forskjellig, men jeg tror at den virkelige verden bringer mange ekstra utfordringer med seg. Det er om å deployere systemer som sikkerhetsbegrensninger, som vi måtte sikre at løsningen var sikker. Når du bare gjør spill, trenger du ikke nødvendigvis å tenke på det. Hvordan kan du sikre at ballongen ikke gjør noe dumt, eller at forsterkninglæringagenten ikke lærte noe vi ikke hadde forutsett, og som vil ha negative konsekvenser? Dette var en av de største bekymringene vi hadde, var sikkerhet. Selvfølgelig, hvis du bare spiller spill, er du ikke så bekymret for det, verste tilfelle, taper du spillet.

Dette er utfordringen, den andre er ingeniørstaben. Den er svært forskjellig fra å være en forsker på egen hånd som samhandler med en datamaskin for å validere det, men nå har du en ingeniørstab for et helt produkt som du må håndtere. Det er ikke at de bare lar deg gå vill og gjøre hva du vil, så jeg tror at du må bli mye mer familiær med den ekstra delen også. Jeg tror at størrelsen på teamet kan være svært forskjellig, som Loon på den tiden, de hadde dusinvis hvis ikke hundrevis av mennesker. Vi var fortsatt selvfølgelig samarbeidende med en liten del av dem, men så har de en kontrollrom som faktisk snakker med luftfarts-personale.

Vi var uvitende om det, men så har du mange flere interessenter på en måte. Jeg tror at mye av forskjellen er at, en, ingeniørvirksomheten, sikkerheten og så videre, og kanskje den andre er at dine antakelser holder ikke. Mange av antakelsene du gjør som disse algoritmene er basert på, når de går til den virkelige verden, holder de ikke, og så må du finne ut hvordan du håndterer det. Verden er ikke like vennlig som noen applikasjon du gjør i spill, det er mest hvis du snakker om et svært begrenset spill som du gjør på egen hånd.

Et eksempel jeg virkelig liker er at de ga oss alt, vi var som, “Ok, nå kan vi prøve noen av disse tingene for å løse problemet,” og så gikk vi for å gjøre det, og så kom vi tilbake til Loon-ingeniørene en uke senere, to uker senere, og sa, “Vi løste deres problem.” Vi var virkelig smarte, de så på oss med et smil på ansiktet som, “Du løste det ikke, vi vet du ikke kan løse dette problemet, det er for hardt,” som, “Nei, vi løste det, vi løste absolutt deres problem, se, vi har 100% nøyaktighet.” Som, “Dette er bokstavelig talt umulig, noen ganger har du ikke vindene som lar deg …” “Nei, la oss se på hva som skjer.”

Vi fant ut hva som skjedde. Ballongen, forsterkninglæringalgoritmen, lærte å gå til sentrum av området, og så gikk den opp og opp, og så ville ballongen sprenges, og så ville den gå ned og den ville være innenfor området for alltid. De var som, “Dette er tydeligvis ikke hva vi vil ha,” men så var det selvfølgelig simulering, men så sa vi, “Oh, ja, så hvordan fikser vi det?” De var som, “Oh, ja, det er noen ting, men en av tingene, vi sørger for at ballongen ikke kan gå opp over nivået hvor den vil sprenges.”

Disse begrensningene i den virkelige verden, disse aspektene av hvordan din løsning faktisk samhandler med andre ting, er lett å overse når du bare er en forsterkninglæringforsker som jobber med spill, og så når du faktisk går til den virkelige verden, er du som, “Oh, vent, disse tingene har konsekvenser, og jeg må være klar over det.” Jeg tror at dette er en av de største vanskelighetene.

Jeg tror at den andre er at syklusen av disse eksperimentene er virkelig lang, som i et spill kan jeg bare trykke på spill. Verste tilfelle, etter en uke har jeg resultater, men så hvis jeg faktisk må fly ballonger i stratosfæren, har vi dette uttrykket som jeg liker å bruke i min tale som er som vi var A/B-tester av stratosfæren, fordi til slutt når vi har løsningen og vi er trygge med den, så vil vi sikre at det faktisk er statistisk bedre. Vi fikk 13 ballonger, tror jeg, og vi fløy dem over Stillehavet i over en måned, fordi det var så lenge det tok for oss å validere at alt vi hadde kommet opp med faktisk var bedre. Tids-skalaen er mye forskjellig også, så du får ikke så mange sjanser til å prøve ting ut.

I motsetning til spill, er det ikke en million iterasjoner av samme spill som kjører samtidig.

Ja. Vi hadde det for trening fordi vi brukte simulering, selv om, igjen, simuleringsmotoren er mye langsommere enn noen spill du ville ha, men vi var i stand til å håndtere det ingeniørmessig. Når du gjør det i den virkelige verden, er det forskjellig.

Hva er din forskning du jobber med i dag?

Nå er jeg ved Universitetet i Alberta, og jeg har en forskergruppe her med mange studenter. Min forskning er mye mer diversifisert på en måte, fordi mine studenter tillater meg å gjøre det. En ting jeg er spesielt glad i er dette begrepet kontinuerlig læring. Hva skjer er at nesten hver gang vi snakker om maskinlæring generelt, så gjør vi noen beregninger, enten ved å bruke en simulator eller ved å bruke en datasett og prosessere dataene, og så lærer vi en maskinlæringmodell, og så deployer vi modellen og håper den gjør det bra, og det er greit. Mange ganger er det akkurat det du trenger, mange ganger er det perfekt, men noen ganger er det ikke fordi noen ganger er problemene i den virkelige verden for komplekse til at du kan forvente at en modell, uansett hvor stor den er, faktisk var i stand til å inkorporere alle kompleksitetene i verden, så du må tilpasse deg.

En av prosjektene jeg er involvert i, for eksempel, her ved Universitetet i Alberta, er et vannbehandlingsanlegg. Grunnleggende sett er det hvordan vi kommer opp med forsterkninglæringalgoritmer som kan støtte andre mennesker i beslutningsprosessen, eller hvordan gjøre det autonomt for vannbehandling? Vi har dataene, vi kan se dataene, og noen ganger endrer vannkvaliteten seg innen få timer, så selv om du sier at, “Hver dag skal jeg trene min maskinlæringmodell fra dagen før, og jeg skal deployere den innen timer,” så er den modellen ikke gyldig lenger fordi det er data-drift, det er ikke stasjonært. Det er svært vanskelig å modellere disse tingene fordi kanskje det er en skogbrann som pågår oppstrøms, eller kanskje snøen begynner å smelte, så du må modellere hele verden for å kunne gjøre dette.

Det er ingen som gjør det, vi gjør det ikke som mennesker, så hva gjør vi? Vi tilpasser oss, vi fortsetter å lære, vi er som, “Oh, denne tingene jeg gjorde, det fungerer ikke lenger, så jeg må lære å gjøre noe annet.” Jeg tror at det er mange publikasjoner, hovedsakelig de virkelige som krever at du lærer kontinuerlig og for alltid, og dette er ikke den standard måten vi snakker om maskinlæring på. Ofte snakker vi om, “Jeg skal gjøre en stor batch med beregninger, og jeg skal deployere en modell,” og kanskje deployer jeg modellen mens jeg allerede gjør mer beregninger fordi jeg vil deployere en modell noen dager eller uker senere, men noen ganger fungerer ikke tids-skalaen for disse tingene.

Spørsmålet er, “Hvordan kan vi lære kontinuerlig for alltid, slik at vi bare blir bedre og tilpasser oss?” og dette er svært vanskelig. Vi har noen papirer om dette, som vår nåværende maskineri er ikke i stand til å gjøre dette, som mange av løsningene vi har som er gull-standard i feltet, hvis du bare har noe som bare fortsetter å lære istedenfor å stoppe og deployere, så blir tingene dårlig svært raskt. Dette er en av tingene jeg er virkelig glad i, som nå at vi har gjort så mange suksessfulle ting, deployere faste modeller, og vi vil fortsette å gjøre det, tenkende som en forsker, “Hva er grensen for området?” Jeg tror at en av grensene vi har er dette aspektet av kontinuerlig læring.

Jeg tror at en av tingene forsterkninglæring er spesielt godt egnet til å gjøre dette, fordi mange av våre algoritmer er prosesserer data mens dataene kommer, og så er mange av algoritmene bare i en måte direkte tilpasset til å lære. Det betyr ikke at de gjør det eller at de er gode til det, men vi trenger ikke å spørre oss selv, og jeg tror at vi har mange interessante forskningsspørsmål om hva vi kan gjøre.

Hva er noen av de fremtidige anvendelsene som bruker denne kontinuerlige læringen som du er mest glad i?

Dette er milliard-dollarspørsmålet, fordi på en måte har jeg vært i stand til å stille de riktige spørsmålene, så jeg tror at på en måte som forsker, har jeg vært i stand til å stille de riktige spørsmålene, det er mer enn halvparten av arbeidet, så jeg tror at på en måte som forsterkninglæring, mange ganger liker jeg å være drevet av problemer. Det er som, “Oh, se, vi har denne utfordringen, la oss si fem ballonger i stratosfæren, så nå må vi finne ut hvordan vi løser dette,” og så langs veien gjør du vitenskapelige fremgang. Nå jobber jeg med andre API-er som Adam White, Martha White på dette, som er prosjektene faktisk ledet av dem på dette vannbehandlingsanlegget. Dette er noe jeg er virkelig glad i fordi det er noe som er virkelig vanskelig å beskrive med språk på en måte, så det er som, “Det er ikke alle de nåværende suksessene vi har med språk, de er lett å anvende der.”

De krever denne kontinuerlige læringaspekten, som jeg sa, du har vannkvaliteten som endrer seg svært ofte, enten det er turbiditet, temperatur og så videre, og opererer på forskjellige tidsskalaer. Jeg tror at det er umulig å unngå at vi må lære kontinuerlig. Det har en enorm sosial påvirkning, det er vanskelig å forestille seg noe mer viktig enn å gi drikkevann til befolkningen, og noen ganger betyr det mye. Fordi det er lett å overse det faktum at noen ganger i Canada, for eksempel, når vi går til mer tynt befolkede områder som i nord og så videre, noen ganger har vi ikke engang en operatør til å operere et vannbehandlingsanlegg. Det er ikke slik at dette nødvendigvis skal erstatte operatører, men det er til å gi oss kraft til å gjøre ting som vi ellers ikke kunne, fordi vi bare ikke har personell eller styrke til å gjøre det.

Jeg tror at det har en enorm potensial sosial påvirkning, det er et ekstremt vanskelig forskningproblem. Vi har ikke en simulator, vi har ikke midler til å skaffe en, så da må vi bruke beste data, vi må lære online, så det er mange utfordringer der. Dette er en av tingene jeg er glad i. En annen er kjøling av bygninger, og igjen, tenkende på vær, klimaendringer og ting som vi kan ha en påvirkning på, ofte er det bare, “Hvordan bestemmer vi hvordan vi skal kjøle en bygning?” Som denne bygningen vi har hundrevis av mennesker i i dag, dette er svært forskjellig fra hva det var forrige uke, og skal vi bruke eksakt samme policy? På det meste har vi en termostat, så vi er som, “Oh, ja, det er varmt, så vi kan kanskje være mer kreative med det,” igjen, og noen ganger er det mange mennesker i ett rom, ikke i det andre.

Det er mange av disse mulighetene om kontrollerte systemer som er høydimentjonale og svært vanskelige å forholde seg til i våre tanker som vi kanskje kan gjøre mye bedre enn de standard-tilnærmingene vi har i dag.

I noen områder er opptil 75% av kraftforbruket faktisk bare aircondition-anlegg, så det gjør mye mening.

Ja, og jeg tror at mye av dette i ditt hjem, de er allerede i en måte noen produkter som gjør maskinlæring og som så lærer fra kundene. I disse bygningene kan du ha en mye mer finmasket tilnærming, som Florida, Brasil, det er mange steder som har dette behovet. Kjøling av data-sentre, dette er en annen også, det er noen selskaper som begynner å gjøre dette, og dette høres nesten ut som science fiction, men det er en evne til å lære kontinuerlig og tilpasse seg når behovet kommer. Dette kan ha en enorm påvirkning på disse kontroll-problemene som er høydimentjonale og så videre, som når vi fløy ballongene. For eksempel, en av tingene vi var i stand til å vise var akkurat hvordan forsterkninglæring, og spesielt dyp forsterkninglæring, kan lære beslutninger basert på sensorer som er mye mer komplekse enn hva mennesker kan designe.

Bare definisjonsmessig, ser du på hvordan et menneske ville designe en responskurve, bare noen sans hvor det er, “Vel, det er sannsynligvis lineært, kvadratisk,” men når du har en neural nettverk, kan den lære alle non-linearitetene som gjør det til en mye mer finmasket beslutning, som noen ganger er svært effektiv.

Takk for det fantastiske intervjuet, lesere som ønsker å lære mer bør besøke følgende ressurser:

• Upper Bound AI-konferansen.
• Amii (Alberta Machine Intelligence Institute)