Marlos C. Machado, adjungerad professor vid University of Alberta, Amii Fellow, CIFAR AI Chair – Intervju-serie

Marlos C. Machado är en Fellow in Residence vid Alberta Machine Intelligence Institute (Amii), en adjungerad professor vid University of Alberta och en Amii-fellow, där han också innehar en Canada CIFAR AI Chair. Marlos forskning fokuserar främst på problemet med förstärkt inlärning. Han erhöll sin kandidatexamen och masterexamen från UFMG i Brasilien och sin doktorsexamen från University of Alberta, där han populariserade idén om tidsutsträckt utforskning genom alternativ.

Han var forskare vid DeepMind från 2021 till 2023 och vid Google (GOOGL ) Brain från 2019 till 2021, under vilken tid han gjorde betydande bidrag till förstärkt inlärning, särskilt tillämpningen av djup förstärkt inlärning för att kontrollera Loons stratosfäriska ballonger. Marlos arbete har publicerats i ledande konferenser och tidskrifter inom AI, inklusive Nature, JMLR, JAIR, NeurIPS, ICML, ICLR och AAAI. Hans forskning har också presenterats i populära medier som BBC, Bloomberg TV, The Verge och Wired.

Vi satte oss ner för ett samtal under den årliga 2023 Upper Bound-konferensen om AI som hålls i Edmonton, AB och arrangeras av Amii (Alberta Machine Intelligence Institute).

Din primära fokus har varit på förstärkt inlärning, vad drar dig till denna typ av maskinlärning?

Det jag gillar med förstärkt inlärning är detta koncept, det är ett mycket naturligt sätt, enligt min mening, att lära sig, det vill säga man lär sig genom interaktion. Det känns som att det är så vi lär oss som människor, på ett sätt. Jag vill inte antropomorfisera AI, men det är bara som att det är ett intuitivt sätt att du provar saker, vissa saker känns bra, vissa saker känns dåliga, och du lär dig att göra de saker som gör dig bättre. En av de saker som jag är fascinerad av förstärkt inlärning är det faktum att eftersom du faktiskt interagerar med världen, du är denna agent som vi pratar om, det försöker saker i världen och agenten kan komma med en hypotes och testa den hypotesen.

Orsaken till att detta är viktigt är att det tillåter upptäckt av nytt beteende. Till exempel är en av de mest kända exemplen AlphaGo, drag 37 som de pratar om i dokumentären, som var detta drag som människor sa var kreativitet. Det var något som aldrig hade setts tidigare, det lämnade oss alla förbluffade. Det är inte någonstans, det var bara genom att interagera med världen, du får denna förmåga att upptäcka dessa saker. Du får denna förmåga att upptäcka, som ett av de projekt som jag arbetade med var att flyga synliga ballonger i stratosfären, och vi såg mycket liknande saker också.

Vi såg beteende som uppstod som lämnade alla imponerade och som vi aldrig hade tänkt på, men det var briljant. Jag tror att förstärkt inlärning är unikt positionerad för att tillåta oss att upptäcka detta typ av beteende eftersom du interagerar, eftersom på ett sätt ett av de riktigt svåra problemen är kontrafaktiska, som vad som skulle ha hänt om jag hade gjort det istället för vad jag gjorde? Detta är ett superviktigt problem i allmänhet, men i många inställningar i maskinlärningstudier, finns det ingenting du kan göra åt det. I förstärkt inlärning kan du, “Vad skulle ha hänt om jag hade gjort det?” Jag kan lika gärna prova nästa gång jag upplever detta. Jag tror att denna interaktiva aspekt av det, jag gillar verkligen.

Självklart ska jag inte vara hycklande, jag tror att många av de coola tillämpningarna som kom med det gjorde det riktigt intressant. Som att gå tillbaka decennier och decennier, även när vi pratar om de tidiga exemplen på stora framgångar med förstärkt inlärning, allt detta gjorde det för mig mycket attraktivt.

Vilken var din favorithistoriska tillämpning?

Jag tror att det finns två mycket kända, en är den flygande helikoptern som de gjorde vid Stanford med förstärkt inlärning, och en annan är TD-Gammon, som är denna backgammon-spelare som blev världsmästare. Detta var tillbaka på 90-talet, och så var jag under min doktorsexamen, jag såg till att jag gjorde en praktik vid IBM med Gerald Tesauro och Gerald Tesauro var den som ledde TD-Gammon-projektet, så det var som att det var riktigt coolt. Det är roligt eftersom när jag började med förstärkt inlärning, visste jag inte riktigt vad det var. När jag ansökte till forskarutbildning, kom jag ihåg att jag gick till många professorers webbplatser eftersom jag ville göra maskinlärning, ganska allmänt, och jag läste beskrivningen av deras forskning, och jag var som, “Oh, detta är intressant.” När jag ser tillbaka, utan att veta fältet, valde jag alla de kända professorerna inom förstärkt inlärning, men inte för att de var kända, utan för att beskrivningen av deras forskning var tilltalande för mig. Jag var som, “Oh, denna webbplats är riktigt bra, jag vill arbeta med den här killen och den här killen och den här tjejen”, så på ett sätt var det-

Som att du hittade dem organiskt.

Exakt, så när jag ser tillbaka, sa jag, “Oh, dessa är de personer som jag ansökte till för att arbeta med för länge sedan”, eller dessa är de papper som jag läste innan jag faktiskt visste vad jag gjorde, jag var som, “Oh, detta är något som jag borde läsa”, det gick alltid tillbaka till förstärkt inlärning.

Medan du var på Google Brain, arbetade du med autonom navigering av stratosfäriska ballonger. Varför var detta en bra användningsfall för att tillhandahålla internetåtkomst till svårtillgängliga områden?

Det är inte min expertis, detta är pitchen som Loon, som var dotterbolaget till Alphabet (GOOG ), arbetade med. När vi gick igenom hur vi tillhandahåller internet till många människor i världen, är det att bygga en antenn, som att bygga en antenn i Edmonton, och denna antenn, den tillåter dig att betjäna internet till en region på låt säga fem, sex kilometers radie. Om du bygger en antenn i centrala New York, så betjänar du miljontals människor, men tänk dig att du försöker tillhandahålla internet till en stam i Amazonas regnskog. Kanske har du 50 personer i stammen, den ekonomiska kostnaden för att bygga en antenn där, det gör det riktigt svårt, inte att tala om att till och med komma åt den regionen.

Ekonomiskt sett, gör det inte meningsfullt att göra en stor infrastrukturinvestering i en svårtillgänglig region som är så glesbefolkad. Idén med ballonger var bara, “Men vad om vi kunde bygga en antenn som var riktigt hög? Vad om vi kunde bygga en antenn som är 20 kilometer hög?” Naturligtvis vet vi inte hur man bygger den antenn, men vi kunde sätta en ballong där, och sedan kunde ballongen betjäna en region som är en radie som är 10 gånger större, eller om du pratar om radie, då är det 100 gånger större yta av internet. Om du sätter den där, låt säga i mitten av skogen eller i mitten av djungeln, då kan du betjäna flera stammar som annars skulle kräva en enskild antenn för var och en av dem.

Att tillhandahålla internetåtkomst till dessa svårtillgängliga områden var en av motivationerna. Jag minns att Loons motto var inte att tillhandahålla internet till nästa miljard människor, det var att tillhandahålla internet till den sista miljarden människor, vilket var extremt ambitiöst på ett sätt. Det är inte nästa miljard, utan det är bara de svåraste miljarderna människor att nå.

Vilka var de navigeringsproblem som du försökte lösa?

Sättet som dessa ballonger fungerar är att de inte är propellerdrivna, precis som sättet att människor navigerar varmluftsballonger är att du antingen går upp eller ner och hittar vindströmmen som blåser dig i en specifik riktning, sedan rider du den vinden, och sedan är det som, “Oh, jag vill inte gå dit längre”, kanske då går du upp eller ner och hittar en annan vindström och så vidare. Detta är vad det också gör. Det är inte en varmluftsballong, det är en fast volymballong som flyger i stratosfären.

Allt det kan göra från en navigeringsperspektiv är att gå upp, gå ner eller stanna där det är, och sedan måste det hitta vindar som kommer att låta det gå dit det vill vara. På detta sätt navigerar vi, och det finns många utmaningar, faktiskt. Den första är att, när vi talar om formulering först, vill du vara i en region, betjäna internet, men du vill också säkerställa att dessa ballonger är solcellsdrivna, att du behåller kraft. Det finns detta multiobjektiva optimeringsproblem, att inte bara säkerställa att jag är i regionen som jag vill vara, utan att jag också är krafteffektiv på ett sätt, så detta är det första.

Detta var problemet i sig, men sedan när du tittar på detaljerna, vet du inte vad vindarna ser ut som, du vet vad vindarna ser ut som där du är, men du vet inte vad vindarna ser ut som 500 meter ovanför dig. Du har vad vi kallar i AI partiell observabilitet, så du har inte den datan. Du kan ha prognoser, och det finns papper skrivna om detta, men prognoserna kan ofta vara upp till 90 grader fel. Det är ett riktigt svårt problem i meningen av hur du hanterar denna partiella observabilitet, det är ett extremt högdimensionellt problem eftersom vi pratar om hundratals olika lager av vind, och sedan måste du överväga vindens hastighet, vindens riktning, hur vi modellerade det, hur säker vi är på den prognosen av osäkerheten.

Detta gör problemet mycket svårt att hantera. En av de saker som vi kämpade mest med i det här projektet var att efter allt var klart och så vidare, var det bara som, “Hur kan vi förmedla hur svårt det här problemet är?” Eftersom det är svårt att förstå, eftersom det inte är något som du ser på skärmen, det är hundratals dimensioner och vindar, och när var den senaste gången som jag hade en mätning av den vinden? På ett sätt måste du ta in allt detta medan du tänker på kraft, tid på dagen, var du vill vara, det är mycket.

Vad studerar maskinlärningen? Är det bara vindmönster och temperatur?

Sättet det fungerar är att vi hade en modell av vindarna som var ett maskinlärningssystem, men det var inte förstärkt inlärning. Du har historisk data om alla sorters olika höjder, så sedan byggde vi ett maskinlärningssystem ovanpå det. När jag säger “vi”, var jag inte en del av detta, detta var något som Loon gjorde till och med innan Google Brain blev involverad. De hade denna vindmodell som var bortom bara de olika höjderna, så hur du interpolerar mellan de olika höjderna?

Du kunde säga, “Låt oss säga, för två år sedan, så var detta vad vinden såg ut som, men vad den såg ut som, kanske 10 meter ovanför, vet vi inte”. Sedan sätter du en Gaussisk process ovanpå det, så de hade papper skrivna om hur bra den modelleringen var. Sättet vi gjorde det var att vi började med en förstärkt inlärningsperspektiv, vi hade en mycket bra simulator av ballongens dynamik, och sedan hade vi också denna vindsimulator. Sedan vad vi gjorde var att vi gick tillbaka i tiden och sa, “Låt oss låtsas att jag är i 2010.” Vi har data för vad vinden såg ut som 2010 över hela världen, men mycket grov, men sedan kunde vi lägga till denna maskinlärningsmodell, denna Gaussiska process ovanpå, så vi fick faktiskt mätningarna av vindarna, och sedan kunde vi introducera brus, vi kunde också göra alla sorters saker.

Sedan till slut, eftersom vi har ballongens dynamik och vi har vindarna och vi går tillbaka i tiden och låtsas att detta är där vi var, sedan har vi faktiskt en simulator.

Det är som en digital tvilling tillbaka i tiden.

Exakt, vi utformade en belöningsfunktion som det var att stanna på målet och vara en aning krafteffektiv, men vi utformade denna belöningsfunktion som vi hade ballongen lära sig genom att interagera med denna värld, men den kan bara interagera med världen eftersom vi inte vet hur vi ska modellera vädret och vindarna, men eftersom vi var låtsade att vi var i det förflutna, och sedan lyckades vi lära oss att navigera. I princip var det, ska jag gå upp, ner eller stanna? Givet allt som händer runt omkring mig, i slutändan är det bara att jag vill betjäna internet till den regionen. Det var problemet, på ett sätt.

Vilka är några av utmaningarna i att distribuera förstärkt inlärning i den riktiga världen jämfört med ett spel?

Jag tror att det finns ett par utmaningar. Jag tror inte att det nödvändigtvis handlar om spel och den riktiga världen, det handlar om grundforskning och tillämpad forskning. Eftersom du kunde göra tillämpad forskning i spel, låt säga att du försöker distribuera nästa modell i ett spel som kommer att skickas till miljontals människor, men jag tror att en av de största utmaningarna är ingenjörskonsten. Om du arbetar, många gånger använder du spel som en forskningsmiljö eftersom de fångar en hel del av de egenskaper som vi bryr oss om, men de fångar dem i en mer väldefinierad uppsättning begränsningar. Eftersom det, kan vi göra forskningen, vi kan validera inlärningen, men det är en säkrare uppsättning. Kanske “säker” är inte rätt ord, men det är en mer begränsad miljö som vi bättre förstår.

Det är inte att forskningen nödvändigtvis behöver vara mycket annorlunda, men jag tror att den riktiga världen bringar många extra utmaningar. Det handlar om att distribuera system som säkerhetsbegränsningar, som vi hade att säkerställa att lösningen var säker. När du bara arbetar med spel, behöver du inte nödvändigtvis tänka på det. Hur kan du säkerställa att ballongen inte kommer att göra något dumt, eller att förstärkt inlärningsagenten inte lärde sig något som vi inte hade förutsett, och som kommer att ha dåliga konsekvenser? Detta var en av de största bekymren som vi hade, var säkerhet. Naturligtvis, om du bara spelar spel, så är vi inte riktigt bekymrade över det, i värsta fall, förlorade du spelet.

Detta är utmaningen, den andra är den tekniska stacken. Det är mycket annorlunda än om du är en forskare på egen hand som interagerar med en datorspel för att validera det, det är okej, men nu har du en teknisk stack för ett helt produkt som du måste hantera. Det är inte att de bara kommer att låta dig gå crazy och göra vad du vill, så jag tror att du måste bli mycket mer bekant med den extra biten också. Jag tror att teamets storlek också kan vara väldigt annorlunda, som Loon vid den tiden, de hade dussintals om inte hundratals människor. Vi interagerade fortfarande med ett litet antal av dem, men sedan hade de en kontrollrum som skulle prata med flygpersonal.

Vi var ovetande om det, men sedan har du många fler intressenter på ett sätt. Jag tror att en del av skillnaden är att, en, ingenjörskonst, säkerhet och så vidare, och kanske den andra är att dina antaganden inte håller. Många av de antaganden som du gör som dessa algoritmer är baserade på, när de går till den riktiga världen, håller de inte, och sedan måste du figurera ut hur du ska hantera det. Världen är inte lika vänlig som någon applikation som du kommer att göra i spel, det är mest om du pratar om bara ett mycket begränsat spel som du gör på egen hand.

Ett exempel som jag verkligen älskar är att de gav oss allt, vi var som, “Okej, så nu kan vi prova några av dessa saker för att lösa det här problemet”, och sedan gick vi och gjorde det, och sedan en vecka senare, två veckor senare, kommer vi tillbaka till Loon-ingenjörerna som, “Vi har löst ert problem.” Vi var riktigt smarta, de tittade på oss med ett leende på ansiktet som, “Ni har inte, vi vet att ni inte kan lösa det här problemet, det är för svårt”, som, “Jo, vi har, vi har absolut löst ert problem, titta, vi har 100% träffsäkerhet.” Som, “Detta är bokstavligen omöjligt, ibland har du inte vindarna som låter dig…” “Nej, låt oss titta på vad som händer.”

Vi figurerade ut vad som hände. Ballongen, förstärkt inlärningsalgoritmen lärde sig att gå till mitten av regionen, och sedan gick den upp, och upp, och sedan skulle ballongen spricka, och sedan skulle ballongen gå ner och den var inne i regionen för alltid. De var som, “Detta är tydligt inte vad vi vill ha”, men sedan, naturligtvis, var detta en simulering, men sedan säger vi, “Oh ja, så hur kan vi fixa det?” De var som, “Oh ja, det finns ett par saker, men en av dem är att vi ser till att ballongen inte kan gå upp över den nivå som den kommer att spricka.”

De här begränsningarna i den riktiga världen, dessa aspekter av hur din lösning faktiskt interagerar med andra saker, det är lätt att förbise när du är en förstärkt inlärningsforskare som arbetar med spel, och sedan när du faktiskt går till den riktiga världen, är du som, “Oh vänta, dessa saker har konsekvenser, och jag måste vara medveten om det.” Jag tror att detta är en av de största svårigheterna.

Jag tror att den andra är att cykeln av dessa experiment är riktigt långa, som i ett spel kan jag bara trycka på play. I värsta fall, efter en vecka har jag resultat, men sedan om jag faktiskt måste flyga ballonger i stratosfären, har vi detta uttryck som jag gillar att använda i min presentation som är som att vi A/B-testade stratosfären, eftersom till slut, när vi har lösningen och vi är säkra på den, så vill vi säkerställa att det faktiskt är statistiskt bättre. Vi fick 13 ballonger, tror jag, och vi flög dem i Stilla havet i mer än en månad, eftersom det var så länge det tog för oss att ens validera att allt vi hade kommit fram till faktiskt var bättre. Tidskalorna är mycket annorlunda också, så du får inte så många chanser att prova saker.

Till skillnad från spel, finns det inte en miljon iterationer av samma spel som körs samtidigt.

Ja. Vi hade det för utbildning eftersom vi utnyttjade simulering, även om, igen, simuleringsmotorn är mycket långsammare än något spel som du skulle ha, men vi kunde hantera det tekniskt. När du gör det i den riktiga världen, är det annorlunda.

Vad är din forskning som du arbetar med idag?

Nu är jag vid University of Alberta, och jag har en forskargrupp här med många studenter. Min forskning är mycket mer diversifierad på ett sätt, eftersom mina studenter tillåter mig att göra detta. En sak som jag är särskilt entusiastisk över är detta begrepp om kontinuerlig inlärning. Vad som händer är att nästan varje gång som vi pratar om maskinlärning i allmänhet, ska vi göra någon beräkning, antingen med hjälp av en simulator eller med hjälp av en datamängd och bearbeta datan, och vi lär oss en maskinlärningsmodell, och vi distribuerar den modellen och vi hoppas att den fungerar bra, och det är okej. Många gånger är det exakt vad du behöver, många gånger är det perfekt, men ibland är det inte för att ibland är problemen i den riktiga världen för komplexa för att du ska förvänta dig att en modell, oavsett hur stor den är, faktiskt kunde inkorporera allt som du ville, all komplexitet i världen, så du måste anpassa dig.

En av de projekten som jag är involverad i, till exempel, här vid University of Alberta är ett vattenreningaringsverk. I princip handlar det om att komma på förstärkt inlärningsalgoritmer som kan stödja andra människor i beslutsprocessen, eller hur man gör det autonomt för vattenrening. Vi har datan, vi kan se datan, och ibland förändras vattenkvaliteten inom timmar, så även om du säger att, “Varje dag ska jag träna min maskinlärningsmodell från föregående dag, och jag ska distribuera den inom timmar av din dag”, den modellen är inte längre giltig eftersom det finns datadrift, det är inte stationärt. Det är riktigt svårt för dig att modellera dessa saker eftersom det kanske är en skogsbrand som pågår uppströms, eller kanske snön börjar smälta, så du måste modellera hela världen för att kunna göra detta.

Naturligtvis gör ingen det, vi gör inte det som människor, så vad gör vi? Vi anpassar oss, vi fortsätter att lära oss, vi är som, “Oh, det jag gjorde, det fungerar inte längre, så jag kan lika gärna lära mig att göra något annat.” Jag tror att det finns många publikationer, främst de riktiga världens som kräver att du lär dig kontinuerligt och för alltid, och detta är inte det standardiserade sättet som vi pratar om maskinlärning. Ofta pratar vi om, “Jag ska göra en stor batch av beräkningar, och jag ska distribuera en modell”, och kanske distribuerar jag modellen medan jag redan gör mer beräkningar eftersom jag kommer att distribuera en modell ett par dagar, veckor senare, men ibland fungerar inte tidskalorna för dessa saker.

Frågan är, “Hur kan vi lära oss kontinuerligt för alltid, så att vi bara blir bättre och anpassar oss?” och detta är riktigt svårt. Vi har ett par papper om detta, som vår nuvarande maskineri inte kan göra detta, som många av de lösningar som vi har som är guldstandarden i fältet, om du bara har något som fortsätter att lära sig istället för att sluta och distribuera, blir saker riktigt dåliga mycket snabbt. Detta är en av de saker som jag är riktigt entusiastisk över, som jag tror att nu att vi har gjort så många framgångsrika saker, distribuerat fasta modeller, och vi kommer att fortsätta att göra det, men som forskare, “Vad är gränsen för området?” Jag tror att en av gränserna som vi har är detta aspekt av kontinuerlig inlärning.

Jag tror att en av de saker som förstärkt inlärning är särskilt lämpad att göra detta, eftersom många av våra algoritmer bearbetar data medan datan kommer, och så många av algoritmerna är bara i ett sätt direkt anpassade för att lära sig. Det betyder inte att de gör eller att de är bra på det, men vi behöver inte ifrågasätta oss själva, och jag tror att det finns många intressanta forskningsfrågor om vad vi kan göra.

Vilka framtida tillämpningar med denna kontinuerliga inlärning är du mest entusiastisk över?

Detta är miljardfrågan, eftersom på ett sätt har jag varit tvungen att ställa de rätta frågorna, det är mer än hälften av arbetet, så jag tror att i vår förstärkta inlärning, många gånger, gillar jag att vara driven av problem. Det är bara som, “Oh, vi har den här utmaningen, låt oss säga fem ballonger i stratosfären, så nu måste vi figurera ut hur vi ska lösa det”, och sedan längs vägen gör du vetenskapliga framsteg. Just nu arbetar jag med andra API:er som Adam White, Martha White på detta, som är projekt som faktiskt leds av dem på detta vattenreningaringsverk. Det är något som jag är riktigt entusiastisk över eftersom det är en sak som det är riktigt svårt att ens beskriva med språk på ett sätt, så det är bara som att det inte är alla de nuvarande framgångsrika framstegen som vi har med språk, de är lättare att applicera där.

De kräver detta aspekt av kontinuerlig inlärning, som jag sa, du har vatten som förändras ganska ofta, antingen är det grumling, antingen är det temperatur och så vidare, och det fungerar på olika tidskalor. Jag tror att det är oundvikligt att vi måste lära oss kontinuerligt. Det har en enorm social påverkan, det är svårt att föreställa sig något viktigare än att faktiskt tillhandahålla dricksvatten till befolkningen, och ibland spelar det en stor roll. Eftersom det är lätt att förbise det faktum att ibland i Kanada, till exempel, när vi går till dessa mer glesbefolkade regioner som i norra delen och så vidare, ibland har vi inte ens en operatör för att driva ett vattenreningaringsverk. Det är inte så att detta nödvändigtvis ska ersätta operatörer, men det är för att faktiskt ge oss kraften att göra de saker som vi annars inte kunde, eftersom vi inte har personalen eller styrkan att göra det.

Jag tror att det har en enorm potential för social påverkan, det är ett extremt utmanande forskningsproblem. Vi har inte en simulator, vi har inte medlen att anskaffa en, så då måste vi använda den bästa datan, vi måste lära oss online, så det finns många utmaningar där, och detta är en av de saker som jag är entusiastisk över. En annan, och detta är inte något som jag har arbetat mycket med, men en annan är kylning av byggnader, och igen, att tänka på vädret, på klimatförändringar och saker som vi kan ha en påverkan på, ganska ofta är det bara som, hur kan vi bestämma hur vi ska kyla en byggnad? Som denna byggnad som vi har hundratals människor idag, detta är mycket annorlunda än vad det var förra veckan, och ska vi använda exakt samma policy? I bästa fall har vi en termostat, så vi är som, “Oh ja, det är varmt, så vi kan förmodligen vara mer smarta om det och anpassa oss”, igen, och ibland finns det många människor i ett rum, inte det andra.

Det finns många av dessa möjligheter om kontrollerade system som är högdimensionella och svåra att hantera i våra sinnen som vi kan förmodligen göra mycket bättre än de standardiserade tillvägagångssätten som vi har just nu på området.

I vissa platser är upp till 75% av elförbrukningen faktiskt luftkonditioneringsenheter, så det gör en hel del mening.

Exakt, och jag tror att en hel del av detta i ditt hus, de är redan i ett sätt vissa produkter som gör maskinlärning och som sedan lär sig från sina kunder. I dessa byggnader kan du ha en mycket mer finmaskig approach, som Florida, Brasilien, det är många platser som har detta behov. Kylning av datacenter, detta är en annan också, det finns vissa företag som börjar göra detta, och detta låter nästan som science fiction, men det finns en förmåga att kontinuerligt lära sig och anpassa sig när behovet kommer. Detta kan ha en enorm påverkan på dessa kontrollproblem som är högdimensionella och så vidare, som när vi flög ballongerna. Till exempel, en av de saker som vi kunde visa var exakt hur förstärkt inlärning, och specifikt djup förstärkt inlärning, kan lära sig beslut baserat på sensorer som är mycket mer komplexa än vad människor kan designa.

Bara genom definition, du tittar på hur en människa skulle designa en responskurva, bara som att det är, “Väl, det är förmodligen linjärt, kvadratiskt”, men när du har en neural nätverk, kan den lära sig alla icke-linjäriteter som gör det till ett mycket mer finmaskigt beslut, som ibland är riktigt effektivt. Tack för det underbara samtalet, läsare som vill lära sig mer bör besöka följande resurser:

• Upper Bound AI Conference.
• Amii (Alberta Machine Intelligence Institute)