Marlos C. Machado, Professore Aggiunto all’Università dell’Alberta, Amii Fellow, CIFAR AI Chair – Intervista

Marlos C. Machado è un Fellow in Residenza all’Alberta Machine Intelligence Institute (Amii), un professore aggiunto all’Università dell’Alberta e un Amii fellow, dove detiene anche una Canada CIFAR AI Chair. La ricerca di Marlos si concentra principalmente sul problema dell’apprendimento per rinforzo. Ha conseguito il B.Sc. e il M.Sc. all’UFMG, in Brasile, e il Ph.D. all’Università dell’Alberta, dove ha popolarizzato l’idea di esplorazione temporale estesa attraverso opzioni.

È stato ricercatore a DeepMind dal 2021 al 2023 e a Google (GOOGL ) Brain dal 2019 al 2021, durante il quale ha apportato contributi significativi all’apprendimento per rinforzo, in particolare all’applicazione dell’apprendimento per rinforzo profondo al controllo dei palloni stratosferici di Loon. Il lavoro di Marlos è stato pubblicato nelle principali conferenze e riviste di intelligenza artificiale, tra cui Nature, JMLR, JAIR, NeurIPS, ICML, ICLR e AAAI. La sua ricerca è stata anche presentata in media popolari come BBC, Bloomberg TV, The Verge e Wired.

Ci siamo seduti per un’intervista alla conferenza annuale 2023 di Upper Bound su intelligenza artificiale, che si tiene a Edmonton, AB, e ospitata da Amii (Alberta Machine Intelligence Institute).

Il tuo focus principale è stato sull’apprendimento per rinforzo, cosa ti attrae verso questo tipo di apprendimento automatico?

Ciò che mi piace dell’apprendimento per rinforzo è il concetto di apprendimento attraverso l’interazione. Mi sembra un modo molto naturale di apprendere, come se fosse il modo in cui impariamo noi esseri umani. Non mi piace antropomorfizzare l’intelligenza artificiale, ma è come se fosse un modo intuitivo di provare cose, vedere cosa funziona e cosa no, e imparare a fare le cose che funzionano. Una delle cose che mi affascina dell’apprendimento per rinforzo è il fatto che, poiché interagisci con il mondo, puoi scoprire nuovi comportamenti.

Il motivo per cui questo è importante è che consente la scoperta di nuovi comportamenti. Ad esempio, uno degli esempi più famosi è AlphaGo, la mossa 37 che si parla nel documentario, che è stata una mossa creativa. Non era nulla che fosse stato visto prima, ci ha lasciati tutti sbalorditi. Non era da nessuna parte, era solo il risultato dell’interazione con il mondo. Ottieni questa capacità di scoprire, come uno dei progetti su cui ho lavorato, che consisteva nel far volare palloni visibili nella stratosfera, e abbiamo visto cose simili.

Abbiamo visto comportamenti emergere che hanno impressionato tutti e che non avevamo mai pensato, ma che erano geniali. Credo che l’apprendimento per rinforzo sia particolarmente adatto a consentire la scoperta di questo tipo di comportamento, poiché interagisci con il mondo. In un certo senso, una delle cose più difficili è il problema dei controfattuali, come “Cosa sarebbe successo se avessi fatto qualcosa di diverso?” Questo è un problema molto difficile in generale, ma in molti ambienti di apprendimento automatico non c’è nulla che tu possa fare al riguardo. Nell’apprendimento per rinforzo, puoi provare a fare qualcosa di diverso la prossima volta che ti trovi in una situazione simile.

Certo, non voglio essere ipocrita, credo che molte delle applicazioni interessanti che ne sono derivate abbiano reso l’apprendimento per rinforzo molto attraente. Come ad esempio, tornando a decenni fa, anche quando si parla dei primi esempi di grandi successi dell’apprendimento per rinforzo, tutto ciò mi ha reso molto interessato.

Qual è stata la tua applicazione storica preferita?

Credo che ce ne siano due molto famose, una è l’elicottero volante che hanno realizzato a Stanford con l’apprendimento per rinforzo, e un’altra è TD-Gammon, che è un giocatore di backgammon che è diventato campione del mondo. Questo era negli anni ’90, e quindi era durante il mio dottorato, ho fatto un internship con Gerald Tesauro e Gerald Tesauro era il capo del progetto TD-Gammon, quindi è stato come se fosse veramente cool. È divertente perché quando ho iniziato a fare apprendimento per rinforzo, non ero pienamente consapevole di cosa fosse. Quando ho applicato per la scuola di specializzazione, sono andato su molti siti web di professori perché volevo fare apprendimento automatico, in generale, e stavo leggendo la descrizione della ricerca di tutti, e stavo pensando: “Oh, questo è interessante”. Quando guardo indietro, senza conoscere il campo, ho scelto tutti i professori famosi di apprendimento per rinforzo, ma non perché fossero famosi, ma perché la descrizione della loro ricerca era attraente.

Come se li avessi trovati organicamente.

Esattamente, quindi quando guardo indietro, stavo dicendo: “Oh, queste sono le persone con cui ho lavorato tanto tempo fa”, o questi sono i paper che stavo leggendo prima di sapere cosa stessi facendo, e continuavo a tornare all’apprendimento per rinforzo.

Mentre eri a Google Brain, hai lavorato sulla navigazione autonoma di palloni stratosferici. Perché questo è stato un buon caso d’uso per fornire accesso a Internet in aree difficili da raggiungere?

Questo non è il mio campo di esperto, è la presentazione che Loon, la sussidiaria di Alphabet (GOOG ), stava lavorando. Quando si passa attraverso il modo in cui forniamo Internet a molte persone nel mondo, è che costruiamo un’antenna, ad esempio costruiamo un’antenna a Edmonton, e questa antenna ci consente di servire Internet a una regione di circa cinque o sei chilometri di raggio. Se mettiamo un’antenna nel centro di New York, serviamo milioni di persone, ma se proviamo a servire Internet a una tribù nella foresta amazzonica, forse ci sono 50 persone nella tribù, il costo economico di mettere un’antenna lì è molto alto, per non parlare della difficoltà di accedere a quella regione.

Da un punto di vista economico, non ha senso fare un grande investimento infrastrutturale in una regione difficile da raggiungere che è così scarsamente popolata. L’idea dei palloni era: “Ma cosa succederebbe se potessimo costruire un’antenna che fosse veramente alta? Cosa succederebbe se potessimo costruire un’antenna che è 20 chilometri alta?” Naturalmente, non sappiamo come costruire un’antenna del genere, ma potremmo mettere un pallone lì, e il pallone sarebbe in grado di servire una regione con un raggio 10 volte più grande, o se parliamo di raggio, allora è un’area 100 volte più grande di Internet. Se lo mettiamo lì, diciamo nel mezzo della foresta o nel mezzo della giungla, allora forse possiamo servire diverse tribù che altrimenti richiederebbero un’antenna ciascuna.

Fornire accesso a Internet in queste aree difficili da raggiungere era una delle motivazioni. Ricordo che il motto di Loon era di non fornire Internet al prossimo miliardo di persone, ma di fornire Internet all’ultimo miliardo di persone, che era estremamente ambizioso.

Quali erano i problemi di navigazione che stavate cercando di risolvere?

Il modo in cui funzionano questi palloni è che non sono propulsi, proprio come il modo in cui le persone navigano i palloni aerostatici è che o salgono o scendono e trovano il flusso di vento che li porta in una direzione specifica, poi cavalcano quel vento, e poi è come: “Oh, non voglio andare lì”, forse allora salgono o scendono e trovano un vento diverso e così via. Questo è ciò che fanno anche i palloni. Non è un pallone aerostatico, è un pallone a volume fisso che vola nella stratosfera.

Tutto ciò che può fare da un punto di vista navigazionale è salire, scendere o rimanere dove si trova, e poi deve trovare venti che gli consentano di andare dove vuole essere. In questo senso, è così che navigavamo, e ci sono molte sfide, in realtà. La prima è che, parlando di formulazione, vuoi essere in una regione, servire Internet, ma vuoi anche assicurarti che questi palloni siano alimentati a energia solare, che conservino l’energia. C’è questo problema di ottimizzazione multi-obiettivo, per assicurarsi non solo di essere nella regione che vuoi essere, ma anche di essere efficienti dal punto di vista energetico.

Questo era il problema in sé, ma poi, quando si guardano i dettagli, non si sa come sono i venti, si sa come sono i venti dove si è, ma non si sa come sono i venti 500 metri sopra. Si ha ciò che chiamiamo in intelligenza artificiale “osservabilità parziale”, quindi non si ha quei dati. Si possono avere previsioni, e ci sono paper scritti su questo, ma le previsioni spesso possono essere sbagliate fino al 90%. È un problema molto difficile, nel senso di come si fa a gestire questa osservabilità parziale, è un problema estremamente ad alto livello di dimensionalità perché stiamo parlando di centinaia di strati di vento, e poi si deve considerare la velocità del vento, la direzione del vento, il modo in cui lo modelliamo, quanto si è sicuri di quella previsione dell’incertezza.

Questo rende il problema molto difficile da affrontare. Una delle cose con cui abbiamo lottato di più in quel progetto è che, dopo che tutto era stato fatto e così via, è stato come: “Ma come possiamo trasmettere quanto sia difficile questo problema?” Perché è difficile da capire, perché non è qualcosa che si vede sullo schermo, sono centinaia di dimensioni e venti, e quando è stata l’ultima volta che ho avuto una misurazione di quel vento? In un certo senso, si deve inglobare tutto ciò mentre si pensa all’energia, all’ora del giorno, dove si vuole essere, è molto.

Cosa studia il machine learning? È solo il modello dei venti e della temperatura?

Il modo in cui funziona è che avevamo un modello dei venti che era un sistema di apprendimento automatico, ma non era apprendimento per rinforzo. Avevamo dati storici su tutte le diverse altitudini, quindi abbiamo costruito un modello di apprendimento automatico su quelli. Quando dico “noi”, non facevo parte di questo, era qualcosa che Loon aveva fatto anche prima che Google Brain si coinvolgesse. Avevano questo modello del vento che andava oltre solo le diverse altitudini, quindi come si fa a interpolare tra le diverse altitudini?

Si potrebbe dire: “Vogliamo dire, due anni fa, questo è come si presentava il vento, ma cosa si presentava forse 10 metri sopra, non lo sappiamo”. Quindi mettiamo un processo gaussiano sopra, quindi avevano scritto paper su quanto fosse buona la modellazione. Il modo in cui l’abbiamo fatto è partito da una prospettiva di apprendimento per rinforzo, avevamo un ottimo simulatore della dinamica del pallone, e avevamo anche questo simulatore del vento. Quindi cosa abbiamo fatto è tornare indietro nel tempo e dire: “Facciamo finta di essere nel 2010”. Avevamo dati su cosa fosse il vento nel 2010 in tutto il mondo, ma molto grezzo, ma poi potevamo sovrapporre questo modello di apprendimento automatico, questo processo gaussiano, in modo da ottenere effettivamente le misurazioni dei venti, e poi potevamo introdurre rumore, potevamo fare tutte le cose.

Quindi, alla fine, perché avevamo la dinamica del modello e avevamo i venti e stavamo tornando indietro nel tempo fingendo di essere lì, quindi avevamo effettivamente un simulatore.

È come un gemello digitale nel tempo.

Esattamente, abbiamo progettato una funzione di reward che era rimanere sul bersaglio e un po’ efficiente dal punto di vista energetico, ma abbiamo progettato questa funzione di reward che il pallone imparava interagendo con questo mondo, ma poteva interagire con il mondo solo perché non sappiamo come modellare il tempo e i venti, ma perché stavamo fingendo di essere nel passato, e quindi siamo riusciti a imparare a navigare. Fondamentalmente, era: “Vado su, giù o rimango?” Date tutte le cose che stanno succedendo intorno a me, alla fine, il punto è che voglio servire Internet a quella regione. Questo era il problema, in un certo senso.

Quali sono alcune delle sfide nell’implementare l’apprendimento per rinforzo nel mondo reale rispetto a un ambiente di gioco?

Credo che ci siano un paio di sfide. Non credo che sia necessariamente questione di giochi e mondo reale, è questione di ricerca fondamentale e ricerca applicata. Perché potresti fare ricerca applicata in giochi, ad esempio se stai cercando di implementare il prossimo modello in un gioco che verrà spedito a milioni di persone, ma credo che una delle principali sfide sia l’ingegneria. Se stai lavorando, molte volte si utilizzano giochi come ambiente di ricerca perché catturano molte delle proprietà di cui ci importa, ma le catturano in un insieme di vincoli più definiti.

Non è che la ricerca debba essere necessariamente molto diversa, ma credo che il mondo reale porti molte sfide extra. È questione di implementare sistemi come vincoli di sicurezza, come dovevamo assicurarci che la soluzione fosse sicura. Quando si fa solo giochi, non si pensa necessariamente a questo. Come si fa a garantire che il pallone non faccia qualcosa di stupido, o che l’agente di apprendimento per rinforzo non abbia imparato qualcosa che non avevamo previsto, e che avrà conseguenze negative? Questa è stata una delle preoccupazioni più grandi che abbiamo avuto, era la sicurezza. Naturalmente, se si gioca solo a giochi, non si è realmente preoccupati per questo, nel peggiore dei casi, si perde la partita.

Questa è la sfida, l’altra è lo stack di ingegneria. È molto diverso dal fatto che tu sia un ricercatore da solo che interagisce con un gioco per computer perché vuoi validarne uno, è fine, ma adesso hai uno stack di ingegneria di un intero prodotto con cui devi fare i conti. Non è che ti lasceranno fare qualunque cosa tu voglia, quindi credo che tu debba diventare molto più familiare con quel pezzo aggiuntivo. Credo che le dimensioni del team possano essere anche molto diverse, come Loon al tempo, avevano dozzine se non centinaia di persone. Noi eravamo comunque in contatto con un numero limitato di loro, ma poi avevano una sala di controllo che avrebbe effettivamente parlato con il personale dell’aviazione.

Noi non ne sapevamo nulla, ma poi avevamo molti più stakeholder in un certo senso. Credo che molta della differenza sia che, uno, l’ingegneria, la sicurezza e così via, e forse l’altro è che le tue ipotesi non valgono. Molte delle ipotesi che fai e su cui si basano questi algoritmi, quando vanno nel mondo reale, non valgono, e quindi devi capire come gestirle. Il mondo non è così amichevole come qualsiasi applicazione che tu possa fare in giochi, è principalmente se stai parlando di un gioco molto limitato che stai facendo da solo.

Un esempio che amo molto è che ci hanno dato tutto, eravamo come: “Okay, adesso possiamo provare alcune di queste cose per risolvere il problema”, e poi siamo andati a farlo, e poi una settimana dopo, due settimane dopo, siamo tornati agli ingegneri di Loon come: “Abbiamo risolto il vostro problema”. Eravamo veramente intelligenti, loro ci hanno guardato con un ghigno sul viso come: “Non avete risolto il problema, sappiamo che non potete risolverlo, è troppo difficile”, come: “Sì, l’abbiamo fatto, abbiamo assolutamente risolto il vostro problema, guardate, abbiamo il 100% di accuratezza”. Come: “Questo è letteralmente impossibile, a volte non avete i venti che vi consentono di…” “No, l’abbiamo fatto, abbiamo assolutamente risolto il vostro problema, guardate”.

Avevamo capito cosa stava succedendo. Il pallone, l’algoritmo di apprendimento per rinforzo aveva imparato ad andare al centro della regione, e poi sarebbe salito, salito, e poi il pallone sarebbe scoppiato, e poi il pallone sarebbe sceso e sarebbe stato nella regione per sempre. Loro erano come: “Questo non è assolutamente ciò che vogliamo”, ma poi naturalmente questo era la simulazione, ma poi dicevamo: “Oh sì, quindi come possiamo risolvere questo?” Loro erano come: “Oh sì, ci sono un paio di cose, ma una delle cose, assicuriamoci che il pallone non possa salire al di sopra del livello in cui esploderebbe”.

Queste limitazioni nel mondo reale, questi aspetti di come la tua soluzione interagisce effettivamente con altre cose, è facile trascurarle quando si è solo un ricercatore di apprendimento per rinforzo che lavora su giochi, e poi quando si va nel mondo reale, si è come: “Oh aspetta, queste cose hanno conseguenze, e devo esserne consapevole”. Credo che questo sia una delle principali difficoltà.

Credo che l’altra sia solo il fatto che il ciclo di questi esperimenti è veramente lungo, come in un gioco posso semplicemente premere play. Nel peggiore dei casi, dopo una settimana ho i risultati, ma poi se devo effettivamente far volare palloni nella stratosfera, abbiamo questa espressione che mi piace usare nel mio discorso, che è come se stessimo “A/B testando la stratosfera”, perché alla fine, dopo che abbiamo la soluzione e siamo fiduciosi in essa, quindi adesso vogliamo assicurarci che sia effettivamente meglio dal punto di vista statistico. Abbiamo preso 13 palloni, credo, e li abbiamo fatti volare nell’Oceano Pacifico per più di un mese, perché è quanto ci è voluto per validare che tutto ciò che avevamo elaborato fosse effettivamente meglio. La scala temporale è molto diversa anche, quindi non si hanno molte possibilità di provare cose.

A differenza dei giochi, non ci sono un milione di iterazioni dello stesso gioco in esecuzione simultaneamente.

Sì. Li avevamo per l’addestramento perché stavamo sfruttando la simulazione, anche se, di nuovo, il simulatore è molto più lento di qualsiasi gioco che tu possa avere, ma siamo riusciti a gestirlo ingegneristicamente. Quando lo fai nel mondo reale, è diverso.

Cosa sta studiando la tua ricerca attualmente?

Adesso sono all’Università dell’Alberta, e ho un gruppo di ricerca qui con molti studenti. La mia ricerca è molto più diversificata in un certo senso, perché i miei studenti mi consentono di farlo. Una cosa a cui sono particolarmente interessato è questa nozione di apprendimento continuo. Cosa succede è che quasi ogni volta che parliamo di apprendimento automatico in generale, stiamo per fare una computazione, sia utilizzando un simulatore, sia utilizzando un set di dati ed elaborando i dati, e stiamo per imparare un modello di apprendimento automatico, e lo deployiamo e speriamo che funzioni, e va bene. Molte volte questo è esattamente ciò di cui hai bisogno, molte volte questo è perfetto, ma a volte non è così perché a volte i problemi del mondo reale sono troppo complessi per aspettarsi che un modello, non importa quanto grande, sia effettivamente in grado di incorporare tutto, tutte le complessità del mondo, quindi devi adattarti.

Uno dei progetti con cui sto lavorando, ad esempio, qui all’Università dell’Alberta è una stazione di trattamento delle acque. Fondamentalmente, è come possiamo creare algoritmi di apprendimento per rinforzo che siano in grado di supportare gli esseri umani nel processo decisionale, o come fare in modo autonomo per il trattamento delle acque? Abbiamo i dati, possiamo vedere i dati, e a volte la qualità dell’acqua cambia nell’arco di poche ore, quindi anche se dico: “Ogni giorno, addestrerò il mio modello di apprendimento automatico dal giorno precedente, e lo deployerò entro poche ore del mio giorno”, quel modello non è più valido perché c’è drift dei dati, non è stazionario. È veramente difficile modellare queste cose perché forse c’è un incendio nella foresta a monte, o forse la neve inizia a sciogliersi, quindi dovresti modellare l’intero mondo per essere in grado di farlo.

Naturalmente, nessuno fa questo, non lo facciamo noi esseri umani, quindi cosa facciamo? Ci adattiamo, impariamo, siamo come: “Oh, la cosa che stavo facendo, non funziona più, quindi imparerò a fare qualcos’altro”. Credo che ci siano molte pubblicazioni, principalmente quelle del mondo reale, che richiedono di imparare costantemente e per sempre, e questo non è il modo standard in cui parliamo di apprendimento automatico. Spesso parliamo di: “Farò una grande quantità di computazione, e deployerò un modello”, e forse deployerò un modello mentre sto già facendo altra computazione perché deployerò un modello un paio di giorni o settimane dopo, ma a volte la scala temporale di queste cose non funziona.

La domanda è: “Come possiamo imparare costantemente e per sempre, in modo da migliorare costantemente e adattarci?” e questo è veramente difficile. Abbiamo alcuni paper su questo, come la nostra attuale macchina non è in grado di farlo, come molte delle soluzioni che abbiamo che sono lo standard nel campo, se si fa solo continuare a imparare invece di fermarsi e deployare, le cose si mettono male molto velocemente. Questa è una delle cose a cui sono veramente interessato, che credo sia come adesso che abbiamo fatto così tante cose di successo, deployato modelli fissi, e continueremo a farlo, pensando come ricercatore: “Qual è il confine di questo campo?” Credo che uno dei confini che abbiamo è questo aspetto di apprendimento continuo.

Credo che una delle cose che l’apprendimento per rinforzo è particolarmente adatto a fare è che molti dei nostri algoritmi, stanno elaborando i dati man mano che arrivano, e quindi molti degli algoritmi sono naturalmente adatti a imparare. Non significa che lo facciano o che siano bravi a farlo, ma non dobbiamo chiederci, e credo che ci siano molte domande di ricerca interessanti su cosa possiamo fare.

Quali sono le applicazioni future che usano questo apprendimento continuo che ti entusiasmano di più?

Questa è la domanda da un miliardo di dollari, perché in un certo senso sto cercando queste applicazioni. Credo che come ricercatore, sono stato in grado di fare le domande giuste, è più della metà del lavoro, quindi credo che nell’apprendimento per rinforzo, molte volte mi piace essere guidato dai problemi. È come: “Oh, guardiamo, abbiamo questa sfida, ad esempio cinque palloni nella stratosfera, quindi adesso dobbiamo capire come risolvere questo”, e poi lungo la strada si fanno progressi scientifici. Adesso sto lavorando con altri come Adam White, Martha White su questo, che è il progetto guidato da loro su questa stazione di trattamento delle acque. È qualcosa a cui sono veramente interessato perché è qualcosa che è veramente difficile da descrivere con il linguaggio in un certo senso, quindi è come se non fosse che tutti i successi attuali con il linguaggio, non sono facilmente applicabili lì.

Richiedono questo aspetto di apprendimento continuo, come stavo dicendo, l’acqua cambia molto spesso, sia la torbidità, sia la temperatura e così via, e opera a scale temporali diverse. Credo che sia inevitabile che dobbiamo imparare costantemente. Ha un enorme impatto sociale, è difficile immaginare qualcosa di più importante del fornire acqua potabile alla popolazione, e a volte questo conta molto. Perché è facile trascurare il fatto che a volte in Canada, ad esempio, quando si va in regioni più scarsamente popolate come nel nord e così via, a volte non abbiamo nemmeno un operatore per gestire una stazione di trattamento delle acque. Non è che questo debba necessariamente sostituire gli operatori, ma è per dare potere alle cose che altrimenti non potremmo fare, perché non abbiamo il personale o la forza per farlo.

Credo che abbia un enorme potenziale impatto sociale, è un problema di ricerca estremamente impegnativo. Non abbiamo un simulatore, non abbiamo i mezzi per procurarcene uno, quindi dobbiamo usare i migliori dati, dobbiamo imparare online, quindi ci sono molte sfide lì, e questa è una delle cose a cui sono entusiasta. Un’altra, e questa non è qualcosa che ho fatto molto, ma un’altra è il raffreddamento degli edifici, e di nuovo, pensando al tempo, al clima e alle cose che possiamo avere un impatto su, spesso è come: “Come decidiamo come raffreddare un edificio?” Come questo edificio che abbiamo con centinaia di persone oggi qui, questo è molto diverso da cosa era la settimana scorsa, e stiamo usando esattamente la stessa politica? Al massimo abbiamo un termostato, quindi siamo come: “Oh sì, fa caldo, quindi possiamo probabilmente essere più furbi su questo e adattarci”, di nuovo, e a volte ci sono molte persone in una stanza, non nell’altra.

Ci sono molte di queste opportunità sui sistemi di controllo che sono ad alta dimensionalità e molto difficili da gestire con la nostra mente, che possiamo probabilmente fare molto meglio delle approcci standard che abbiamo attualmente nel campo.

In alcuni posti, fino al 75% del consumo di energia è letteralmente costituito da unità di condizionamento, quindi questo ha molto senso.

Esattamente, e credo che molte di queste cose in casa, ci sono già alcuni prodotti che fanno apprendimento automatico e che imparano dai clienti. Negli edifici, si può avere un approccio molto più fine-grano, come in Florida, Brasile, è molti posti che hanno questo bisogno. Raffreddare i data center, questo è un altro esempio. Ci sono alcune aziende che stanno iniziando a farlo, e questo suona quasi come fantascienza, ma c’è la capacità di imparare costantemente e adattarsi man mano che si presentano le esigenze. Questo può avere un enorme impatto sui problemi di controllo che sono ad alta dimensionalità e così via, come quando facevamo volare i palloni. Ad esempio, una delle cose che siamo stati in grado di mostrare è esattamente come l’apprendimento per rinforzo, e in particolare l’apprendimento per rinforzo profondo, possa imparare decisioni basate sui sensori che sono molto più complessi di quanto gli esseri umani possano progettare.

Solo per definizione, si guarda a come un essere umano progetterebbe una curva di risposta, solo nel senso che è come: “Beh, probabilmente sarà lineare, quadratica”, ma quando si ha una rete neurale, può imparare tutte le non-linearità che la rendono una decisione molto più fine-grana, che a volte è molto efficace.

Grazie per l’intervista incredibile, i lettori che desiderano saperne di più possono visitare le seguenti risorse:

• Upper Bound AI Conference.
• Amii (Alberta Machine Intelligence Institute)