Marlos C. Machado, Professor Adjunto na Universidade de Alberta, Fellow do Amii, Cadeira de AI do CIFAR – Série de Entrevistas

Marlos C. Machado é um Fellow em Residência no Instituto de Inteligência de Máquina de Alberta (Amii), um professor adjunto na Universidade de Alberta e um fellow do Amii, onde também ocupa uma Cadeira de AI do CIFAR. A pesquisa de Marlos se concentra principalmente no problema de aprendizado por reforço. Ele recebeu seu B.Sc. e M.Sc. pela UFMG, no Brasil, e seu Ph.D. pela Universidade de Alberta, onde popularizou a ideia de exploração temporariamente estendida por meio de opções.

Ele foi pesquisador no DeepMind de 2021 a 2023 e no Google (GOOGL ) Brain de 2019 a 2021, durante o qual fez contribuições significativas para o aprendizado por reforço, particularmente na aplicação do aprendizado por reforço profundo para controlar balões estratosféricos da Loon. O trabalho de Marlos foi publicado nas principais conferências e periódicos de IA, incluindo Nature, JMLR, JAIR, NeurIPS, ICML, ICLR e AAAI. Sua pesquisa também foi destaque na mídia popular, como BBC, Bloomberg TV, The Verge e Wired.

Nós nos sentamos para uma entrevista na conferência anual de 2023 Upper Bound sobre IA, realizada em Edmonton, AB, e sediada pelo Amii (Instituto de Inteligência de Máquina de Alberta).

Sua principal área de foco tem sido o aprendizado por reforço, o que o atrai para esse tipo de aprendizado de máquina?

O que eu gosto no aprendizado por reforço é o conceito de que é uma forma muito natural de aprender, ou seja, você aprende por interação. Isso me parece uma forma intuitiva de aprender, como os humanos. Não gosto de antropomorfizar a IA, mas é como se fosse uma forma instintiva de aprender, você tenta coisas, algumas coisas parecem boas, outras ruins, e você aprende a fazer as coisas que o fazem se sentir melhor. Uma das coisas que me fascina no aprendizado por reforço é o fato de que, porque você interage com o mundo, você é um agente que tenta coisas no mundo e pode vir a criar hipóteses e testá-las.

O motivo pelo qual isso importa é que permite a descoberta de novos comportamentos. Por exemplo, um dos exemplos mais famosos é o AlphaGo, o movimento 37 que eles falam no documentário, que foi algo que as pessoas disseram que foi criatividade. Foi algo que nunca havia sido visto antes, deixou todos impressionados. Não estava em lugar algum, foi apenas por interagir com o mundo que você descobre essas coisas. Você obtém a capacidade de descobrir, como um dos projetos em que trabalhei foi voar balões visíveis na estratosfera, e vimos coisas muito semelhantes também.

Vimos comportamentos emergindo que impressionaram a todos e como nunca tínhamos pensado, mas foi brilhante. Acho que o aprendizado por reforço está particularmente bem posicionado para permitir que descubramos esse tipo de comportamento, porque você está interagindo, porque, em certo sentido, um dos problemas realmente difíceis é lidar com contrafatuais, como o que teria acontecido se eu tivesse feito aquilo em vez disso? Esse é um problema super difícil em geral, mas em muitos contextos de estudos de aprendizado de máquina, não há nada que você possa fazer sobre isso. No aprendizado por reforço, você pode, “O que teria acontecido se eu tivesse feito aquilo?” Eu posso muito bem tentar da próxima vez que estou experimentando isso. Acho que esse aspecto interativo é algo que realmente gosto.

Claro que não vou ser hipócrita, acho que muitas das aplicações legais que vieram com isso tornaram isso muito interessante. Como voltar décadas e décadas atrás, mesmo quando falamos sobre os primeiros exemplos de grande sucesso do aprendizado por reforço, isso me tornou muito atraente.

Qual foi sua aplicação histórica favorita?

Acho que há duas muito famosas, uma é o helicóptero voador que eles fizeram em Stanford com aprendizado por reforço, e outra é o TD-Gammon, que é um jogador de gamão que se tornou campeão mundial. Isso foi nos anos 90, e então eu fiz questão de fazer um estágio na IBM com Gerald Tesauro e Gerald Tesauro foi o líder do projeto TD-Gammon, então foi como se fosse realmente legal. É engraçado porque, quando comecei a fazer aprendizado por reforço, não era que eu estivesse totalmente ciente do que era. Quando eu me candidatei à pós-graduação, lembro que fui a muitos sites de professores porque queria fazer aprendizado de máquina, de forma geral, e estava lendo a descrição da pesquisa de todos, e eu estava como, “Oh, isso é interessante.” Quando olho para trás, sem saber o campo, eu escolhi todos os professores famosos em aprendizado por reforço, mas não porque eram famosos, mas porque a descrição da pesquisa deles era atraente para mim. Eu estava como, “Oh, este site é realmente legal, quero trabalhar com este cara e com este outro,” então, de certa forma, foi-

Como se você os tivesse encontrado organicamente.

Exatamente, então, quando olho para trás, eu estava dizendo, “Oh, essas são as pessoas com quem eu queria trabalhar há muito tempo,” ou esses são os papéis que, antes de saber o que estava fazendo, eu estava lendo a descrição em algum papel de outra pessoa, eu estava como, “Oh, isso é algo que eu deveria ler,” consistentemente voltava ao aprendizado por reforço.

Enquanto no Google Brain, você trabalhou na navegação autônoma de balões estratosféricos. Por que isso foi um bom caso de uso para fornecer acesso à internet em áreas de difícil acesso?

Isso não é algo em que eu seja especialista, essa é a proposta que a Loon, que era uma subsidiária do Alphabet (GOOG ), estava trabalhando. Quando você passa pela forma como fornecemos internet a muitas pessoas no mundo, é como você constrói uma antena, como construir uma antena em Edmonton, e essa antena permite servir internet a uma região de, digamos, cinco, seis quilômetros de raio. Se você colocar uma antena no centro de Nova York, você estará servindo internet a milhões de pessoas, mas agora imagine que você está tentando fornecer internet a uma tribo na floresta amazônica. Talvez você tenha 50 pessoas na tribo, o custo econômico de colocar uma antena lá é realmente alto, sem mencionar mesmo acessar essa região.

Do ponto de vista econômico, não faz sentido fazer um grande investimento em infraestrutura em uma região de difícil acesso que é muito esparsamente povoada. A ideia dos balões era, “Mas e se pudéssemos construir uma antena que fosse realmente alta? E se pudéssemos construir uma antena que fosse 20 quilômetros alta?” Claro que não sabemos como construir essa antena, mas podemos colocar um balão lá, e então o balão poderia servir a uma região que é 10 vezes maior, ou se você falar em raio, então é 100 vezes maior área de internet. Se você colocar lá, digamos, no meio da floresta ou no meio da selva, então talvez você possa servir várias tribos que de outra forma precisariam de uma antena para cada uma delas.

Fornecer acesso à internet a essas áreas de difícil acesso foi uma das motivações. Lembro que o lema da Loon era não fornecer internet ao próximo bilhão de pessoas, mas fornecer internet ao último bilhão de pessoas, o que era extremamente ambicioso, em certo sentido. Não é o próximo bilhão, mas é como o bilhão mais difícil de alcançar.

Quais eram os problemas de navegação que você estava tentando resolver?

A forma como esses balões funcionam é que eles não são propelidos, assim como as pessoas navegam em balões de ar quente, é que você vai para cima ou para baixo e encontra o vento que está soprando em uma direção específica, então você o segue, e então é como, “Oh, não quero ir para lá mais,” talvez você vá para cima ou para baixo e encontre um vento diferente e assim por diante. Isso é o que o balão faz também. Não é um balão de ar quente, é um balão de volume fixo que voa na estratosfera.

Tudo o que ele pode fazer, em certo sentido, do ponto de vista da navegação, é subir, descer ou ficar onde está, e então ele deve encontrar ventos que o permitam ir para onde ele quer estar. Nesse sentido, é assim que navegamos, e há muitos desafios, na verdade. O primeiro é que, falando sobre formulação primeiro, você quer estar em uma região, servir a internet, mas você também quer garantir que esses balões sejam alimentados por energia solar, então você precisa ser eficiente em termos de energia de alguma forma, então isso é a primeira coisa.

Esse era o problema em si, mas então, quando você olha para os detalhes, você não sabe como os ventos são, você sabe como os ventos são onde você está, mas você não sabe como os ventos são 500 metros acima de você. Você tem o que chamamos de observabilidade parcial em IA, então você não tem esses dados. Você pode ter previsões, e há papéis escritos sobre isso, mas as previsões muitas vezes podem estar erradas em até 90 graus. É um problema realmente difícil, em certo sentido, de como você lida com essa observabilidade parcial, é um problema extremamente de alta dimensão porque estamos falando de centenas de diferentes camadas de vento, e então você tem que considerar a velocidade do vento, a direção do vento, a forma como modelamos, quão confiante estamos nessa previsão da incerteza.

Isso torna o problema muito difícil de lidar. Uma das coisas com que lutamos mais nesse projeto foi que, depois que tudo estava feito e assim por diante, foi como, “Mas como podemos transmitir como é difícil esse problema?” Porque é difícil envolver nossas mentes em torno disso, porque não é algo que você vê na tela, são centenas de dimensões e ventos, e quando foi a última vez que eu tive uma medição desse vento? Em certo sentido, você tem que ingerir tudo isso enquanto está pensando sobre energia, o tempo do dia, onde você quer estar, é muito.

O que a aprendizagem de máquina está estudando? É simplesmente padrões de vento e temperatura?

A forma como funciona é que tínhamos um modelo de ventos que era um sistema de aprendizado de máquina, mas não era aprendizado por reforço. Você tem dados históricos sobre todas as diferentes altitudes, então você constrói um modelo de aprendizado de máquina em cima disso. Quando digo “nós”, não estava lá, essa foi uma coisa que a Loon fez mesmo antes de o Google Brain se envolver. Eles tinham esse modelo de vento que era além de apenas as diferentes altitudes, então como você interpola entre as diferentes altitudes?

Você poderia dizer, “Vamos dizer, dois anos atrás, era assim que o vento parecia, mas o que parecia talvez 10 metros acima, não sabemos”. Então você coloca um processo gaussiano em cima disso, então eles tinham papéis escritos sobre quão bom era esse modelo. A forma como fizemos foi começar com uma perspectiva de aprendizado por reforço, tínhamos um simulador muito bom da dinâmica do balão, e então também tínhamos esse simulador de vento. Então, o que fizemos foi voltar no tempo e dizer, “Vamos fingir que estou em 2010.” Temos dados sobre o que o vento era como em 2010 em todo o mundo, mas muito grosseiro, mas então podemos sobrepor esse modelo de aprendizado de máquina, esse processo gaussiano em cima, então obtemos as medições reais dos ventos, e então podemos introduzir ruído, podemos fazer todas as coisas.

Então, eventualmente, porque temos a dinâmica do modelo e temos os ventos e estamos voltando no tempo, fingindo que estamos lá, então, na verdade, tínhamos um simulador.

É como um gêmeo digital no passado.

Exatamente, então projetamos uma função de recompensa que era permanecer no alvo e um pouco eficiente em termos de energia, mas projetamos essa função de recompensa que o balão aprendesse interagindo com esse mundo, mas ele só pode interagir com o mundo porque não sabemos como modelar o clima e os ventos, mas porque estávamos fingindo que estávamos no passado, e então conseguimos aprender a navegar. Basicamente, era ir para cima, para baixo ou ficar? Dado tudo o que está acontecendo ao meu redor, no final do dia, a linha de fundo é que quero servir a internet a essa região. Esse era o problema, em certo sentido.

Quais são alguns dos desafios em implantar aprendizado por reforço no mundo real versus um ambiente de jogo?

Acho que há alguns desafios. Não acho que seja necessariamente sobre jogos e mundo real, é sobre pesquisa fundamental e pesquisa aplicada. Porque você pode fazer pesquisa aplicada em jogos, digamos que você está tentando implantar o próximo modelo em um jogo que será enviado a milhões de pessoas, mas acho que um dos principais desafios é a engenharia. Se você está trabalhando, muitas vezes você usa jogos como um ambiente de pesquisa porque eles capturam muitas das propriedades que nos importam, mas capturam em um conjunto mais bem definido de restrições. Porque disso, podemos fazer a pesquisa, podemos validar o aprendizado, mas é um conjunto mais “seguro” de restrições que melhor entendemos.

Não é que a pesquisa necessariamente precise ser muito diferente, mas acho que o mundo real traz muitos desafios extras. É sobre implantar sistemas como restrições de segurança, como tivemos que garantir que a solução fosse segura. Quando você está apenas fazendo jogos, você não se preocupa com isso. Como você garante que o balão não faça algo estúpido, ou que o agente de aprendizado por reforço não aprendeu algo que não tínhamos previsto, e que teria consequências ruins? Isso foi uma das principais preocupações que tivemos, era a segurança. Claro, se você está apenas jogando jogos, então não nos preocupamos com isso, no pior dos casos, você perde o jogo.

Esse é o desafio, o outro é a pilha de engenharia. É muito diferente de quando você é um pesquisador por conta própria para interagir com um jogo de computador porque você quer validar, é ótimo, mas agora você tem uma pilha de engenharia de um produto inteiro com o qual você tem que lidar. Não é que eles vão deixar você fazer o que quiser, então acho que você tem que se familiarizar muito mais com essa peça adicional também. Acho que o tamanho da equipe também pode ser muito diferente, como a Loon na época, tinham dezenas, se não centenas de pessoas. Estávamos interagindo com um número pequeno delas, mas então eles tinham uma sala de controle que realmente falava com o pessoal da aviação.

Não tínhamos ideia disso, mas então você tem muitos mais stakeholders, em certo sentido. Acho que muita da diferença é que, um, engenharia, segurança e assim por diante, e talvez o outro seja que suas suposições não se sustentam. Muitas das suposições que você faz que esses algoritmos são baseados, quando vão para o mundo real, elas não se sustentam, e então você tem que descobrir como lidar com isso. O mundo não é tão amigável quanto qualquer aplicativo que você faria em jogos, é principalmente se você estiver falando sobre um jogo muito restrito que você está fazendo sozinho.

Um exemplo que eu realmente amo é que eles nos deram tudo, estávamos como, “Ok, agora podemos tentar algumas dessas coisas para resolver esse problema,” e então fomos fazer, e então uma semana depois, duas semanas depois, voltamos aos engenheiros da Loon como, “Resolvemos o seu problema.” Estávamos realmente inteligentes, eles nos olharam com um sorriso no rosto como, “Vocês não, sabemos que vocês não podem resolver esse problema, é muito difícil,” como, “Não, resolvemos, absolutamente resolvemos o seu problema, vejam, temos 100% de precisão.” Como, “Isso é literalmente impossível, às vezes você não tem os ventos que o permitam…” “Não, vamos olhar o que está acontecendo.”

Descobrimos o que estava acontecendo. O balão, o algoritmo de aprendizado por reforço aprendeu a ir para o centro da região, e então subir, subir, e então o balão estouraria, e então o balão descia e estava dentro da região para sempre. Eles estavam como, “Isso claramente não é o que queremos,” mas então, claro, isso foi simulação, mas então dizemos, “Oh, sim, como podemos resolver isso?” Eles estão como, “Oh, sim, há algumas coisas, mas uma delas é que garantimos que o balão não possa subir acima do nível em que ele vai estourar.”

Essas restrições no mundo real, esses aspectos de como sua solução realmente interage com outras coisas, é fácil de passar por alto quando você é apenas um pesquisador de aprendizado por reforço trabalhando em jogos, e então, quando você vai para o mundo real, você está como, “Oh, espere, essas coisas têm consequências, e eu tenho que estar ciente disso.” Acho que essa é uma das principais dificuldades.

Acho que o outro é que o ciclo desses experimentos é realmente longo, como em um jogo, eu posso apenas pressionar play. No pior dos casos, após uma semana, eu tenho resultados, mas então, se eu realmente tiver que voar balões na estratosfera, temos essa expressão que eu gosto de usar em minhas palestras, que é como se estivéssemos fazendo testes A/B na estratosfera, porque, eventualmente, após termos a solução e estarmos confiantes com ela, então queremos garantir que ela seja estatisticamente melhor. Conseguimos 13 balões, acho, e os voamos no Oceano Pacífico por mais de um mês, porque foi o tempo que levou para validar que tudo o que tínhamos feito era realmente melhor. A escala de tempo é muito diferente também, então você não tem tantas chances de tentar coisas.

Ao contrário dos jogos, não há um milhão de iterações do mesmo jogo rodando simultaneamente.

Sim. Tínhamos isso para treinamento porque estávamos usando simulação, mesmo que, novamente, o simulador seja muito mais lento do que qualquer jogo que você teria, mas conseguimos lidar com isso do ponto de vista da engenharia. Quando você faz isso no mundo real, então é diferente.

O que é sua pesquisa que você está trabalhando hoje?

Agora estou na Universidade de Alberta, e tenho um grupo de pesquisa aqui com muitos alunos. Minha pesquisa é muito mais diversificada, em certo sentido, porque meus alunos me permitem fazer isso. Uma coisa que estou particularmente animado é essa noção de aprendizado contínuo. O que acontece é que, basicamente, cada vez que falamos sobre aprendizado de máquina em geral, vamos fazer algum cálculo, seja usando um simulador, seja usando um conjunto de dados e processando os dados, e vamos aprender um modelo de aprendizado de máquina, e vamos implantar esse modelo e esperamos que ele funcione bem, e isso está bem. Muitas vezes, isso é exatamente o que você precisa, muitas vezes isso é perfeito, mas às vezes não é, porque às vezes os problemas do mundo real são muito complexos para você esperar que um modelo, não importa o quão grande ele seja, realmente incorporou tudo o que você queria, todas as complexidades do mundo, então você tem que se adaptar.

Um dos projetos em que estou envolvido, por exemplo, aqui na Universidade de Alberta, é uma estação de tratamento de água. Basicamente, é como podemos criar algoritmos de aprendizado por reforço que sejam capazes de apoiar outros humanos no processo de tomada de decisão, ou como fazer isso de forma autônoma para tratamento de água? Temos os dados, podemos ver os dados, e às vezes a qualidade da água muda dentro de horas, então, mesmo que você diga que, “Todos os dias, vou treinar meu modelo de aprendizado de máquina do dia anterior, e vou implantá-lo dentro de horas do seu dia,” esse modelo não é mais válido, porque há drift de dados, não é estacionário. É realmente difícil para você modelar essas coisas, porque talvez seja um incêndio florestal que está acontecendo a montante, ou talvez a neve esteja começando a derreter, então você teria que modelar o mundo todo para ser capaz de fazer isso.

Claro que ninguém faz isso, não fazemos isso como humanos, então o que fazemos? Nós nos adaptamos, estamos como, “Oh, essa coisa que eu estava fazendo, não está funcionando mais, então talvez eu aprenda a fazer algo mais.” Acho que há muitas publicações, principalmente as do mundo real, que exigem que você aprenda continuamente e para sempre, e isso não é a forma padrão como falamos sobre aprendizado de máquina. Muitas vezes, falamos sobre, “Vou fazer um grande lote de cálculo, e vou implantar um modelo,” e talvez eu implante o modelo enquanto já estou fazendo mais cálculos, porque vou implantar um modelo alguns dias, semanas depois, mas às vezes a escala de tempo dessas coisas não funciona.

A pergunta é, “Como podemos aprender continuamente para sempre, de forma que estejamos apenas melhorando e nos adaptando?” e isso é realmente difícil. Temos alguns papéis sobre isso, como nossa maquinaria atual não é capaz de fazer isso, como muitas das soluções que temos que são o padrão de ouro no campo, se você apenas continuar aprendendo em vez de parar e implantar, as coisas ficam ruins muito rapidamente. Essa é uma das coisas que estou realmente animado, que acho que agora que fizemos tantas coisas bem-sucedidas, implantamos modelos fixos, e continuaremos a fazer, pensando como pesquisador, “O que é a fronteira da área?” Acho que uma das fronteiras que temos é esse aspecto de aprender continuamente.

Acho que uma das coisas que o aprendizado por reforço está particularmente bem posicionado para fazer é que muitos de nossos algoritmos estão processando dados à medida que os dados estão chegando, e então muitos dos algoritmos estão, em certo sentido, diretamente aptos a aprender. Não significa que eles façam ou que sejam bons nisso, mas não precisamos questionar a nós mesmos, e acho que há muitas perguntas de pesquisa interessantes sobre o que podemos fazer.

Quais são as aplicações futuras usando esse aprendizado contínuo que você está mais animado?

Essa é a pergunta de um bilhão de dólares, porque, em certo sentido, como pesquisador, eu tenho sido capaz de fazer as perguntas certas, é mais da metade do trabalho, então acho que no nosso aprendizado por reforço, muitas vezes, gosto de ser impulsionado por problemas. É como, “Oh, olhe, temos esse desafio, então agora temos que descobrir como resolver isso,” e então, ao longo do caminho, você está fazendo avanços científicos. Agora estou trabalhando com outros, como Adam White, Martha White, nisso, que é o projeto liderado por eles na estação de tratamento de água. É algo que estou realmente animado, porque é algo que é realmente difícil de descrever com linguagem, em certo sentido, então é como, “É algo que é realmente difícil de descrever com linguagem.”

Requer esse aspecto de aprendizado contínuo, como eu estava dizendo, você tem a água que muda bastante, seja a turbidez, seja a temperatura e assim por diante, e opera em escalas de tempo diferentes. Acho que é inevitável que precisemos aprender continuamente. Tem um impacto social enorme, é difícil imaginar algo mais importante do que fornecer água potável à população, e às vezes isso importa muito. Porque é fácil passar por alto o fato de que, às vezes, no Canadá, por exemplo, quando vamos para regiões mais esparsamente povoadas, como no norte e assim por diante, às vezes não temos nem um operador para operar uma estação de tratamento de água. Não é que isso necessariamente precise substituir operadores, mas é para realmente nos permitir fazer as coisas que de outra forma não poderíamos, porque simplesmente não temos o pessoal ou a força para fazer isso.

Acho que tem um potencial de impacto social enorme, é um problema de pesquisa extremamente desafiador. Não temos um simulador, não temos os meios para adquirir um, então temos que usar os melhores dados, temos que estar aprendendo online, então há muitos desafios lá, e essa é uma das coisas que estou animado. Outra coisa, e essa não é algo que eu tenha feito muito, mas outra coisa é resfriar prédios, e novamente, pensando sobre o clima, sobre a mudança climática e coisas que podemos ter um impacto sobre, muitas vezes é como, “Como decidimos como vamos resfriar um prédio?” Como este prédio que temos centenas de pessoas hoje aqui, isso é muito diferente do que era na semana passada, e vamos usar exatamente a mesma política? No máximo, temos um termostato, então estamos como, “Oh, está quente, então podemos ser mais inteligentes sobre isso e nos adaptar,” novamente, e às vezes há muitas pessoas em uma sala, não na outra.

Há muitas dessas oportunidades sobre sistemas controlados que são de alta dimensão, muito difíceis de lidar em nossas mentes, que podemos provavelmente fazer muito melhor do que as abordagens padrão que temos agora no campo.

Em alguns lugares, até 75% do consumo de energia é literalmente unidades de ar condicionado, então isso faz muito sentido.

Exatamente, e acho que muitas dessas coisas em sua casa, já há alguns produtos que fazem aprendizado de máquina e que então aprendem com os clientes. Nesses prédios, você pode ter uma abordagem muito mais granular, como na Flórida, no Brasil, é muitos lugares que têm essa necessidade. Resfriar data centers, essa é outra coisa também, há algumas empresas que estão começando a fazer isso, e isso soa quase como ficção científica, mas há a capacidade de aprender constantemente e se adaptar à medida que a necessidade surge. Isso pode ter um impacto enorme nesses problemas de controle que são de alta dimensão e assim por diante, como quando estávamos voando os balões. Por exemplo, uma das coisas que conseguimos mostrar foi exatamente como o aprendizado por reforço, e especificamente o aprendizado por reforço profundo, pode aprender decisões com base em sensores que são muito mais complexos do que os que os humanos podem projetar.

Apenas por definição, você olha para como um humano projetaria uma curva de resposta, apenas algum sentido em que é como, “Bem, provavelmente vai ser linear, quadrático,” mas quando você tem uma rede neural, ela pode aprender todas as não linearidades que a tornam uma decisão muito mais granular, que às vezes é bastante eficaz.

Obrigado pela entrevista incrível, leitores que desejam aprender mais devem visitar os seguintes recursos:

• Upper Bound AI Conference.
• Amii (Alberta Machine Intelligence Institute)