Yaron Singer, CEO da Robust Intelligence e Professor de Ciência da Computação na Universidade de Harvard – Série de Entrevistas

Yaron Singer é o CEO da Robust Intelligence e Professor de Ciência da Computação e Matemática Aplicada em Harvard. Yaron é conhecido por resultados inovadores em aprendizado de máquina, algoritmos e otimização. Anteriormente, Yaron trabalhou na Google (GOOGL ) Research e obteve seu PhD em UC Berkeley.

O que inicialmente o atraiu para o campo da ciência da computação e do aprendizado de máquina?

Minha jornada começou com matemática, que me levou à ciência da computação, que me colocou no caminho do aprendizado de máquina. A matemática inicialmente me atraiu porque seu sistema axiomático me deu a capacidade de criar novos mundos. Com a ciência da computação, aprendi sobre provas existenciais, mas também os algoritmos por trás deles. Do ponto de vista criativo, a ciência da computação é o desenho de limites entre o que podemos e não podemos fazer.

Meu interesse pelo aprendizado de máquina sempre foi fundamentado em um interesse por dados reais, quase o aspecto físico disso. Pegar coisas do mundo real e modelá-las para criar algo significativo. Podemos literalmente engenharia um mundo melhor por meio de modelagem significativa. Então, a matemática me deu uma base para provar coisas, a ciência da computação me ajuda a ver o que podemos e não podemos fazer, e o aprendizado de máquina me permite modelar esses conceitos no mundo.

Até recentemente, você era Professor de Ciência da Computação e Matemática Aplicada na Universidade de Harvard, quais foram algumas de suas principais conclusões dessa experiência?

Minha maior conclusão como membro da faculdade de Harvard é que isso desenvolve uma apetite para fazer coisas grandes. Harvard tradicionalmente tem uma faculdade pequena, e a expectativa para os professores é abordar grandes problemas e criar novos campos. Você precisa ser ousado. Isso acaba sendo uma grande preparação para lançar um startup que crie uma categoria e defina um novo espaço. Eu não necessariamente recomendo passar pelo processo de tenure track de Harvard primeiro, mas se você sobreviver a isso, construir um startup é mais fácil.

Poderia descrever seu momento de “aha” quando percebeu que sistemas de IA sofisticados são vulneráveis a dados ruins, com algumas implicações potencialmente de longo alcance?

Quando eu era um estudante de graduação em UC Berkeley, tirei um tempo para fazer um startup que construía modelos de aprendizado de máquina para marketing em redes sociais. Isso foi em 2010. Nós tínhamos grandes quantidades de dados de mídia social e codificamos todos os modelos do zero. As implicações financeiras para os varejistas eram bastante significativas, então seguimos de perto o desempenho dos modelos. Como usamos dados de mídia social, havia muitos erros na entrada, bem como drift. Vimos que pequenos erros resultavam em grandes mudanças na saída do modelo e poderiam resultar em más consequências financeiras para os varejistas que usavam o produto.

Quando eu me mudei para trabalhar no Google+ (para aqueles de nós que se lembram), vi os mesmos efeitos. Mais dramaticamente, em sistemas como AdWords que faziam previsões sobre a probabilidade de as pessoas clicarem em um anúncio para palavras-chave, notamos que pequenos erros na entrada do modelo levavam a previsões muito ruins. Quando você testemunha esse problema em escala Google, você percebe que o problema é universal.

Essas experiências moldaram fortemente meu foco de pesquisa, e passei meu tempo em Harvard investigando por que os modelos de IA cometem erros e, importante, como projetar algoritmos que possam prevenir que os modelos cometam erros. Isso, é claro, levou a mais momentos de “aha” e, eventualmente, à criação da Robust Intelligence.

Poderia compartilhar a história de criação por trás da Robust Intelligence?

A Robust Intelligence começou com uma pesquisa sobre o que inicialmente era um problema teórico: quais garantias podemos ter para decisões feitas usando modelos de IA. Kojin era um estudante em Harvard, e trabalhamos juntos, inicialmente escrevendo artigos de pesquisa. Então, começa com a escrita de artigos que esboçam o que é fundamentalmente possível e impossível, teoricamente. Esses resultados continuaram com um programa para projetar algoritmos e modelos que são robustos a falhas de IA. Depois, construímos sistemas que podem executar esses algoritmos na prática. Após isso, começar uma empresa onde as organizações pudessem usar um sistema como esse foi um passo natural.

Muitos dos problemas que a Robust Intelligence aborda são erros silenciosos, o que são esses e o que os torna tão perigosos?

Antes de dar uma definição técnica de erros silenciosos, vale a pena dar um passo atrás e entender por que devemos nos importar com os modelos de IA cometendo erros. A razão pela qual nos importamos com os modelos de IA cometendo erros é as consequências desses erros. Nosso mundo está usando IA para automatizar decisões críticas: quem recebe um empréstimo e a que taxa de juros, quem recebe cobertura de seguro de saúde e a que taxa, quais bairros a polícia deve patrulhar, quem é o candidato mais provável para um emprego, como devemos organizar a segurança do aeroporto, e assim por diante. O fato de os modelos de IA serem extremamente propensos a erros significa que, ao automatizar essas decisões críticas, herdamos um grande risco. Na Robust Intelligence, chamamos isso de “Risco de IA” e nossa missão na empresa é eliminar o Risco de IA.

Erros silenciosos são erros dos modelos de IA onde o modelo de IA recebe entrada e produz uma previsão ou decisão que está errada ou enviesada como saída. Então, na superfície, tudo parece OK para o sistema, no sentido de que o modelo de IA está fazendo o que deve fazer do ponto de vista funcional. Mas a previsão ou decisão é errônea. Esses erros são silenciosos porque o sistema não sabe que há um erro. Isso pode ser muito pior do que o caso em que um modelo de IA não está produzindo saída, porque pode levar muito tempo para as organizações perceberem que seu sistema de IA está com defeito. Então, o risco de IA se torna falhas de IA, que podem ter consequências desastrosas.

A Robust Intelligence basicamente projetou um Firewall de IA, uma ideia que antes era considerada impossível. Por que isso é um desafio técnico tão grande?

Uma razão pela qual o Firewall de IA é um desafio é porque vai contra o paradigma que a comunidade de ML tinha. O paradigma anterior da comunidade de ML era que, para erradicar erros, era necessário alimentar mais dados, incluindo dados ruins, aos modelos. Ao fazer isso, os modelos se treinariam e aprenderiam a se autocorrigir. O problema com essa abordagem é que causa a precisão do modelo cair dramaticamente. Os melhores resultados conhecidos para imagens, por exemplo, causam a precisão do modelo de IA cair de 98,5% para cerca de 37%.

O Firewall de IA oferece uma solução diferente. Nós desacoplamos o problema de identificar um erro do papel de criar uma previsão, significando que o firewall pode se concentrar em uma tarefa específica: determinar se um ponto de dados produzirá uma previsão errônea.

Isso foi um desafio em si devido à dificuldade de dar uma previsão sobre um único ponto de dados. Há muitas razões pelas quais os modelos cometem erros, então construir uma tecnologia que possa prever esses erros não foi uma tarefa fácil. Nós somos muito afortunados por ter os engenheiros que temos.

Como o sistema pode ajudar a prevenir o viés de IA?

O viés do modelo vem de uma discrepância entre os dados nos quais o modelo foi treinado e os dados que ele está usando para fazer previsões. Voltando ao risco de IA, o viés é um grande problema atribuído a erros silenciosos. Por exemplo, isso é frequentemente um problema com populações sub-representadas. Um modelo pode ter viés porque viu menos dados dessa população, o que afetará dramaticamente o desempenho desse modelo e a precisão de suas previsões. O Firewall de IA pode alertar as organizações sobre essas discrepâncias de dados e ajudar o modelo a tomar decisões corretas.

Quais são alguns dos outros riscos para as organizações que um firewall de IA ajuda a prevenir?

Qualquer empresa que use IA para automatizar decisões, especialmente decisões críticas, automaticamente introduz risco. Dados ruins poderiam ser algo tão menor quanto digitar um zero em vez de um e ainda assim resultar em consequências significativas. Seja o risco de previsões médicas incorretas ou previsões falsas sobre empréstimos, o Firewall de IA ajuda as organizações a prevenir o risco como um todo.

Há algo mais que você gostaria de compartilhar sobre a Robust Intelligence?

A Robust Intelligence está crescendo rapidamente e estamos recebendo muitos candidatos excelentes para posições. Mas algo que eu realmente quero enfatizar para as pessoas que estão considerando se candidatar é que a qualidade mais importante que buscamos nos candidatos é sua paixão pela missão. Nós nos encontramos com muitos candidatos que são fortes tecnicamente, então realmente se resume a entender se eles estão verdadeiramente apaixonados por eliminar o risco de IA para tornar o mundo um lugar mais seguro e melhor.

No mundo para o qual estamos indo, muitas decisões que atualmente são feitas por humanos serão automatizadas. Se gostamos disso ou não, esse é um fato. Dado isso, todos nós na Robust Intelligence queremos que as decisões automatizadas sejam feitas de forma responsável. Então, qualquer pessoa que esteja animada para fazer um impacto, que entenda como isso pode afetar a vida das pessoas, é um candidato que estamos procurando para se juntar à Robust Intelligence. Estamos procurando por essa paixão. Estamos procurando por pessoas que criarão essa tecnologia que o mundo todo usará.

Obrigado pela grande entrevista, eu gostei de aprender sobre suas visões sobre a prevenção do viés de IA e sobre a necessidade de um firewall de IA, leitores que desejam aprender mais devem visitar Robust Intelligence.