Yaron Singer, CEO da Robust Intelligence & Professor de Ciência da Computação na Universidade de Harvard – Série de Entrevistas

Yaron Singer é o CEO da Robust Intelligence e Professor de Ciência da Computação e Matemática Aplicada em Harvard. Yaron é conhecido por resultados inovadores em aprendizado de máquina, algoritmos e otimização. Anteriormente, Yaron trabalhou na Google Research e obteve seu PhD na UC Berkeley.

O que inicialmente o atraiu para o campo da ciência da computação e aprendizado de máquina?

Minha jornada começou com matemática, que me levou à ciência da computação, que me colocou no caminho do aprendizado de máquina. A matemática inicialmente me atraiu porque seu sistema axiomático me deu a capacidade de criar novos mundos. Com a ciência da computação, aprendi sobre provas existenciais, mas também os algoritmos por trás deles. Do ponto de vista criativo, a ciência da computação é o desenho de limites entre o que podemos e não podemos fazer.

Meu interesse em aprendizado de máquina sempre foi fundamentado em um interesse em dados reais, quase o aspecto físico disso. Pegar coisas do mundo real e modelá-las para criar algo significativo. Podemos literalmente engenhar um mundo melhor por meio de modelagem significativa. Então, a matemática me deu uma base para provar coisas, a ciência da computação me ajuda a ver o que podemos e não podemos fazer, e o aprendizado de máquina me permite modelar esses conceitos no mundo.

Até recentemente, você era Professor de Ciência da Computação e Matemática Aplicada na Universidade de Harvard, quais foram algumas de suas principais conclusões dessa experiência?

Minha maior conclusão como membro da faculdade de Harvard é que isso desenvolve a apetite para fazer coisas grandes. Harvard tradicionalmente tem uma faculdade pequena, e a expectativa para os professores é lidar com grandes problemas e criar novos campos. Você precisa ser ousado. Isso acaba sendo uma ótima preparação para lançar um startup que crie uma categoria e defina um novo espaço. Eu não necessariamente recomendo passar pela trilha de tenure de Harvard primeiro — mas se você sobreviver a isso, construir um startup é mais fácil.

Pode descrever seu momento de “aha” quando percebeu que sistemas de IA sofisticados são vulneráveis a dados ruins, com algumas implicações potencialmente de longo alcance?

Quando eu era um estudante de graduação na UC Berkeley, tirei um tempo para fazer um startup que construía modelos de aprendizado de máquina para marketing em redes sociais. Isso foi em 2010. Nós tínhamos enormes quantidades de dados de mídia social, e codificamos todos os modelos do zero. As implicações financeiras para varejistas eram bastante significativas, então seguimos o desempenho dos modelos de perto. Como usamos dados de mídia social, havia muitos erros na entrada, bem como deriva. Nós vimos que erros muito pequenos resultavam em grandes mudanças na saída do modelo e poderiam resultar em más consequências financeiras para varejistas que usavam o produto.

Quando eu mudei para trabalhar no Google+ (para aqueles de nós que se lembram), eu vi os mesmos efeitos. Mais dramaticamente, em sistemas como AdWords que faziam previsões sobre a probabilidade de as pessoas clicarem em um anúncio para palavras-chave, notamos que pequenos erros na entrada do modelo levavam a previsões muito ruins. Quando você testemunha esse problema em escala Google, você percebe que o problema é universal.

Essas experiências moldaram fortemente meu foco de pesquisa, e eu passei meu tempo em Harvard investigando por que os modelos de IA cometem erros e, importante, como projetar algoritmos que possam prevenir que os modelos cometam erros. Isso, é claro, levou a mais momentos de “aha” e, eventualmente, à criação da Robust Intelligence.

Pode compartilhar a história de gênese por trás da Robust Intelligence?

A Robust Intelligence começou com uma pesquisa sobre o que inicialmente era um problema teórico: quais garantias podemos ter para decisões feitas usando modelos de IA. Kojin era um estudante em Harvard, e trabalhamos juntos, inicialmente escrevendo artigos de pesquisa. Então, começa com a escrita de artigos que delineiam o que é fundamentalmente possível e impossível, teoricamente. Esses resultados mais tarde continuaram a um programa para projetar algoritmos e modelos que sejam robustos a falhas de IA. Nós então construímos sistemas que podem executar esses algoritmos na prática. Depois disso, começar uma empresa onde as organizações pudessem usar um sistema como esse foi um próximo passo natural.

Muitos dos problemas que a Robust Intelligence aborda são erros silenciosos, o que são e o que os torna tão perigosos?

Antes de dar uma definição técnica de erros silenciosos, vale a pena dar um passo atrás e entender por que devemos nos importar com a IA cometendo erros em primeiro lugar. O motivo pelo qual nos importamos com os modelos de IA cometendo erros é as consequências desses erros. Nosso mundo está usando a IA para automatizar decisões críticas: quem recebe um empréstimo comercial e a que taxa de juros, quem recebe cobertura de seguro de saúde e a que taxa, quais bairros a polícia deve patrulhar, quem é o candidato mais provável para um emprego, como devemos organizar a segurança do aeroporto, e assim por diante. O fato de os modelos de IA serem extremamente propensos a erros significa que, ao automatizar essas decisões críticas, herdamos um grande risco. Na Robust Intelligence, chamamos isso de “Risco de IA” e nossa missão na empresa é eliminar o Risco de IA.

Erros silenciosos são erros dos modelos de IA onde o modelo de IA recebe entrada e produz uma previsão ou decisão que está errada ou tendenciosa como saída. Então, na superfície, tudo parece OK para o sistema, no sentido de que o modelo de IA está fazendo o que se supõe que faça do ponto de vista funcional. Mas a previsão ou decisão é errônea. Esses erros são silenciosos porque o sistema não sabe que há um erro. Isso pode ser muito pior do que o caso em que um modelo de IA não está produzindo saída, porque pode levar muito tempo para as organizações perceberem que seu sistema de IA está com defeito. Então, o risco de IA se torna falhas de IA, que podem ter consequências desastrosas.

A Robust Intelligence basicamente projetou um Firewall de IA, uma ideia que anteriormente era considerada impossível. Por que é um desafio técnico tão grande?

Uma razão pela qual o Firewall de IA é um desafio tão grande é porque vai contra o paradigma que a comunidade de ML tinha. O paradigma anterior da comunidade de ML era que, para erradicar erros, era necessário alimentar mais dados, incluindo dados ruins, aos modelos. Ao fazer isso, os modelos se treinariam e aprenderiam a se autocorrigir. O problema com essa abordagem é que ela faz com que a precisão do modelo caia dramaticamente. Os resultados mais conhecidos para imagens, por exemplo, fazem com que a precisão do modelo de IA caia de 98,5% para cerca de 37%.

O Firewall de IA oferece uma solução diferente. Nós desacoplamos o problema de identificar um erro do papel de criar uma previsão, significando que o firewall pode se concentrar em uma tarefa específica: determinar se um ponto de dados produzirá uma previsão errônea.

Isso foi um desafio em si devido à dificuldade de dar uma previsão sobre um único ponto de dados. Há muitas razões pelas quais os modelos cometem erros, então construir uma tecnologia que possa prever esses erros não foi uma tarefa fácil. Nós somos muito afortunados por ter os engenheiros que temos.

Como o sistema pode ajudar a prevenir o viés de IA?

O viés do modelo vem de uma discrepância entre os dados nos quais o modelo foi treinado e os dados que ele está usando para fazer previsões. Voltando ao risco de IA, o viés é um grande problema atribuído a erros silenciosos. Por exemplo, isso é frequentemente um problema com populações sub-representadas. Um modelo pode ter viés porque ele viu menos dados dessa população, o que afetará dramaticamente o desempenho desse modelo e a precisão de suas previsões. O Firewall de IA pode alertar as organizações para essas discrepâncias de dados e ajudar o modelo a tomar decisões corretas.

Quais são alguns dos outros riscos para as organizações que o firewall de IA ajuda a prevenir?

Qualquer empresa que use a IA para automatizar decisões, especialmente decisões críticas, automaticamente introduz risco. Dados ruins poderiam ser algo tão simples quanto digitar um zero em vez de um e ainda resultar em consequências significativas. Seja o risco de previsões médicas incorretas ou previsões falsas sobre empréstimos, o Firewall de IA ajuda as organizações a prevenir riscos completamente.

Há algo mais que você gostaria de compartilhar sobre a Robust Intelligence?

A Robust Intelligence está crescendo rapidamente e estamos recebendo muitos candidatos excelentes para vagas. Mas algo que eu realmente quero enfatizar para as pessoas que estão considerando se candidatar é que a qualidade mais importante que buscamos nos candidatos é sua paixão pela missão. Nós nos encontramos com muitos candidatos que são fortes tecnicamente, então realmente se resume a entender se eles estão verdadeiramente apaixonados por eliminar o risco de IA para tornar o mundo um lugar mais seguro e melhor.

No mundo para o qual estamos indo, muitas decisões que atualmente são tomadas por humanos serão automatizadas. Seja como for, esse é um fato. Dado isso, todos nós na Robust Intelligence queremos que as decisões automatizadas sejam feitas de forma responsável. Então, qualquer pessoa que esteja animada em fazer um impacto, que entenda a forma como isso pode afetar a vida das pessoas, é um candidato que estamos procurando para se juntar à Robust Intelligence. Estamos procurando por essa paixão. Estamos procurando pelas pessoas que criarão essa tecnologia que o mundo todo usará.

Obrigado pela grande entrevista, eu gostei de aprender sobre suas visões sobre a prevenção de viés de IA e sobre a necessidade de um firewall de IA, leitores que desejam aprender mais devem visitar Robust Intelligence.