toco Yaron Singer, CEO da Robust Intelligence e professor de ciência da computação na Universidade de Harvard - série de entrevistas - Unite.AI
Entre em contato

Entrevistas

Yaron Singer, CEO da Robust Intelligence e professor de Ciência da Computação na Universidade de Harvard – série de entrevistas

mm

Publicado

 on

Yaron Singer é o CEO da Inteligência robusta e professor de Ciência da Computação e Matemática Aplicada em Harvard. Yaron é conhecido por resultados inovadores em aprendizado de máquina, algoritmos e otimização. Anteriormente, Yaron trabalhou no Google Research e obteve seu doutorado na UC Berkeley.

O que inicialmente atraiu você para o campo da ciência da computação e aprendizado de máquina?

Minha jornada começou com a matemática, que me levou à ciência da computação, que me colocou no caminho do aprendizado de máquina. Inicialmente, a matemática atraiu meu interesse porque seu sistema axiomático me deu a capacidade de criar novos mundos. Com a ciência da computação, aprendi sobre provas existenciais, mas também os algoritmos por trás delas. De uma perspectiva criativa, a ciência da computação é o desenho de limites entre o que podemos e o que não podemos fazer.

Meu interesse em aprendizado de máquina sempre esteve enraizado em dados reais, quase no aspecto físico deles. Pegar coisas do mundo real e modelá-las para fazer algo significativo. Poderíamos literalmente projetar um mundo melhor por meio de modelagem significativa. Então a matemática me deu uma base para provar coisas, a ciência da computação me ajuda a ver o que pode e o que não pode ser feito, e o aprendizado de máquina me permite modelar esses conceitos no mundo.

Até recentemente, você era professor de Ciência da Computação e Matemática Aplicada na Universidade de Harvard. Quais foram algumas das principais conclusões dessa experiência?

Minha maior lição de ser um membro do corpo docente em Harvard é que isso desenvolve o apetite de fazer grandes coisas. Harvard tradicionalmente tem um corpo docente pequeno, e a expectativa do corpo docente permanente é enfrentar grandes problemas e criar novos campos. Você tem que ser audacioso. Isso acaba sendo uma ótima preparação para o lançamento de uma startup criadora de categoria definindo um novo espaço. Eu não recomendo necessariamente passar pela trilha de posse de Harvard primeiro - mas se você sobreviver a isso, construir uma startup é mais fácil.

Você poderia descrever seu momento 'aha' quando percebeu que sistemas sofisticados de IA são vulneráveis ​​a dados ruins, com algumas implicações potencialmente de longo alcance?

Quando eu era estudante de pós-graduação na UC Berkeley, tirei um tempo para fazer uma startup que construía modelos de aprendizado de máquina para marketing em redes sociais. Isso foi em 2010. Tínhamos grandes quantidades de dados das mídias sociais e codificamos todos os modelos do zero. As implicações financeiras para os varejistas foram bastante significativas, por isso acompanhamos de perto o desempenho dos modelos. Como usamos dados das mídias sociais, houve muitos erros na entrada, além de desvios. Vimos que erros muito pequenos resultaram em grandes mudanças na saída do modelo e podem resultar em resultados financeiros ruins para os varejistas que usam o produto.

Quando fiz a transição para trabalhar no Google+ (para aqueles de nós que se lembram), vi exatamente os mesmos efeitos. Mais dramaticamente, em sistemas como o AdWords, que fazem previsões sobre a probabilidade de as pessoas clicarem em um anúncio para palavras-chave, notamos que pequenos erros na entrada do modelo levam a previsões muito ruins. Quando você testemunha esse problema na escala do Google, percebe que o problema é universal.

Essas experiências moldaram fortemente meu foco de pesquisa e passei meu tempo em Harvard investigando por que os modelos de IA cometem erros e, mais importante, como projetar algoritmos que possam impedir que os modelos cometam erros. Isso, é claro, levou a mais momentos 'aha' e, eventualmente, à criação de Robust Intelligence.

Você poderia compartilhar a história da gênese por trás da Robust Intelligence?

A Robust Intelligence começou com a pesquisa sobre o que inicialmente era um problema teórico: quais são as garantias que podemos ter para decisões tomadas usando modelos de IA. Kojin era aluno de Harvard e trabalhamos juntos, inicialmente escrevendo trabalhos de pesquisa. Então, começa com a redação de artigos que delineiam o que é fundamentalmente possível e impossível, teoricamente. Esses resultados posteriormente continuaram em um programa para projetar algoritmos e modelos robustos a falhas de IA. Em seguida, construímos sistemas que podem executar esses algoritmos na prática. Depois disso, abrir uma empresa em que as organizações pudessem usar um sistema como esse foi o próximo passo natural.

Muitos dos problemas que o Robust Intelligence aborda são erros silenciosos, quais são eles e o que os torna tão perigosos?

Antes de dar uma definição técnica de erros silenciosos, vale a pena dar um passo para trás e entender por que devemos nos preocupar com a IA cometendo erros em primeiro lugar. A razão pela qual nos preocupamos com os erros dos modelos de IA são as consequências desses erros. Nosso mundo está usando a IA para automatizar decisões críticas: quem consegue um empréstimo comercial e a que taxa de juros, quem obtém cobertura de seguro saúde e a que taxa, quais bairros devem patrulhar, quem tem maior probabilidade de ser o principal candidato a um emprego, como devemos organizar a segurança do aeroporto, e assim por diante. O fato de os modelos de IA serem extremamente propensos a erros significa que, ao automatizar essas decisões críticas, herdamos uma grande quantidade de riscos. Na Robust Intelligence chamamos isso de “AI Risk” e nossa missão na empresa é eliminar o AI Risk.

Erros silenciosos são erros de modelos de IA em que o modelo de IA recebe entrada e produz uma previsão ou decisão que está errada ou tendenciosa como saída. Portanto, superficialmente, tudo no sistema parece OK, pois o modelo de IA está fazendo o que deveria fazer de uma perspectiva funcional. Mas a previsão ou decisão é errônea. Esses erros são silenciosos porque o sistema não sabe que há um erro. Isso pode ser muito pior do que o caso em que um modelo de IA não está produzindo uma saída, porque pode levar muito tempo para as organizações perceberem que seu sistema de IA está com defeito. Então, o risco de IA se torna falhas de IA que podem ter consequências terríveis.

A Robust Intelligence projetou essencialmente um AI Firewall, uma ideia que antes era considerada impossível. Por que isso é um desafio tão técnico?

Um dos motivos pelos quais o AI Firewall é um desafio tão grande é porque ele vai contra o paradigma que a comunidade de ML tinha. O paradigma anterior da comunidade de ML era que, para erradicar os erros, era necessário fornecer mais dados, incluindo dados incorretos aos modelos. Ao fazer isso, os modelos vão se treinar e aprender a autocorrigir os erros. O problema com essa abordagem é que ela faz com que a precisão do modelo caia drasticamente. Os resultados mais conhecidos para imagens, por exemplo, fazem com que a precisão do modelo AI caia de 98.5% para cerca de 37%.

O AI Firewall oferece uma solução diferente. Separamos o problema de identificar um erro da função de criar uma previsão, o que significa que o firewall pode se concentrar em uma tarefa específica: determinar se um ponto de dados produzirá uma previsão errônea.

Isso foi um desafio em si devido à dificuldade de fornecer uma previsão em um único ponto de dados. Existem muitos motivos pelos quais os modelos cometem erros, portanto, construir uma tecnologia que possa prever esses erros não foi uma tarefa fácil. Temos muita sorte de ter os engenheiros que temos.

Como o sistema pode ajudar a evitar o viés da IA?

O viés do modelo vem de uma discrepância entre os dados nos quais o modelo foi treinado e os dados que ele está usando para fazer previsões. Voltando ao risco de IA, o viés é um grande problema atribuído a erros silenciosos. Por exemplo, isso costuma ser um problema com populações sub-representadas. Um modelo pode ter viés porque viu menos dados dessa população, o que afetará drasticamente o desempenho desse modelo e a precisão de suas previsões. O AI Firewall pode alertar as organizações sobre essas discrepâncias de dados e ajudar o modelo a tomar decisões corretas.

Quais são alguns dos outros riscos para as organizações que um firewall de IA ajuda a prevenir?

Qualquer empresa que usa IA para automatizar decisões, especialmente decisões críticas, introduz riscos automaticamente. Dados inválidos podem ser tão insignificantes quanto inserir um zero em vez de um e ainda resultar em consequências significativas. Quer o risco seja previsões médicas incorretas ou previsões falsas sobre empréstimos, o AI Firewall ajuda as organizações a evitar riscos por completo.

Há mais alguma coisa que você gostaria de compartilhar sobre Robust Intelligence?

A Robust Intelligence está crescendo rapidamente e estamos recebendo muitos candidatos excelentes se candidatando a cargos. Mas algo que realmente quero enfatizar para as pessoas que estão pensando em se candidatar é que a qualidade mais importante que buscamos nos candidatos é a paixão pela missão. Conhecemos muitos candidatos que são fortes tecnicamente, então tudo se resume a entender se eles são realmente apaixonados por eliminar o risco de IA para tornar o mundo um lugar melhor e mais seguro.

No mundo para o qual estamos caminhando, muitas decisões que atualmente estão sendo tomadas por humanos serão automatizadas. Quer gostemos ou não, isso é fato. Diante disso, todos nós da Robust Intelligence queremos que as decisões automatizadas sejam feitas com responsabilidade. Portanto, qualquer um que esteja entusiasmado em causar impacto, que entenda como isso pode afetar a vida das pessoas, é um candidato que procuramos para ingressar na Robust Intelligence. Estamos em busca dessa paixão. Estamos procurando as pessoas que criarão essa tecnologia que o mundo inteiro usará.

Obrigado pela ótima entrevista, gostei de aprender sobre seus pontos de vista sobre a prevenção do viés de IA e sobre a necessidade de um firewall de IA. Os leitores que desejam saber mais devem visitar Inteligência robusta.

Sócio fundador da unite.AI e membro do Conselho de Tecnologia da Forbes, Antoine é um futurista que é apaixonado pelo futuro da IA ​​e da robótica.

Ele também é o fundador da Valores Mobiliários.io, um site que foca em investir em tecnologia disruptiva.