Alyssa Simpson Rochwerger, Co-Autora de Real World AI – Série de Entrevistas

Alyssa Rochwerger é uma líder de produto orientada ao cliente, dedicada a criar produtos que resolvam problemas difíceis para pessoas reais. Ela ocupou vários cargos de liderança de produto em organizações de aprendizado de máquina. Ela atuou como VP de produto da Figure Eight (adquirida pela Appen), VP de IA e dados da Appen e diretora de produto da IBM Watson. Recentemente, ela deixou o setor para perseguir seu sonho de usar a tecnologia para melhorar a saúde. Atualmente, ela atua como diretora de produto da Blue Shield of California, onde está rodeada por muitos dados, problemas difíceis e oportunidades para fazer um impacto positivo.

Discutimos seu novo livro: O Mundo Real da IA: Um Guia Prático para Aprendizado de Máquina Responsável

Na introdução do livro, você descreve como, como gerente de produto da IBM, você encontrou um problema com um sistema de IA que entregava informações tendenciosas quando uma foto de uma pessoa em uma cadeira de rodas foi classificada pelo algoritmo como “perdedor”. Quão grande foi o despertar para você sobre o viés da IA?

Não chamaria de despertar, mas sim de minha primeira experiência em construir um produto baseado em aprendizado de máquina (eu estava apenas alguns meses no cargo) e não sabia o suficiente sobre como essa tecnologia funcionava para colocar guardas e mitigar o viés indesejado. Foi uma experiência que me abriu os olhos para essa questão – e me tornou mais consciente de como é fácil para o viés sistêmico da sociedade ser codificado em produtos baseados em aprendizado de máquina se a equipe não estiver ativamente mitigando. Estava feliz em estar trabalhando em uma instituição que se importa profundamente com a equidade e colocou recursos para mitigar.

O que você aprendeu pessoalmente ao pesquisar e escrever este livro?

Em uma nota pessoal – tive que criar tempo para escrever este livro enquanto mudava de emprego, tinha um filho de 1 ano e navegava pela COVID. Apreendi a criar tempo para tornar isso uma prioridade e a pedir ajuda à minha família, o que me deu o tempo para dar atenção à escrita do livro.

Profissionalmente – foi maravilhoso ter tantos participantes que compartilharam suas histórias conosco para publicação. Profissionais de aprendizado de máquina, em minha experiência, são um grupo de pessoas incrivelmente pensativas e generosas – dispostas a ajudar os outros e compartilhar erros e lições aprendidas. Infelizmente, muitas dessas histórias de lições aprendidas não foram incluídas neste livro ou tiveram que ser anonimizadas significativamente, devido à preocupação de tornar pública informações de bastidores que poderiam fazer com que uma empresa ou indivíduo parecesse mau se interpretado de forma errada. Embora isso seja certamente comum, pessoalmente sinto que é uma pena – sou uma grande defensora de aprender e crescer com experiências e erros passados, se eles podem ser úteis para os outros.

Quais são algumas das lições mais importantes que você espera que as pessoas levem ao ler este livro?

Espero que as pessoas aprendam que o aprendizado de máquina não é assustador ou difícil de entender. Que é uma tecnologia poderosa, mas às vezes frágil, que precisa de orientação e estrutura para ser bem-sucedida em resolver problemas difíceis. E que o uso responsável e ético dessa tecnologia é fundamental para a maturidade e o sucesso – e que se concentrar em mitigar o viés prejudicial desde cedo é fundamental para o sucesso dos negócios.

Um exemplo de viés de gênero da IA que foi descrito no livro foi o cartão de crédito da Apple (AAPL ) que emitia linhas de crédito mais baixas para mulheres do que para homens. Isso foi um exemplo de como omitir o gênero como opção não levou em conta outras variáveis que podem servir como proxy para o gênero. O exemplo mostrou que, sem a entrada de “gênero”, era impossível descobrir que o resultado era tendencioso até após o lançamento do produto final. Quais são alguns tipos de entradas de dados que você acredita que nunca devem ser omitidos para evitar o viés contra o gênero ou as minorias?

Não há regra rígida – cada conjunto de dados, caso de uso e situação é diferente. Encorajo os praticantes a se aprofundarem nos detalhes e nuances do problema que o algoritmo de aprendizado de máquina está sendo aplicado para resolver – e quais viés prejudiciais podem ser codificados nessa decisão.

O livro descreve como uma responsabilidade primária ao se comunicar com a equipe de IA é definir com precisão os resultados que são importantes para os negócios. Em sua opinião, com que frequência as empresas falham nessa tarefa?

Dizia que, em minha experiência, a maioria das vezes, os resultados não são definidos ou são definidos apenas de forma ampla ou geral. Entrar nos detalhes sobre os resultados específicos é uma maneira fácil de preparar a equipe para o sucesso desde o início.

O livro fala sobre a importância de perceber que um sistema de IA não é um sistema do tipo “Configure e esqueça”. Pode discutir brevemente sobre isso?

Este é o erro clássico que a maioria das empresas comete ao lançar um novo sistema de ML para produção. A realidade muda – o tempo passa, o que era verdadeiro ontem (os dados de treinamento) pode não ser verdadeiro amanhã. Dependendo das circunstâncias, é importante ser capaz de aprender e ajustar e tomar decisões melhores com o tempo com base em informações mais recentes.

Produtos baseados em aprendizado de máquina são essencialmente tomadores de decisões. Para equiparar isso a um exemplo humano – é como um árbitro em um jogo de futebol de alto nível. Muitas vezes, se for um árbitro bem treinado e experiente, o árbitro toma uma boa decisão e o jogo continua – mas às vezes, o árbitro toma uma decisão ruim – ou não tem certeza de qual decisão tomar – e precisa voltar e revisar o vídeo – perguntar a alguns outros para tomar uma decisão sobre uma jogada específica. Da mesma forma, produtos de ML precisam de feedback, treinamento e, às vezes, não têm certeza. Eles precisam ter opções de backup para recorrer, bem como novas informações para aprender e melhorar com o tempo. Um bom árbitro aprenderá com o tempo e melhorará em suas decisões.

Pode falar sobre a importância de criar uma equipe multifuncional que possa identificar quais problemas são mais adequados para serem abordados com o uso da IA?

A tecnologia de aprendizado de máquina é geralmente adequada para problemas muito difíceis e específicos que não são resolvidos com outras abordagens. Qualquer problema difícil – é necessário uma equipe para ser bem-sucedido. Quando as empresas estão novas em IA – há frequentemente uma narrativa falsa de que um único cientista de aprendizado de máquina, ou mesmo uma equipe de aprendizado de máquina, pode resolver o problema sozinho. Nunca encontrei isso como verdade. É necessário uma equipe com diferentes backgrounds e abordagens para resolver um problema difícil – e certamente para implantar tecnologia de aprendizado de máquina com sucesso para produção.

Obrigada pela grande entrevista, para os leitores (e especialmente os executivos de negócios) que estão interessados em aprender mais, recomendo que leiam o livro O Mundo Real da IA: Um Guia Prático para Aprendizado de Máquina Responsável.