Prof. Julia Stoyanovich, Diretora do Center for Responsible AI – Série de Entrevistas

Julia Stoyanovich, é professora da NYU’s Tandon School of Engineering e diretora fundadora do Center for Responsible AI. Ela recentemente prestou depoimento ao Comitê de Tecnologia do Conselho da Cidade de Nova York sobre um projeto de lei que regulamentaria o uso de IA para contratação e decisões de emprego.

Você é a diretora fundadora do Center for Responsible AI na NYU. Pode compartilhar conosco algumas das iniciativas empreendidas por essa organização?

Eu co-direciono o Center for Responsible AI (R/AI) na NYU com Steven Kuyan. Steven e eu temos interesses e especializações complementares. Eu sou uma acadêmica, com formação em ciência da computação e com um forte interesse em trabalhos inspirados no uso, na interseção da engenharia de dados, da ciência de dados responsável e da política. Steven é o diretor executivo do NYU Tandon Future Labs, uma rede de incubadoras e aceleradoras de startups que já teve um impacto econômico tremendo em Nova York. Nossa visão para R/AI é ajudar a tornar “IA responsável” sinônimo de “IA”, por meio de uma combinação de pesquisa aplicada, educação pública e engajamento, e ajudando empresas grandes e pequenas – especialmente pequenas – a desenvolver IA responsável.

Nos últimos meses, R/AI se engajou ativamente em conversas sobre ADS (Sistemas de Decisão Automatizados) de fiscalização. Nossa abordagem é baseada em uma combinação de atividades educacionais e engajamento político.

A Cidade de Nova York está considerando um projeto de lei proposto, Int 1894, que regulamentaria o uso de ADS na contratação por meio de uma combinação de auditoria e divulgação pública. R/AI apresentou comentários públicos sobre o projeto de lei, com base em nossa pesquisa e em insights que coletamos de candidatos a emprego por meio de várias atividades de engajamento público.

Também colaboramos com The GovLab na NYU e com o Institute for Ethics in AI at the Technical University of Munich em um curso online gratuito chamado “AI Ethics: Global Perspectives” que foi lançado no início deste mês.

Outro projeto recente de R/AI que tem recebido bastante atenção é nossa série de quadrinhos “Data, Responsibly”. O primeiro volume da série se chama “Mirror, Mirror”, está disponível em inglês, espanhol e francês, e é acessível com um leitor de tela em todos os três idiomas. O quadrinho recebeu o prêmio Innovation of the Month da Metro Lab Network e GovTech, e foi coberto pelo Toronto Star, entre outros.

Quais são alguns dos problemas atuais ou potenciais com o viés de IA para contratação e decisões de emprego?

Essa é uma pergunta complexa que exige que primeiro sejamos claros sobre o que queremos dizer com “viés”. A coisa mais importante a notar é que os sistemas de contratação automatizados são “análise preditiva” — eles predizem o futuro com base no passado. O passado é representado por dados históricos sobre indivíduos que foram contratados pela empresa, e sobre como esses indivíduos se saíram. O sistema é então “treinado” nesses dados, o que significa que ele identifica padrões estatísticos e os usa para fazer previsões. Esses padrões estatísticos são a “mágica” da IA, é o que os modelos preditivos são baseados. Claramente, mas importante, os dados históricos dos quais esses padrões foram extraídos são silenciosos sobre indivíduos que não foram contratados porque simplesmente não sabemos como eles se sairiam no emprego que não obtiveram. E é aqui que o viés entra em jogo. Se sistemáticamente contratamos mais indivíduos de certos grupos demográficos e socioeconômicos, então a participação nesses grupos e as características que vêm com essa participação se tornarão parte do modelo preditivo. Por exemplo, se apenas vemos graduados de universidades de ponta sendo contratados para funções executivas, então o sistema não pode aprender que pessoas que foram para uma escola diferente também podem se sair bem. É fácil ver um problema semelhante para gênero, raça e deficiência.

O viés na IA é muito mais amplo do que apenas o viés nos dados. Ele surge quando tentamos usar tecnologia onde uma solução técnica é simplesmente inadequada, ou quando definimos os objetivos errados para a IA – frequentemente porque não temos uma diversidade de vozes na mesa de design, ou quando abandonamos nossa agência em interações humanas – IA após a IA ser implantada. Cada uma dessas razões para o viés merece sua própria discussão que provavelmente levará mais tempo do que o espaço neste artigo permite. E então, para ficar focado, devo retornar ao viés nos dados.

Quando explico o viés nos dados, gosto de usar a metáfora do reflexo do espelho. Os dados são uma imagem do mundo, seu reflexo no espelho. Quando pensamos sobre o viés nos dados, interrogamos esse reflexo. Uma interpretação de “viés nos dados” é que o reflexo é distorcido – nosso espelho sub-representa ou super-representa algumas partes do mundo, ou de outra forma distorce as leituras. Outra interpretação de “viés nos dados” é que, mesmo que o reflexo fosse 100% fiel, ele ainda seria um reflexo do mundo como ele é hoje, e não de como ele poderia ou deveria ser. Importante, não é função dos dados ou de um algoritmo dizer se é um reflexo perfeito de um mundo quebrado, ou um reflexo quebrado de um mundo perfeito, ou se essas distorções se somam. É função das pessoas – indivíduos, grupos, sociedade como um todo – chegar a um consenso sobre se estamos OK com o mundo como ele é, ou, se não, como devemos melhorá-lo.

Voltando à análise preditiva: Quanto mais fortes forem as disparidades nos dados, como reflexo do passado, mais provável é que elas sejam capturadas pelos modelos preditivos, e replicadas – e até exacerbadas – no futuro.

Se nosso objetivo é melhorar nossas práticas de contratação com um olhar para a equidade e a diversidade, então simplesmente não podemos outsourcing esse trabalho para máquinas. Temos que fazer o trabalho difícil de identificar as verdadeiras causas do viés na contratação e no emprego de frente, e negociar uma solução sociojurídica e técnica com a participação de todas as partes interessadas. A tecnologia certamente tem um papel a desempenhar em nos ajudar a melhorar o status quo: ela pode nos ajudar a sermos honestos sobre nossos objetivos e resultados. Mas fingir que a desviagem dos dados ou a análise preditiva resolverá os problemas profundamente enraizados da discriminação na contratação é ingênuo, no mínimo.

Você recentemente prestou depoimento ao Comitê de Tecnologia do Conselho da Cidade de Nova York, um comentário surpreendente foi o seguinte: “Descobrimos que tanto o orçamento do anunciante quanto o conteúdo do anúncio contribuem significativamente para a inclinação da entrega de anúncios do Facebook. Criticamente, observamos uma inclinação significativa na entrega ao longo de linhas de gênero e raciais para anúncios ‘reais’ de emprego e moradia, apesar de parâmetros de direcionamento neutros.” Quais são algumas soluções para evitar esse tipo de viés?

Esse comentário que fiz é baseado em um brilhante artigo de Ali et al. chamado “Discriminação através da Otimização: Como a Entrega de Anúncios do Facebook Pode Levar a Resultados Viesados.” Os autores encontram que o mecanismo de entrega de anúncios em si é responsável por introduzir e amplificar efeitos discriminatórios. Sem dúvida, essa descoberta é altamente problemática, especialmente porque se desenrola contra o pano de fundo de opacidade no Facebook e em outras plataformas — Google e Twitter. O fardo está nas plataformas para urgentemente e convincentemente demonstrar que podem controlar os efeitos discriminatórios, como os encontrados por Ali et al.. Enquanto isso, não posso encontrar uma justificativa para o uso contínuo de direcionamento de anúncios personalizados em moradia, emprego e outros domínios onde as vidas e os meios de subsistência das pessoas estão em jogo.

Como os cientistas de dados e os desenvolvedores de IA podem melhor prevenir outros vieses não intencionais de se infiltrar em seus sistemas?

  Não é inteiramente função dos cientistas de dados, ou de qualquer grupo de partes interessadas, garantir que os sistemas técnicos estejam alinhados com os valores da sociedade. Mas os cientistas de dados estão, de fato, na vanguarda dessa batalha. Como uma cientista da computação, posso atestar a atração de pensar que os sistemas que projetamos são “objetivos”, “ótimos” ou “corretos”. Quão bem-sucedida a ciência da computação e a ciência de dados são — quão influentes e amplamente usadas — é tanto uma bênção quanto uma maldição. Já não temos o luxo de nos esconder atrás dos objetivos inatingíveis de objetividade e correção. O fardo está sobre nós para pensar cuidadosamente sobre nosso lugar no mundo, e para nos educar sobre os processos sociais e políticos que estamos afetando. A sociedade não pode se dar ao luxo de nos movermos rapidamente e quebrarmos coisas, devemos desacelerar e refletir.

É simbólico que a filosofia foi uma vez o centro de todos os discursos científicos e sociais, então veio a matemática, então a ciência da computação. Agora, com a ciência de dados ocupando o centro do palco, voltamos ao ponto de partida e precisamos reconectar com nossas raízes filosóficas.

Outra recomendação que você fez é criar um público informado. Como informamos um público que pode não estar familiarizado com a IA, ou entender os problemas associados ao viés de IA?

Há uma necessidade premente de educar pessoas não técnicas sobre tecnologia, e de educar pessoas técnicas sobre suas implicações sociais. Atender a esses dois objetivos exigirá um forte compromisso e um investimento substancial por parte de nosso governo. Precisamos desenvolver materiais e metodologias educacionais para todos esses grupos, e encontrar maneiras de incentivar a participação. E não podemos deixar esse trabalho para entidades comerciais. A União Europeia está liderando o caminho, com vários governos fornecendo apoio para educação básica de IA de seus cidadãos, e incorporando currículos de IA em programas de ensino médio. Nós no R/AI estamos trabalhando em um curso público e amplamente acessível, visando criar um público engajado que ajudará a tornar a IA no que NÓS queremos que ela seja. Estamos muito animados com esse trabalho, por favor fique atento para mais informações nos próximos meses.

Obrigado pelas respostas detalhadas, leitores que desejam aprender mais devem visitar Center for Responsible AI.