Prof. Julia Stoyanovich, Diretora do Center for Responsible AI – Série de Entrevistas

Julia Stoyanovich, é professora da NYU’s Tandon School of Engineering e diretora fundadora do Center for Responsible AI. Ela recentemente prestou depoimento ao Comitê de Tecnologia do Conselho da Cidade de Nova York sobre um projeto de lei proposto que regularia o uso de IA para contratação e decisões de emprego.

Você é a diretora fundadora do Center for Responsible AI na NYU. Pode compartilhar conosco algumas das iniciativas realizadas por essa organização?

Eu co-direciono o Center for Responsible AI (R/AI) na NYU com Steven Kuyan. Steven e eu temos interesses e expertise complementares. Eu sou uma acadêmica, com um background em ciência da computação e um forte interesse em trabalhos inspirados no uso, na interseção da engenharia de dados, da ciência de dados responsável e da política. Steven é o diretor executivo do NYU Tandon Future Labs, uma rede de incubadoras e aceleradoras de startups que já teve um impacto econômico tremendo em Nova York. Nossa visão para R/AI é ajudar a tornar “IA responsável” sinônimo de “IA”, por meio de uma combinação de pesquisa aplicada, educação pública e engajamento, e ajudando empresas grandes e pequenas – especialmente pequenas – a desenvolver IA responsável.

Nos últimos meses, R/AI se engajou ativamente em conversas sobre supervisão de sistemas de decisão automatizados (ADS). Nossa abordagem é baseada em uma combinação de atividades educacionais e engajamento político.

A Cidade de Nova York está considerando uma lei proposta, Int 1894, que regularia o uso de ADS na contratação por meio de uma combinação de auditoria e divulgação pública. R/AI apresentou comentários públicos sobre o projeto de lei, baseados em nossa pesquisa e em insights que coletamos de candidatos através de várias atividades de engajamento público.

Também colaboramos com The GovLab na NYU e com o Instituto de Ética em IA da Universidade Técnica de Munique em um curso online gratuito chamado “Ética em IA: Perspectivas Globais” que foi lançado no início deste mês.

Outro projeto recente de R/AI que tem recebido muita atenção é nossa série de quadrinhos “Dados, Responsavelmente”. O primeiro volume da série é chamado “Espelho, Espelho”, está disponível em inglês, espanhol e francês, e é acessível com um leitor de tela em todos os três idiomas. O quadrinho recebeu o prêmio de Inovação do Mês da Metro Lab Network e GovTech, e foi coberto pelo Toronto Star, entre outros.

Quais são alguns dos problemas atuais ou potenciais com viés de IA para contratação e decisões de emprego?

Essa é uma pergunta complexa que exige que primeiro sejamos claros sobre o que entendemos por “viés”. A coisa mais importante a notar é que os sistemas de contratação automatizados são “análise preditiva” – eles predizem o futuro com base no passado. O passado é representado por dados históricos sobre indivíduos que foram contratados pela empresa, e sobre como esses indivíduos se saíram. O sistema é então “treinado” nesses dados, o que significa que ele identifica padrões estatísticos e os usa para fazer previsões. Esses padrões estatísticos são a “magia” da IA, é o que os modelos preditivos são baseados. Claramente, mas importante, os dados históricos dos quais esses padrões foram extraídos são silenciosos sobre indivíduos que não foram contratados, porque simplesmente não sabemos como eles se sairiam no emprego que não obtiveram. E é aqui que o viés entra em jogo. Se sistematicamente contratamos mais indivíduos de grupos demográficos e socioeconômicos específicos, então a participação nesses grupos e as características que vêm com essa participação se tornarão parte do modelo preditivo. Por exemplo, se apenas vemos graduados de universidades de ponta sendo contratados para cargos executivos, então o sistema não pode aprender que pessoas que foram para uma escola diferente também podem se sair bem. É fácil ver um problema semelhante para gênero, raça e deficiência.

O viés na IA é muito mais amplo do que apenas o viés nos dados. Ele surge quando tentamos usar tecnologia onde uma solução técnica é simplesmente inadequada, ou quando definimos os objetivos errados para a IA – muitas vezes porque não temos uma diversidade de vozes na mesa de design, ou quando renunciamos à nossa agência em interações humanas – IA após a implantação da IA. Cada uma dessas razões para o viés merece sua própria discussão que provavelmente irá durar mais do que o espaço permitido neste artigo. E então, para ficar focado, devo retornar ao viés nos dados.

Quando explico o viés nos dados, gosto de usar a metáfora do reflexo do espelho. Os dados são uma imagem do mundo, seu reflexo. Quando pensamos sobre o viés nos dados, interrogamos esse reflexo. Uma interpretação do “viés nos dados” é que o reflexo é distorcido – nosso espelho sub-representa ou super-representa partes do mundo, ou de outra forma distorce as leituras. Outra interpretação do “viés nos dados” é que, mesmo que o reflexo fosse 100% fiel, ele ainda seria um reflexo do mundo como ele é hoje, e não do que ele poderia ou deveria ser. É importante notar que não é função dos dados ou de um algoritmo dizer-nos se é um reflexo perfeito de um mundo quebrado, ou um reflexo quebrado de um mundo perfeito, ou se essas distorções se somam. É função das pessoas – indivíduos, grupos, sociedade como um todo – chegar a um consenso sobre se estamos satisfeitos com o mundo como ele é, ou, se não, como devemos melhorá-lo.

Voltando à análise preditiva: Quanto mais fortes forem as disparidades nos dados, como um reflexo do passado, mais provável é que elas sejam capturadas pelos modelos preditivos e replicadas – e até exacerbadas – no futuro.

Se nosso objetivo é melhorar as práticas de contratação com um olhar para a equidade e diversidade, então simplesmente não podemos delegar esse trabalho às máquinas. Temos que fazer o trabalho difícil de identificar as verdadeiras causas do viés na contratação e no emprego, e negociar uma solução socio-legal-técnica com a participação de todas as partes interessadas. A tecnologia certamente tem um papel a desempenhar em nos ajudar a melhorar o status quo: ela pode nos ajudar a sermos honestos sobre nossos objetivos e resultados. Mas fingir que a desviação dos dados ou da análise preditiva resolverá os problemas profundos de discriminação na contratação é ingênuo, no mínimo.

Você recentemente prestou depoimento ao Comitê de Tecnologia do Conselho da Cidade de Nova York, um comentário surpreendente foi o seguinte: “Descobrimos que tanto o orçamento do anunciante quanto o conteúdo do anúncio contribuem significativamente para a inclinação da entrega do anúncio do Facebook (META ). Criticamente, observamos uma inclinação significativa na entrega ao longo de linhas de gênero e raciais para ‘anúncios reais’ de emprego e oportunidades de moradia, apesar de parâmetros de direcionamento neutros.” Quais são algumas soluções para evitar esse tipo de viés?

Esse comentário que fiz é baseado em um brilhante artigo de Ali et al. chamado “Discriminação por meio de Otimização: Como a Entrega de Anúncios do Facebook Pode Levar a Resultados Viesados.” Os autores encontram que o mecanismo de entrega de anúncios em si é responsável por introduzir e amplificar efeitos discriminatórios. É claro que essa descoberta é altamente problemática, especialmente porque se desenrola contra o pano de fundo de opacidade no Facebook e em outras plataformas – Google (GOOGL ) e Twitter. O fardo está nas plataformas para demonstrar urgentemente e de forma convincente que elas podem controlar os efeitos discriminatórios, como os encontrados por Ali et al.. Em vez disso, não posso encontrar justificativa para o uso contínuo de direcionamento de anúncios personalizados em moradia, emprego e outros domínios onde as vidas e os meios de subsistência das pessoas estão em jogo.

Como os cientistas de dados e desenvolvedores de IA podem evitar que outros vieses não intencionais se infiltrem em seus sistemas?

Não é inteiramente responsabilidade dos cientistas de dados, ou de qualquer grupo de partes interessadas, garantir que os sistemas técnicos estejam alinhados com os valores sociais. Mas os cientistas de dados estão, de fato, na vanguarda dessa batalha. Como cientista da computação, posso atestar a atração de pensar que os sistemas que projetamos são “objetivos”, “ótimos” ou “corretos”. Quão bem-sucedida é a ciência da computação e a ciência de dados – quão influente e amplamente usada – é tanto uma bênção quanto uma maldição. Já não temos o luxo de nos esconder atrás dos objetivos inatingíveis de objetividade e correção. O fardo está sobre nós para pensar cuidadosamente sobre nosso lugar no mundo e para nos educar sobre os processos sociais e políticos que estamos afetando. A sociedade não pode se dar ao luxo de nos movermos rapidamente e quebrarmos coisas; devemos desacelerar e refletir.

É simbólico que a filosofia foi uma vez o centro de todos os discursos científicos e sociais, então veio a matemática, então a ciência da computação. Agora, com a ciência de dados no centro do palco, voltamos ao ponto de partida e precisamos reconectar com nossas raízes filosóficas.

Outra recomendação que você fez é criar um público informado. Como podemos informar um público que pode não estar familiarizado com a IA ou entender os problemas associados ao viés de IA?

Há uma necessidade premente de educar pessoas não técnicas sobre tecnologia e educar pessoas técnicas sobre as implicações sociais. Atingir ambos os objetivos exigirá um forte compromisso e um investimento substancial por parte de nosso governo. Precisamos desenvolver materiais e metodologias educacionais para todos esses grupos e encontrar maneiras de incentivá-los a participar. E não podemos deixar esse trabalho para entidades comerciais. A União Europeia está liderando o caminho, com vários governos fornecendo apoio para educação básica em IA de seus cidadãos e incorporando currículos de IA em programas de ensino médio. Nós, no R/AI, estamos trabalhando em um curso público e amplamente acessível, visando criar um público engajado que ajudará a tornar a IA no que NÓS queremos que ela seja. Estamos muito animados com esse trabalho; por favor, fiquem atentos para mais informações nos próximos meses.

Obrigada pelas respostas detalhadas, leitores que desejam aprender mais devem visitar o Center for Responsible AI.