Nora Petrova, Engenheira de Aprendizado de Máquina e Consultora de IA na Prolific – Série de Entrevistas

Nora Petrova, é uma Engenheira de Aprendizado de Máquina e Consultora de IA na Prolific. A Prolific foi fundada em 2014 e já conta com organizações como Google, Universidade de Stanford, Universidade de Oxford, King’s College London e Comissão Europeia entre seus clientes, utilizando sua rede de participantes para testar novos produtos, treinar sistemas de IA em áreas como rastreamento de olhos e determinar se suas aplicações de IA voltadas para humanos estão funcionando como seus criadores pretendiam.

Poderia compartilhar algumas informações sobre sua formação na Prolific e carreira até o momento? O que o interessou em IA?

Meu papel na Prolific é dividido entre ser um consultor sobre casos de uso de IA e oportunidades, e ser um Engenheiro de ML mais hands-on. Eu comecei minha carreira em Engenharia de Software e gradualmente me mudei para Aprendizado de Máquina. Eu passei a maior parte dos últimos 5 anos focado em casos de uso de NLP e problemas.

O que me interessou em IA inicialmente foi a capacidade de aprender com dados e a ligação com como nós, humanos, aprendemos e como nossos cérebros são estruturados. Eu acho que ML e Neurociência podem se complementar e ajudar a avançar nosso entendimento de como construir sistemas de IA capazes de navegar pelo mundo, exibir criatividade e adicionar valor à sociedade.

Quais são alguns dos principais problemas de viés de IA que você está pessoalmente ciente?

O viés é inerente aos dados que alimentamos os modelos de IA e remover completamente é muito difícil. No entanto, é imperativo que estejamos cientes dos vieses que estão nos dados e encontremos maneiras de mitigar os tipos prejudiciais de vieses antes de confiarmos tarefas importantes na sociedade aos modelos. Os principais problemas que estamos enfrentando são modelos que perpetuam estereótipos prejudiciais, preconceitos sistêmicos e injustiças na sociedade. Devemos estar atentos a como esses modelos de IA serão usados e a influência que terão sobre seus usuários, e garantir que sejam seguros antes de aprová-los para casos de uso sensíveis.

Algumas áreas proeminentes onde os modelos de IA exibiram vieses prejudiciais incluem a discriminação de grupos sub-representados em admissões escolares e universitárias e estereótipos de gênero que afetam negativamente a contratação de mulheres. Não apenas isso, mas um algoritmo de justiça criminal foi encontrado para ter rotulado réus afro-americanos como “alto risco” em uma taxa quase duas vezes maior do que rotulou réus brancos nos EUA, enquanto a tecnologia de reconhecimento facial ainda sofre de altas taxas de erro para minorias devido à falta de dados de treinamento representativos.

Os exemplos acima cobrem uma pequena subseção de vieses demonstrados por modelos de IA e podemos prever problemas maiores surgindo no futuro se não nos concentrarmos em mitigar o viés agora. É importante manter em mente que os modelos de IA aprendem com dados que contêm esses vieses devido à tomada de decisão humana influenciada por vieses não verificados e inconscientes. Em muitos casos, recorrer a um tomador de decisão humano pode não eliminar o viés. Mitigar verdadeiramente os vieses envolverá entender como eles estão presentes nos dados que usamos para treinar os modelos, isolar os fatores que contribuem para previsões viesadas e decidir coletivamente o que queremos basear decisões importantes. Desenvolver um conjunto de padrões, para que possamos avaliar os modelos para segurança antes de usá-los para casos de uso sensíveis, será um passo importante para frente.

As alucinações de IA são um grande problema com qualquer tipo de IA geradora. Pode discutir como o treinamento humano-na-laço (HITL) é capaz de mitigar esses problemas?

As alucinações nos modelos de IA são problemáticas em particular em casos de uso de IA geradora, mas é importante notar que elas não são um problema em si mesmas. Em certos usos criativos de IA geradora, as alucinações são bem-vindas e contribuem para uma resposta mais criativa e interessante.

Elas podem ser problemáticas em casos de uso onde a confiabilidade da informação factual é alta. Por exemplo, na saúde, onde a tomada de decisão robusta é fundamental, fornecer aos profissionais de saúde informações factuais confiáveis é imperativo.

HITL se refere a sistemas que permitem que os humanos forneçam feedback direto a um modelo para previsões que estão abaixo de um certo nível de confiança. No contexto das alucinações, o HITL pode ser usado para ajudar os modelos a aprenderem o nível de certeza que devem ter para diferentes casos de uso antes de produzir uma resposta. Esses limiares variarão dependendo do caso de uso e ensinar os modelos as diferenças em rigor necessárias para responder a perguntas de diferentes casos de uso será um passo importante para mitigar as alucinações problemáticas. Por exemplo, em um caso de uso legal, os humanos podem demonstrar aos modelos de IA que a verificação de fatos é um passo necessário ao responder a perguntas baseadas em documentos legais complexos com muitas cláusulas e condições.

Como os trabalhadores de IA, como os anotadores de dados, ajudam a reduzir os problemas de viés de IA?

Os trabalhadores de IA podem ajudar, em primeiro lugar, a identificar os vieses presentes nos dados. Uma vez que o viés tenha sido identificado, torna-se mais fácil desenvolver estratégias de mitigação. Os anotadores de dados também podem ajudar a desenvolver maneiras de reduzir o viés. Por exemplo, para tarefas de NLP, eles podem ajudar fornecendo maneiras alternativas de expressar trechos problemáticos de texto de tal forma que o viés presente na linguagem seja reduzido. Além disso, a diversidade nos trabalhadores de IA pode ajudar a mitigar problemas de viés na rotulagem.

Como você garante que os trabalhadores de IA não estejam alimentando involuntariamente seus próprios vieses humanos no sistema de IA?

É certamente uma questão complexa que requer consideração cuidadosa. Eliminar vieses humanos é quase impossível e os trabalhadores de IA podem alimentar involuntariamente seus vieses nos modelos de IA, então é fundamental desenvolver processos que orientem os trabalhadores para as melhores práticas.

Algumas etapas que podem ser tomadas para manter os vieses humanos ao mínimo incluem:

• Treinamento abrangente dos trabalhadores de IA sobre vieses inconscientes e fornecendo-lhes ferramentas sobre como identificar e gerenciar seus próprios vieses durante a rotulagem.
• Checklists que lembram aos trabalhadores de IA verificar suas próprias respostas antes de submetê-las.
• Executar uma avaliação que verifique o nível de compreensão que os trabalhadores de IA têm, onde eles são mostrados exemplos de respostas em diferentes tipos de vieses, e são solicitados a escolher a resposta menos viesada.

Reguladores em todo o mundo estão pretendendo regular a saída de IA, o que, na sua opinião, os reguladores não entendem e o que eles têm certo?

É importante começar dizendo que este é um problema realmente difícil que ninguém encontrou a solução. A sociedade e a IA evoluirão e influenciarão um ao outro de maneiras muito difíceis de antecipar. Uma parte de uma estratégia eficaz para encontrar práticas regulatórias robustas e úteis é prestar atenção ao que está acontecendo com a IA, como as pessoas estão respondendo a ela e quais efeitos ela tem em diferentes indústrias.

Eu acho que um obstáculo significativo para a regulação eficaz da IA é a falta de compreensão do que os modelos de IA podem e não podem fazer, e como eles funcionam. Isso, por sua vez, torna mais difícil prever com precisão as consequências que esses modelos terão em diferentes setores e segmentos da sociedade. Outra área que está faltando é o pensamento sobre como alinhar os modelos de IA com os valores humanos e o que a segurança parece em termos mais concretos.

Os reguladores buscaram colaboração com especialistas no campo de IA, foram cuidadosos para não sufocar a inovação com regras excessivamente rígidas em torno da IA e começaram a considerar as consequências da IA sobre a substituição de empregos, que são todas áreas de foco muito importantes. É importante avançar com cuidado à medida que nossos pensamentos sobre a regulação de IA se esclarecem com o tempo e envolver o máximo de pessoas possível para abordar essa questão de maneira democrática.

Como as soluções da Prolific podem ajudar as empresas a reduzir o viés de IA e os outros problemas que discutimos?

A coleta de dados para projetos de IA não sempre foi um processo considerado ou deliberativo. Já vimos raspagem, terceirização e outros métodos se espalhando. No entanto, como treinamos a IA é crucial e os modelos de próxima geração precisarão ser construídos com dados intencionalmente coletados, de pessoas reais e com as quais temos contato direto. É aqui que a Prolific está fazendo uma marca.

Outros domínios, como pesquisas, pesquisas de mercado ou pesquisas científicas, aprenderam isso há muito tempo. O público que você amostra tem um grande impacto nos resultados que você obtém. A IA está começando a acompanhar, e estamos chegando a um cruzamento agora.

Agora é a hora de começar a se importar em usar amostras melhores e trabalhar com grupos mais representativos para o treinamento e aprimoramento da IA. Ambos são críticos para desenvolver modelos seguros, imparciais e alinhados.

A Prolific pode ajudar a fornecer as ferramentas certas para que as empresas realizem experimentos de IA de forma segura e colem dados de participantes onde o viés é verificado e mitigado ao longo do caminho. Podemos ajudar a fornecer orientação sobre as melhores práticas em torno da coleta de dados, seleção, compensação e tratamento justo dos participantes.

Quais são suas visões sobre a transparência de IA, os usuários devem ser capazes de ver quais dados um algoritmo de IA é treinado?

Eu acho que há prós e contras para a transparência e um bom equilíbrio ainda não foi encontrado. As empresas estão retendo informações sobre os dados que usaram para treinar seus modelos de IA devido ao medo de litígios. Outras trabalharam para tornar seus modelos de IA publicamente disponíveis e liberaram todas as informações sobre os dados que usaram. A transparência total abre muitas oportunidades para a exploração das vulnerabilidades desses modelos. A segurança total não ajuda a construir confiança e a envolver a sociedade na construção de IA segura. Um bom meio-termo forneceria transparência suficiente para nos fazer confiar que os modelos de IA foram treinados com dados de boa qualidade relevantes que consentimos. Precisamos prestar atenção a como a IA está afetando diferentes indústrias e abrir diálogos com as partes afetadas e garantir que desenvolvamos práticas que funcionem para todos.

Eu também acho que é importante considerar o que os usuários considerariam satisfatório em termos de explicabilidade. Se eles quiserem entender por que um modelo está produzindo uma certa resposta, fornecer-lhes os dados brutos em que o modelo foi treinado provavelmente não ajudará a responder à sua pergunta. Portanto, construir boas ferramentas de explicabilidade e interpretabilidade é importante.

A pesquisa de alinhamento de IA visa direcionar os sistemas de IA para os objetivos, preferências ou princípios éticos pretendidos pelos humanos. Pode discutir como os trabalhadores de IA são treinados e como isso é usado para garantir que a IA esteja alinhada o melhor possível?

Esta é uma área ativa de pesquisa e não há consenso ainda sobre quais estratégias devemos usar para alinhar os modelos de IA com os valores humanos ou mesmo quais conjuntos de valores devemos alinhar.

Os trabalhadores de IA são normalmente solicitados a representar autenticamente suas preferências e responder a perguntas sobre suas preferências de forma veraz, enquanto também aderem a princípios em torno de segurança, falta de viés, inofensividade e utilidade.

Em relação ao alinhamento com objetivos, princípios éticos ou valores, existem várias abordagens que parecem promissoras. Um exemplo notável é o trabalho do The Meaning Alignment Institute sobre Democratic Fine-Tuning. Há um excelente post introduzindo a ideia aqui.

Obrigado pela grande entrevista e por compartilhar suas visões sobre o viés de IA, os leitores que desejam aprender mais devem visitar Prolific.