Andrew Gordon, consultor de pesquisa sênior, Prolific – Série de entrevistas

Andrew Gordon baseia-se em sua sólida experiência em psicologia e neurociência para descobrir insights como pesquisador. Com bacharelado em psicologia, mestrado em neuropsicologia e doutorado. em Neurociência Cognitiva, Andrew aproveita princípios científicos para compreender as motivações, o comportamento e a tomada de decisões do consumidor.

Prolífico foi criado por pesquisadores para pesquisadores, com o objetivo de oferecer um método superior para obtenção de dados humanos de alta qualidade e insumos para pesquisas de ponta. Hoje, mais de 35,000 pesquisadores da academia e da indústria confiam na Prolific AI para coletar dados humanos e feedback definitivos. A plataforma é conhecida por seus participantes confiáveis, engajados e tratados de forma justa, com um novo estudo sendo lançado a cada três minutos.

Como você aproveita sua experiência em neurociência cognitiva para ajudar pesquisadores que estão realizando projetos envolvendo IA?

Um bom ponto de partida é definir o que a neurociência cognitiva realmente abrange. Essencialmente, a neurociência cognitiva investiga os fundamentos biológicos dos processos cognitivos. Combina princípios da neurociência e da psicologia e, ocasionalmente, da ciência da computação, entre outros, o que nos ajuda a compreender como o nosso cérebro permite várias funções mentais. Essencialmente, qualquer pessoa que pratique investigação em neurociências cognitivas precisa de ter um forte domínio das metodologias de investigação e uma boa compreensão de como as pessoas pensam e se comportam. Estes dois aspectos são cruciais e também podem ser combinados para desenvolver e executar pesquisas de IA de alta qualidade. Uma ressalva, porém, é que a pesquisa em IA é um termo amplo; pode envolver qualquer coisa, desde treinamento de modelo básico e anotação de dados até a compreensão de como as pessoas interagem com sistemas de IA. A execução de projetos de investigação com IA não é diferente da execução de projetos de investigação fora da IA; você ainda precisa de uma boa compreensão dos métodos, projetar estudos para criar os melhores dados, coletar amostras corretamente para evitar preconceitos e, em seguida, usar esses dados em análises eficazes para responder a qualquer questão de pesquisa que você esteja abordando.

A Prolific enfatiza o tratamento ético e a remuneração justa para seus participantes. Você poderia compartilhar ideias sobre os desafios e soluções para manter esses padrões?

Nosso modelo de remuneração é projetado para garantir que os participantes sejam valorizados e recompensados, sentindo assim que estão desempenhando um papel significativo na máquina de pesquisa (porque estão). Acreditamos que tratar os participantes de forma justa e proporcionar-lhes uma taxa de pagamento justa motiva-os a envolverem-se mais profundamente na investigação e, consequentemente, a fornecerem melhores dados.

Infelizmente, a maioria das plataformas de amostragem online não aplica estes princípios de pagamento e tratamento éticos. O resultado é um grupo de participantes que é incentivado não a envolver-se na investigação, mas a apressá-la o mais rapidamente possível para maximizar o seu potencial de ganhos, o que conduz a dados de baixa qualidade. Manter a postura que assumimos na Prolific é um desafio; estamos essencialmente lutando contra a maré. O status quo na investigação sobre IA e outras formas de investigação online não se concentrou no tratamento ou no bem-estar dos participantes, mas sim na maximização da quantidade de dados que podem ser recolhidos com o menor custo.

Fazer com que a comunidade de investigação mais ampla compreenda porque adotamos esta abordagem e o valor que eles verão ao utilizar-nos, em oposição a uma plataforma concorrente, representa um grande desafio. Outro desafio, do ponto de vista logístico, envolve dedicar uma quantidade significativa de tempo para responder às preocupações, dúvidas ou reclamações dos nossos participantes ou investigadores de forma oportuna e justa. Dedicamos muito tempo a isso porque mantém os usuários de ambos os lados – participantes e pesquisadores – felizes, incentivando-os a continuar voltando ao Prolific. No entanto, também dependemos fortemente dos investigadores que utilizam a nossa plataforma para aderirem aos nossos elevados padrões de tratamento e compensação, uma vez que os participantes são levados para a tarefa ou inquérito do investigador e, assim, deixam o ecossistema Prolific. O que acontece fora da nossa plataforma está realmente sob o controle da equipe de pesquisa, por isso dependemos não apenas de que os participantes nos informem se algo está errado, mas também de que nossos pesquisadores mantenham os mais altos padrões possíveis. Tentamos fornecer o máximo de orientação possível para garantir que isso aconteça.

Considerando o modelo de negócios prolífico, o que você acha do papel essencial do feedback humano no desenvolvimento da IA, especialmente em áreas como detecção de preconceitos e melhoria do raciocínio social?

O feedback humano no desenvolvimento da IA ​​é crucial. Sem o envolvimento humano, corremos o risco de perpetuar preconceitos, ignorando as nuances da interação social humana e deixando de abordar algumas das considerações éticas negativas associadas à IA. Isto poderia dificultar o nosso progresso na criação de sistemas de IA responsáveis, eficazes e éticos. Em termos de deteção de preconceitos, a incorporação do feedback humano durante o processo de desenvolvimento é crucial porque devemos procurar desenvolver uma IA que reflita uma gama tão ampla de pontos de vista e valores quanto possível, sem favorecer uns em detrimento dos outros. Diferentes grupos demográficos, origens e culturas têm preconceitos inconscientes que, embora não necessariamente negativos, ainda podem refletir um ponto de vista que não seria amplamente defendido. Uma pesquisa colaborativa entre a Prolific e a Universidade de Michigan destacou como as experiências de diferentes anotadores podem significativamente afetam a forma como eles avaliam aspectos como a toxicidade da fala ou a polidez. Para resolver esta questão, envolver participantes de diversas origens, culturas e perspetivas pode evitar que estes preconceitos sejam enraizados nos sistemas de IA em desenvolvimento. Além disso, o feedback humano permite que os pesquisadores de IA detectem formas mais sutis de preconceito que podem não ser detectadas por métodos automatizados. Isto facilita a oportunidade de abordar preconceitos através de ajustes nos algoritmos, modelos subjacentes ou técnicas de pré-processamento de dados.

A situação com o raciocínio social é essencialmente a mesma. A IA muitas vezes enfrenta tarefas que exigem raciocínio social porque, por natureza, não é um ser social, ao contrário dos humanos. Detectar o contexto quando uma pergunta é feita, compreender o sarcasmo ou reconhecer sinais emocionais requer um raciocínio social semelhante ao humano que a IA não consegue aprender por si só. Nós, como humanos, aprendemos socialmente, portanto, a única maneira de ensinar a um sistema de IA esses tipos de técnicas de raciocínio é usar feedback humano real para treinar a IA para interpretar e responder a vários sinais sociais. Na Prolific, desenvolvemos um conjunto de dados de raciocínio social projetado especificamente para ensinar aos modelos de IA essa habilidade importante.

Em essência, o feedback humano não só ajuda a identificar áreas onde os sistemas de IA se destacam ou falham, mas também permite que os desenvolvedores façam as melhorias e refinamentos necessários nos algoritmos. Um exemplo prático disso é observado na forma como o ChatGPT opera. Quando você faz uma pergunta, às vezes o ChatGPT apresenta duas respostas e pede para você classificar qual é a melhor. Essa abordagem é adotada porque o modelo está sempre aprendendo e os desenvolvedores entendem a importância da contribuição humana para determinar as melhores respostas, em vez de depender apenas de outro modelo.

A Prolific tem sido fundamental para conectar pesquisadores com participantes para treinamento e pesquisa em IA. Você pode compartilhar algumas histórias de sucesso ou avanços significativos em IA que foram possíveis por meio de sua plataforma?

Devido à natureza comercial de grande parte do nosso trabalho em IA, especialmente em espaços não acadêmicos, a maioria dos projetos em que estamos envolvidos estão sujeitos a acordos estritos de confidencialidade. Isto visa principalmente garantir a confidencialidade das técnicas ou métodos, protegendo-os de serem replicados. No entanto, um projeto que temos a liberdade de discutir envolve a nossa parceria com a Remesh, uma plataforma de insights baseada em IA. Colaboramos com OpenAI e Remesh para desenvolver um sistema que utiliza amostras representativas da população dos EUA. Neste projeto, milhares de indivíduos de uma amostra representativa participaram em discussões sobre políticas relacionadas com a IA através do sistema da Remesh, permitindo o desenvolvimento de políticas de IA que refletem a vontade ampla do público, em vez de um grupo demográfico selecionado, graças à capacidade da Prolific de fornecer uma amostra tão diversa.

Olhando para o futuro, qual é a sua visão para o futuro do desenvolvimento ético da IA ​​e como a Prolific planeja contribuir para alcançar essa visão?

Minha esperança para o futuro da IA ​​e seu desenvolvimento depende do reconhecimento de que a IA só será tão boa quanto os dados nos quais for treinada. A importância da qualidade dos dados não pode ser exagerada para os sistemas de IA. Treinar um sistema de IA com dados de baixa qualidade resulta inevitavelmente em um sistema de IA abaixo da média. A única forma de garantir dados de alta qualidade é garantir o recrutamento de um grupo diversificado e motivado de participantes, ansiosos por fornecer os melhores dados possíveis. Na Prolific, nossa abordagem e princípios orientadores visam promover exatamente isso. Ao criar um grupo de participantes personalizado, minuciosamente avaliado e confiável, prevemos que os pesquisadores usarão esse recurso para desenvolver sistemas de IA mais eficazes, confiáveis ​​e confiáveis ​​no futuro.

Quais são alguns dos maiores desafios que você enfrenta na coleta de dados de treinamento de IA de alta qualidade e alimentados por humanos, e como a Prolific supera esses obstáculos?

O desafio mais significativo, sem dúvida, é a qualidade dos dados. Os dados de má qualidade não só são inúteis como também podem levar a resultados prejudiciais, especialmente quando os sistemas de IA são utilizados em áreas críticas, como os mercados financeiros ou as operações militares. Esta preocupação sublinha o princípio essencial de “entra lixo, sai lixo”. Se os dados de entrada forem inferiores, o sistema de IA resultante será inerentemente de baixa qualidade ou utilidade. A maioria das amostras online tende a produzir dados de qualidade inferior ao ideal para o desenvolvimento de IA. Existem inúmeras razões para isso, mas um fator-chave abordado pela Prolific é o tratamento geral dos participantes online. Muitas vezes, esses indivíduos são vistos como dispensáveis, recebendo baixa remuneração, mau tratamento e pouco respeito por parte dos pesquisadores. Ao se comprometer com o tratamento ético dos participantes, a Prolific cultivou um grupo de colaboradores motivados, engajados, atenciosos, honestos e atenciosos. Portanto, quando os dados são coletados por meio do Prolific, sua alta qualidade é garantida, sustentando modelos de IA confiáveis.

Outro desafio que enfrentamos com os dados de treinamento de IA é garantir a diversidade na amostra. Embora as amostras online tenham ampliado significativamente o âmbito e a variedade de indivíduos sobre os quais podemos realizar pesquisas, em comparação com os métodos presenciais, elas são predominantemente limitadas a pessoas de países ocidentais. Essas amostras geralmente tendem para grupos demográficos mais jovens, com conhecimentos de informática, com alto nível de escolaridade e com tendência mais à esquerda. Isso não representa totalmente a população global. Para resolver isso, a Prolific conta com participantes de mais de 38 países em todo o mundo. Também fornecemos aos nossos pesquisadores ferramentas para especificar antecipadamente a composição demográfica exata de sua amostra. Além disso, oferecemos amostragem representativa por meio de modelos de correspondência de censo, como idade, sexo e etnia, ou mesmo por afiliação política. Isso garante que estudos, tarefas de anotação ou outros projetos recebam uma gama diversificada de participantes e, consequentemente, uma grande variedade de insights.

Obrigado pela ótima entrevista, os leitores que desejam saber mais devem visitar Prolífico.