Andrew Gordon, Consultor de Pesquisa Sênior, Prolific – Série de Entrevistas

Andrew Gordon utiliza sua sólida formação em psicologia e neurociência para descobrir insights como pesquisador. Com um bacharelado em Psicologia, mestrado em Neuropsicologia e doutorado em Neurociência Cognitiva, Andrew aproveita princípios científicos para entender motivações, comportamento e tomada de decisões do consumidor.

Prolific foi criado por pesquisadores para pesquisadores, com o objetivo de oferecer um método superior para obter dados e entrada de alta qualidade para pesquisas de ponta. Hoje, mais de 35.000 pesquisadores da academia e da indústria confiam no Prolific AI para coletar dados e feedback humanos definitivos. A plataforma é conhecida por seus participantes confiáveis, engajados e tratados de forma justa, com um novo estudo sendo lançado a cada três minutos.

Como você utiliza sua formação em neurociência cognitiva para ajudar pesquisadores que estão realizando projetos envolvendo IA?

Um bom ponto de partida é definir o que a neurociência cognitiva realmente abrange. Basicamente, a neurociência cognitiva investiga os fundamentos biológicos dos processos cognitivos. Combina princípios da neurociência e psicologia, e ocasionalmente ciência da computação, entre outros, o que nos ajuda a entender como nosso cérebro possibilita várias funções mentais. Basicamente, qualquer pessoa que pratique pesquisa em neurociência cognitiva precisa ter um bom entendimento de metodologias de pesquisa e uma boa compreensão de como as pessoas pensam e se comportam. Esses dois aspectos são cruciais e podem ser combinados para desenvolver e executar pesquisas de IA de alta qualidade. Uma ressalva, no entanto, é que a pesquisa de IA é um termo amplo; pode envolver qualquer coisa, desde o treinamento de modelos fundamentais e anotação de dados até a compreensão de como as pessoas interagem com sistemas de IA. Executar projetos de pesquisa com IA não é diferente de executar projetos de pesquisa fora de IA; você ainda precisa ter um bom entendimento de métodos, projetar estudos para criar os melhores dados, amostrar corretamente para evitar viés e, em seguida, usar esses dados em análises eficazes para responder a qualquer pergunta de pesquisa que você esteja abordando.

Prolific enfatiza o tratamento ético e a compensação justa para seus participantes. Você poderia compartilhar insights sobre os desafios e soluções para manter esses padrões?

Nosso modelo de compensação é projetado para garantir que os participantes sejam valorizados e recompensados, sentindo-se assim como parte importante da máquina de pesquisa (porque eles são). Acreditamos que tratar os participantes de forma justa e fornecer-lhes uma taxa de pagamento justa motiva-os a se engajar mais profundamente com a pesquisa e, consequentemente, fornecer melhores dados.

Infelizmente, a maioria das plataformas de amostragem online não impõe esses princípios de pagamento e tratamento éticos. O resultado é um pool de participantes que é incentivado não a se engajar com a pesquisa, mas a passar por ela o mais rápido possível para maximizar seu potencial de ganho, levando a dados de baixa qualidade. Manter a postura que adotamos no Prolific é desafiador; estamos basicamente lutando contra a maré. O status quo na pesquisa de IA e em outras formas de pesquisa online não se concentrou no tratamento ou bem-estar dos participantes, mas sim em maximizar a quantidade de dados que podem ser coletados pelo menor custo.

Fazer com que a comunidade de pesquisa mais ampla entenda por que adotamos essa abordagem e o valor que eles verão ao usar nossos serviços, em vez de uma plataforma concorrente, apresenta um desafio considerável. Outro desafio, do ponto de vista logístico, envolve dedicar uma quantidade significativa de tempo para responder a preocupações, consultas ou reclamações de nossos participantes ou pesquisadores de forma oportuna e justa. Dedicamos muito tempo a isso porque mantém os usuários de ambos os lados – participantes e pesquisadores – felizes, incentivando-os a continuar retornando ao Prolific. No entanto, também dependemos fortemente dos pesquisadores que usam nossa plataforma para aderir a nossos altos padrões de tratamento e compensação, uma vez que os participantes são levados para a tarefa ou pesquisa do pesquisador e, portanto, deixam o ecossistema do Prolific. O que acontece fora de nossa plataforma está realmente sob o controle da equipe de pesquisa, então dependemos não apenas dos participantes nos informando se algo está errado, mas também dos nossos pesquisadores mantendo os padrões possíveis mais altos. Tentamos fornecer tanto orientação quanto possível para garantir que isso aconteça.

Considerando o modelo de negócios do Prolific, quais são suas opiniões sobre o papel essencial do feedback humano no desenvolvimento de IA, especialmente em áreas como detecção de viés e melhoria do raciocínio social?

O feedback humano no desenvolvimento de IA é crucial. Sem a participação humana, corremos o risco de perpetuar viés, negligenciar as nuances da interação social humana e falhar em abordar algumas das considerações éticas negativas associadas à IA. Isso poderia impedir nosso progresso em direção à criação de sistemas de IA responsáveis, eficazes e éticos. Em termos de detecção de viés, a incorporação do feedback humano durante o processo de desenvolvimento é crucial, pois devemos visar desenvolver IA que reflita a maior variedade possível de visões e valores, sem favorecer um sobre o outro. Diferentes demografias, contextos e culturas têm vieses inconscientes que, embora não necessariamente negativos, podem refletir uma perspectiva que não seria amplamente mantida. Pesquisas colaborativas entre Prolific e a Universidade de Michigan destacaram como os contextos de diferentes anotadores podem afetar significativamente como eles avaliam aspectos como a toxicidade do discurso ou a cortesia. Para abordar isso, envolver participantes de contextos, culturas e perspectivas diversificados pode prevenir que esses vieses sejam incorporados em sistemas de IA em desenvolvimento. Além disso, o feedback humano permite que os pesquisadores de IA detectem formas mais sutis de viés que podem não ser capturadas por métodos automatizados. Isso facilita a oportunidade de abordar vieses por meio de ajustes nos algoritmos, modelos subjacentes ou técnicas de pré-processamento de dados.

A situação com o raciocínio social é essencialmente a mesma. A IA frequentemente luta com tarefas que exigem raciocínio social porque, por natureza, não é um ser social, enquanto os humanos são. Detectar contexto quando uma pergunta é feita, entender ironia ou reconhecer sinais emocionais, requer um raciocínio social semelhante ao humano que a IA não pode aprender sozinha. Nós, como humanos, aprendemos socialmente, então a única maneira de ensinar um sistema de IA essas técnicas de raciocínio é usando feedback humano real para treinar a IA para interpretar e responder a várias pistas sociais. No Prolific, desenvolvemos um conjunto de dados de raciocínio social projetado especificamente para ensinar a modelos de IA essa habilidade importante.

Em essência, o feedback humano não apenas ajuda a identificar áreas onde os sistemas de IA excel ou falham, mas também permite que os desenvolvedores façam as melhorias e refinamentos necessários nos algoritmos. Um exemplo prático disso é observado em como o ChatGPT opera. Quando você faz uma pergunta, às vezes o ChatGPT apresenta duas respostas e pede que você classifique qual é a melhor. Essa abordagem é adotada porque o modelo está sempre aprendendo, e os desenvolvedores entendem a importância da entrada humana para determinar as melhores respostas, em vez de confiar apenas em outro modelo.

Prolific tem sido fundamental em conectar pesquisadores com participantes para treinamento e pesquisa de IA. Você poderia compartilhar histórias de sucesso ou avanços significativos em IA que foram possíveis por meio de sua plataforma?

Devido à natureza comercial de muito do nosso trabalho de IA, especialmente em espaços não acadêmicos, a maioria dos projetos em que estamos envolvidos está sob acordos de não divulgação estritos. Isso é principalmente para garantir a confidencialidade de técnicas ou métodos, protegendo-os de serem replicados. No entanto, um projeto que podemos discutir é nossa parceria com a Remesh, uma plataforma de insights impulsionada por IA. Colaboramos com a OpenAI e a Remesh para desenvolver um sistema que utiliza amostras representativas da população dos EUA. Nesse projeto, milhares de indivíduos de uma amostra representativa participaram de discussões sobre políticas de IA por meio do sistema da Remesh, permitindo o desenvolvimento de políticas de IA que refletem a vontade ampla do público, em vez de uma demografia seleta, graças à capacidade do Prolific de fornecer uma amostra tão diversificada.

Olhando para o futuro, qual é sua visão para o futuro do desenvolvimento de IA ética, e como o Prolific planeja contribuir para alcançar essa visão?

Minha esperança para o futuro da IA e seu desenvolvimento depende do reconhecimento de que a IA será apenas tão boa quanto os dados em que é treinada. A importância da qualidade dos dados não pode ser superestimada para os sistemas de IA. Treinar um sistema de IA com dados de baixa qualidade inevitavelmente resulta em um sistema de IA subpar. A única maneira de garantir dados de alta qualidade é garantindo o recrutamento de um grupo diversificado e motivado de participantes, ansiosos para fornecer os melhores dados possíveis. No Prolific, nossa abordagem e princípios orientadores visam criar exatamente isso. Ao criar um pool de participantes personalizado, minuciosamente verificado e confiável, antecipamos que os pesquisadores usarão esse recurso para desenvolver sistemas de IA mais eficazes, confiáveis e confiáveis no futuro.

Quais são alguns dos maiores desafios que você enfrenta na coleta de dados de treinamento de IA de alta qualidade e humanizados, e como o Prolific supera esses obstáculos?

O desafio mais significativo, sem dúvida, é a qualidade dos dados. Não apenas os dados ruins são inúteis – eles podem realmente levar a resultados prejudiciais, particularmente quando os sistemas de IA são empregados em áreas críticas, como mercados financeiros ou operações militares. Isso destaca o princípio essencial de “lixo que entra, lixo que sai”. Se os dados de entrada forem de baixa qualidade, o sistema de IA resultante será inerentemente de baixa qualidade ou utilidade. A maioria das amostras online tende a produzir dados de qualidade inferior do que o ideal para o desenvolvimento de IA. Há muitas razões para isso, mas um fator-chave que o Prolific aborda é o tratamento geral dos participantes online. Muitas vezes, esses indivíduos são vistos como descartáveis, recebendo baixa compensação, mau tratamento e pouco respeito dos pesquisadores. Ao se comprometer com o tratamento ético dos participantes, o Prolific cultivou um pool de contribuintes motivados, engajados, pensativos, honestos e atentos. Portanto, quando os dados são coletados por meio do Prolific, sua alta qualidade é assegurada, sustentando modelos de IA confiáveis e confiáveis.

Outro desafio que enfrentamos com os dados de treinamento de IA é garantir a diversidade dentro da amostra. Embora as amostras online tenham ampliado significativamente o escopo e a variedade de indivíduos que podemos pesquisar em comparação com os métodos presenciais, elas são predominantemente limitadas a pessoas de países ocidentais. Essas amostras frequentemente inclinam-se para demografias mais jovens, alfabetizadas em computador, altamente educadas e mais inclinadas para a esquerda. Isso não representa plenamente a população global. Para abordar isso, o Prolific tem participantes de mais de 38 países em todo o mundo. Também fornecemos aos nossos pesquisadores ferramentas para especificar a composição demográfica exata da amostra com antecedência. Além disso, oferecemos amostragem representativa por meio de modelos de correspondência do censo, como idade, gênero e etnia, ou até mesmo por afiliação política. Isso garante que estudos, tarefas de anotação ou outros projetos recebam uma gama diversificada de participantes e, consequentemente, uma ampla variedade de insights.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Prolific.