A Inteligência Artificial Pode Ajudar Pesquisadores a Determinar Quais Artigos Podem Ser Replicados, Visa Abordar a Crise de Reprodução

Cada vez mais atenção está sendo dada nos últimos anos ao que os estudiosos e pesquisadores chamam de crise de replicação/reprodutibilidade. Muitos estudos simplesmente não conseguem dar os mesmos resultados significativos quando a replicação do estudo é tentada, e como resultado, a comunidade científica está preocupada que as descobertas sejam frequentemente exageradas. O problema afeta áreas tão diversas quanto psicologia e inteligência artificial. Quando se trata do campo da inteligência artificial, muitos artigos não revisados por pares são publicados alegando resultados impressionantes que outros pesquisadores não conseguem reproduzir. Para lidar com o problema e reduzir o número de estudos não reprodutíveis, os pesquisadores projetaram um modelo de inteligência artificial que visa determinar quais artigos podem ser replicados.

Como relatado pela Fortune, um novo artigo publicado por uma equipe de pesquisadores da Kellog School of Management e do Institute of Complex Systems da Northwestern University apresenta um modelo de aprendizado profundo que pode potencialmente determinar quais estudos são prováveis de ser reprodutíveis e quais estudos não são. Se o sistema de inteligência artificial puder discriminar confiavelmente entre estudos reprodutíveis e não reprodutíveis, ele pode ajudar universidades, institutos de pesquisa, empresas e outras entidades a filtrar milhares de artigos de pesquisa para determinar quais artigos são mais prováveis de ser úteis e confiáveis.

O sistema de inteligência artificial desenvolvido pela equipe da Northwestern não utiliza o tipo de evidência empírica/estatística que os pesquisadores normalmente usam para determinar a validade dos estudos. O modelo realmente emprega técnicas de processamento de linguagem natural para tentar quantificar a confiabilidade de um artigo. O sistema extrai padrões na linguagem usada pelos autores de um artigo, descobrindo que alguns padrões de palavras indicam maior confiabilidade do que outros.

A equipe de pesquisa se baseou em pesquisas psicológicas tão antigas quanto a década de 1960, que descobriu que as pessoas frequentemente comunicam o nível de confiança que têm em suas ideias através das palavras que usam. Com base nessa ideia, os pesquisadores pensaram que os autores de artigos podem, sem saber, sinalizar sua confiança nos resultados de suas pesquisas ao escrever seus artigos. A equipe realizou duas rodadas de treinamento, utilizando conjuntos de dados diferentes. Inicialmente, o modelo foi treinado em aproximadamente dois milhões de resumos de artigos científicos, enquanto na segunda vez o modelo foi treinado em artigos completos para participar de um projeto destinado a determinar quais artigos de psicologia podem ser reproduzidos – o Projeto de Reprodutibilidade: Psicologia.

Após testar, os pesquisadores implantaram o modelo em uma coleção de centenas de outros artigos, retirados de várias áreas como psicologia e economia. Os pesquisadores descobriram que seu modelo deu uma previsão mais confiável sobre a reprodutibilidade de um artigo do que as técnicas estatísticas normalmente usadas para determinar se os resultados de um artigo podem ser reproduzidos.

O pesquisador e professor da Kellog School of Management, Brian Uzzi, explicou à Fortune que, embora ele tenha esperança de que o modelo de inteligência artificial possa um dia ser usado para ajudar os pesquisadores a determinar quão prováveis são os resultados de serem reproduzidos, a equipe de pesquisa não tem certeza dos padrões e detalhes que seu modelo aprendeu. O fato de os modelos de aprendizado de máquina serem frequentemente caixas pretas é um problema comum dentro da pesquisa de inteligência artificial, mas esse fato pode fazer com que outros cientistas hesitem em usar o modelo.

Uzzi explicou que a equipe de pesquisa espera que o modelo possa potencialmente ser usado para lidar com a crise do coronavírus, ajudando os cientistas a entender mais rapidamente o vírus e determinar quais resultados de estudos são promissores. Como Uzzi disse à Fortune:

“Queremos começar a aplicar isso à questão do COVID – uma questão agora em que muitas coisas estão se tornando frouxas, e precisamos construir sobre uma base sólida de trabalho anterior. Não está claro qual trabalho anterior será reproduzido ou não e não temos tempo para reproduções.”

Uzzi e os outros pesquisadores esperam melhorar o modelo usando mais técnicas de processamento de linguagem natural, incluindo técnicas que a equipe criou para analisar transcrições de chamadas sobre lucros corporativos. A equipe de pesquisa já construiu um banco de dados de aproximadamente 30.000 transcrições de chamadas que eles analisarão em busca de pistas. Se a equipe puder construir um modelo bem-sucedido, eles podem ser capazes de convencer analistas e investidores a usar a ferramenta, o que poderia abrir caminho para outros usos inovadores do modelo e suas técnicas.