Cientistas Internacionais Pedem Mais Transparência na Pesquisa de IA

Um grupo de cientistas internacionais de várias instituições, incluindo o Princess Margaret Cancer Centre, Universidade de Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health e Massachusetts Institute of Technology, estão pedindo mais transparência na pesquisa de inteligência artificial (IA). A principal força por trás desse apelo é liberar descobertas importantes que possam ajudar a acelerar o tratamento do câncer com base na pesquisa.

O artigo em que os cientistas pediram que os periódicos científicos elevem seus padrões em termos de transparência entre os pesquisadores computacionais foi publicado na Nature em 14 de outubro de 2020. O grupo também defendeu que seus colegas devem liberar o código, o modelo e os ambientes computacionais nas publicações.

O artigo foi intitulado “Transparência e reprodutibilidade em inteligência artificial.”

Liberando Detalhes do Estudo de IA

O Dr. Benjamin Haibe-Kains é um cientista sênior no Princess Margaret Cancer Centre e autor principal da publicação.

“O progresso científico depende da capacidade dos pesquisadores de examinar os resultados de um estudo e reproduzir as principais descobertas para aprender”, diz o Dr. Haibe-Kains. “Mas na pesquisa computacional, ainda não é um critério amplamente difundido para que os detalhes de um estudo de IA sejam totalmente acessíveis. Isso é prejudicial ao nosso progresso.”

As preocupações surgiram após um estudo do Google (GOOGL ) Health publicado por McKinney et al. em um periódico científico importante em 2020, no qual se alegou que um sistema de IA poderia superar os radiologistas humanos em robustez e velocidade no screening de câncer de mama. O estudo recebeu muita atenção da mídia em várias publicações importantes.

Incapacidade de Reproduzir Modelos

Uma das principais preocupações que surgiram após o estudo foi que ele não descreveu adequadamente os métodos utilizados, bem como o código e os modelos. Essa falta de transparência significou que os pesquisadores não puderam aprender como o modelo opera, resultando no modelo não podendo ser utilizado por outras instituições.

“No papel e na teoria, o estudo de McKinney et al. é lindo”, diz o Dr. Haibe-Kains. “Mas se não podemos aprender com ele, então ele tem pouco ou nenhum valor científico.”

O Dr. Haibe-Kains foi nomeado professor associado de biofísica médica na Universidade de Toronto. Ele também é afiliado ao Vector Institute for Artificial Intelligence.

“Os pesquisadores estão mais incentivados a publicar suas descobertas do que a gastar tempo e recursos garantindo que seu estudo possa ser reproduzido”, continua o Dr. Haibe-Kains. “Os periódicos são vulneráveis ao ‘hype’ da IA e podem baixar os padrões para aceitar artigos que não incluem todos os materiais necessários para tornar o estudo reprodutível — muitas vezes em contradição com suas próprias diretrizes.”

Esse ambiente significa que os modelos de IA podem levar mais tempo para chegar aos ambientes clínicos, e os modelos não podem ser reproduzidos ou aprendidos pelos pesquisadores.

O grupo de pesquisadores propôs várias estruturas e plataformas para remediar essa questão e permitir que os métodos sejam compartilhados.

“Temos grandes esperanças para a utilidade da IA para nossos pacientes com câncer”, diz o Dr. Haibe-Kains. “Compartilhar e construir sobre nossas descobertas — essa é a verdadeira influência científica.”