La IA podría ayudar a los investigadores a determinar qué artículos pueden ser replicados, apunta a abordar la crisis de reproducción

En los últimos años, se ha prestado cada vez más atención a lo que los académicos y los investigadores llaman la crisis de replicación/reproducibilidad. Muchos estudios simplemente no logran dar los mismos resultados significativos cuando se intenta replicar el estudio, y como resultado, la comunidad científica está preocupada por que los hallazgos a menudo se exageran. El problema afecta campos tan diversos como la psicología y la inteligencia artificial. Cuando se trata del campo de la IA, muchos artículos no revisados por pares se publican con resultados impresionantes que otros investigadores no pueden reproducir. Con el fin de abordar el problema y reducir el número de estudios no reproducibles, los investigadores han diseñado un modelo de IA que apunta a determinar qué artículos pueden ser replicados.

Como informa Fortune, un nuevo artículo publicado por un equipo de investigadores de la Escuela de Administración Kellog y el Instituto de Sistemas Complejos de la Universidad Northwestern presenta un modelo de aprendizaje profundo que puede potencialmente determinar qué estudios son probablemente reproducibles y qué estudios no lo son. Si el sistema de IA puede discriminar de manera confiable entre estudios reproducibles y no reproducibles, podría ayudar a universidades, institutos de investigación, empresas y otras entidades a filtrar miles de artículos de investigación para determinar qué artículos son más probablemente útiles y confiables.

El sistema de IA desarrollado por el equipo de Northwestern no utiliza el tipo de evidencia empírica/estadística que los investigadores suelen utilizar para determinar la validez de los estudios. El modelo emplea técnicas de procesamiento de lenguaje natural para intentar cuantificar la confiabilidad de un artículo. El sistema extrae patrones en el lenguaje utilizado por los autores de un artículo, encontrando que algunos patrones de palabras indican una mayor confiabilidad que otros.

El equipo de investigación se basó en investigaciones psicológicas tan antiguas como la década de 1960, que encontraron que las personas a menudo comunican el nivel de confianza que tienen en sus ideas a través de las palabras que utilizan. Siguiendo esta idea, los investigadores pensaron que los autores de un artículo podrían señalar inconscientemente su confianza en sus hallazgos de investigación al escribir sus artículos. Los investigadores realizaron dos rondas de entrenamiento, utilizando diferentes conjuntos de datos. Inicialmente, el modelo se entrenó en aproximadamente dos millones de resúmenes de artículos científicos, mientras que la segunda vez el modelo se entrenó en artículos completos para tomar de un proyecto destinado a determinar qué artículos de psicología pueden ser reproducidos – el Proyecto de Reproducibilidad: Psicología.

Después de probar, los investigadores desplegaron el modelo en una colección de cientos de otros artículos, tomados de diversos campos como la psicología y la economía. Los investigadores encontraron que su modelo dio una predicción más confiable sobre la reproducibilidad de un artículo que las técnicas estadísticas que normalmente se utilizan para determinar si los resultados de un artículo pueden ser replicados.

El investigador y profesor de la Escuela de Administración Kellog, Brian Uzzi, explicó a Fortune que, aunque tiene esperanzas de que el modelo de IA pueda ser utilizado algún día para ayudar a los investigadores a determinar cuán probable es que los resultados se reproduzcan, el equipo de investigación no está seguro de los patrones y detalles que su modelo aprendió. El hecho de que los modelos de aprendizaje automático a menudo sean cajas negras es un problema común dentro de la investigación de IA, pero este hecho podría hacer que otros científicos se mostraran reacios a utilizar el modelo.

Uzzi explicó que el equipo de investigación espera que el modelo pueda ser utilizado potencialmente para abordar la crisis del coronavirus, ayudando a los científicos a entender más rápidamente el virus y determinar qué resultados de los estudios son prometedores. Como dijo Uzzi a Fortune:

“Queremos comenzar a aplicar esto al problema del COVID – un problema en este momento en el que muchas cosas se están relajando, y necesitamos construir sobre una base sólida de trabajo previo. No está claro qué trabajo previo se va a reproducir o no, y no tenemos tiempo para repeticiones”.

Uzzi y los otros investigadores esperan mejorar el modelo utilizando técnicas de procesamiento de lenguaje natural adicionales, incluyendo técnicas que el equipo creó para analizar transcripciones de llamadas sobre ganancias corporativas. El equipo de investigación ya ha construido una base de datos de aproximadamente 30,000 transcripciones de llamadas que analizarán en busca de pistas. Si el equipo puede construir un modelo exitoso, podrían convencer a analistas e inversores de que utilicen la herramienta, lo que podría allanar el camino para otros usos innovadores del modelo y sus técnicas.