L’IA pourrait aider les chercheurs à déterminer quels articles peuvent être reproduits, vise à résoudre la crise de reproduction

De plus en plus d’attention est portée ces dernières années à ce que les universitaires et les chercheurs appellent la crise de reproduction. De nombreuses études échouent simplement à donner les mêmes résultats significatifs lorsque la reproduction de l’étude est tentée, et en conséquence, la communauté scientifique s’inquiète que les résultats soient souvent surexcités. Le problème affecte des domaines aussi divers que la psychologie et l’intelligence artificielle. Lorsqu’il s’agit du domaine de l’IA, de nombreux articles non révisés par des pairs sont publiés affirmant des résultats impressionnants que d’autres chercheurs ne peuvent reproduire. Afin de résoudre le problème et de réduire le nombre d’études non reproductibles, les chercheurs ont conçu un modèle d’IA qui vise à déterminer quels articles peuvent être reproduits.

Selon Fortune, un nouvel article publié par une équipe de chercheurs de la Kellog School of Management et de l’Institut des systèmes complexes de l’Université Northwestern présente un modèle d’apprentissage profond qui peut potentiellement déterminer quels études sont susceptibles d’être reproductibles, et quels études ne le sont pas. Si le système d’IA peut de manière fiable faire la distinction entre les études reproductibles et non reproductibles, il pourrait aider les universités, les instituts de recherche, les entreprises et d’autres entités à trier des milliers d’articles de recherche pour déterminer quels articles sont les plus susceptibles d’être utiles et fiables.

Le système d’IA développé par l’équipe de Northwestern n’utilise pas le type de preuves empiriques/statistiques que les chercheurs utilisent généralement pour établir la validité des études. Le modèle utilise en fait des techniques de traitement du langage naturel pour essayer de quantifier la fiabilité d’un article. Le système extrait des modèles dans le langage utilisé par les auteurs d’un article, constatant que certains modèles de mots indiquent une fiabilité plus grande que d’autres.

L’équipe de recherche s’est appuyée sur des recherches psychologiques anciennes, datant des années 1960, qui ont constaté que les gens communiquent souvent leur niveau de confiance dans leurs idées à travers les mots qu’ils utilisent. En s’appuyant sur cette idée, les chercheurs ont pensé que les auteurs d’articles pourraient involontairement signaler leur confiance dans leurs résultats de recherche lors de la rédaction de leurs articles. Les chercheurs ont effectué deux rounds de formation, en utilisant des ensembles de données différents. Initialement, le modèle a été formé sur environ deux millions de résumés d’articles scientifiques, tandis que la deuxième fois, le modèle a été formé sur des articles complets pour prendre des données d’un projet destiné à déterminer quels articles de psychologie peuvent être reproduits – le Projet de reproductibilité : Psychologie.

Après les tests, les chercheurs ont déployé le modèle sur une collection de centaines d’autres articles, provenant de divers domaines tels que la psychologie et l’économie. Les chercheurs ont constaté que leur modèle a donné une prédiction plus fiable concernant la reproductibilité d’un article que les techniques statistiques utilisées pour déterminer si les résultats d’un article peuvent être reproduits.

Le chercheur et professeur de la Kellog School of Management, Brian Uzzi, a expliqué à Fortune qu’il est optimiste que le modèle d’IA pourrait un jour être utilisé pour aider les chercheurs à déterminer à quel point les résultats sont susceptibles d’être reproduits, mais que l’équipe de recherche est incertaine des modèles et des détails que leur modèle a appris. Le fait que les modèles d’apprentissage automatique soient souvent des boîtes noires est un problème courant dans la recherche en IA, mais ce fait pourrait rendre les autres scientifiques hésitants à utiliser le modèle.

Uzzi a expliqué que l’équipe de recherche espère que le modèle pourrait potentiellement être utilisé pour résoudre la crise du coronavirus, en aidant les scientifiques à comprendre plus rapidement le virus et à déterminer quels résultats d’études sont prometteurs. Comme l’a déclaré Uzzi à Fortune:

« Nous voulons commencer à appliquer cela à la question du COVID – une question actuelle où de nombreuses choses deviennent laxistes, et nous devons nous appuyer sur une base solide de travaux antérieurs. Il n’est pas clair quels travaux antérieurs seront reproduits ou non, et nous n’avons pas le temps pour les reproductions. »

Uzzi et les autres chercheurs espèrent améliorer le modèle en utilisant davantage de techniques de traitement du langage naturel, y compris des techniques que l’équipe a créées pour analyser les transcriptions d’appels téléphoniques concernant les bénéfices des entreprises. L’équipe de recherche a déjà construit une base de données d’environ 30 000 transcriptions d’appels qu’ils analyseront pour trouver des indices. Si l’équipe peut construire un modèle réussi, ils pourraient peut-être convaincre les analystes et les investisseurs d’utiliser l’outil, ce qui pourrait ouvrir la voie à d’autres utilisations innovantes du modèle et de ses techniques.