L’IA en tant que chercheur : premier article de recherche examiné par des pairs écrit sans humains

L’intelligence artificielle a franchi un autre cap significatif qui remet en question notre compréhension de ce que les machines peuvent accomplir de manière indépendante. Pour la première fois dans l’histoire scientifique, un système d’IA a rédigé un article de recherche complet qui a passé l’examen par des pairs lors d’une conférence universitaire sans aucune assistance humaine dans le processus d’écriture. Cette avancée pourrait être un changement fondamental dans la façon dont la recherche scientifique pourrait être menée à l’avenir.

Exploit historique

Un article produit par The AI Scientist-v2 a passé le processus d’examen par des pairs lors d’un atelier dans une conférence internationale d’IA de premier plan. La recherche a été soumise à un atelier ICLR 2025, qui est l’un des lieux les plus prestigieux en apprentissage automatique. L’article a été généré par une version améliorée de l’original AI Scientist, appelé The AI Scientist-v2.

L’article accepté, intitulé “Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization“, a reçu des scores impressionnants de la part des examinateurs humains. Sur les trois articles soumis pour examen, un a reçu des notes qui le plaçaient au-dessus du seuil d’acceptation. Cette avancée est une avancée significative car l’IA peut maintenant participer au processus fondamental de la découverte scientifique qui a été exclusivement humain pendant des siècles.

L’équipe de recherche de Sakana AI, travaillant avec des collaborateurs de l’Université de la Colombie-Britannique et de l’Université d’Oxford, a mené cette expérience. Ils ont reçu l’approbation du conseil d’examen institutionnel et ont travaillé directement avec les organisateurs de la conférence ICLR pour s’assurer que l’expérience suivait les protocoles scientifiques appropriés.

Comment fonctionne The AI Scientist-v2

The AI Scientist-v2 a atteint ce succès grâce à plusieurs avancées majeures par rapport à son prédécesseur. Contrairement à son prédécesseur, l’AI Scientist-v2 élimine le besoin de modèles de code rédigés par des humains, peut travailler dans divers domaines d’apprentissage automatique et emploie une méthodologie de recherche d’arbre pour explorer plusieurs voies de recherche simultanément.

Le système fonctionne via un processus de bout en bout qui reflète la façon dont les chercheurs humains travaillent. Il commence par formuler des hypothèses scientifiques basées sur le domaine de recherche qu’il est chargé d’explorer. L’IA conçoit ensuite des expériences pour tester ces hypothèses, rédige le code nécessaire pour réaliser les expériences et les exécute automatiquement.

Ce qui rend ce système particulièrement avancé, c’est son utilisation de la méthodologie de recherche d’arbre agentic. Cette approche permet à l’IA d’explorer plusieurs directions de recherche simultanément, comme le feraient les chercheurs humains pour considérer diverses approches pour résoudre un problème. Cela implique la réalisation d’expériences via la recherche d’arbre agentic, l’analyse des résultats et la génération d’un brouillon d’article. Un agent de gestion d’expérience dédié coordonne l’ensemble de ce processus pour s’assurer que la recherche reste ciblée et productive.

Le système comprend également un composant d’examen IA amélioré qui utilise des modèles de langage de vision pour fournir des commentaires sur le contenu et la présentation visuelle des résultats de recherche. Cela crée un processus de raffinement itératif où l’IA peut améliorer son propre travail en fonction des commentaires, similaire à la façon dont les chercheurs humains affinent leurs manuscrits en fonction des commentaires de leurs collègues.

Ce qui rend cette étude de recherche spéciale

L’article accepté s’est concentré sur un problème difficile en apprentissage automatique appelé généralisation compositionnelle. Cela fait référence à la capacité des réseaux de neurones à comprendre et à appliquer les concepts appris dans de nouvelles combinaisons qu’ils n’ont jamais vues auparavant. L’AI Scientist-v2 a étudié de nouvelles méthodes de régularisation qui pourraient améliorer cette capacité.

Intéressant, l’article a également signalé des résultats négatifs. L’IA a découvert que certaines approches qu’elle avait hypothétisées amélioreraient les performances des réseaux de neurones créaient en fait des obstacles inattendus. En science, les résultats négatifs sont précieux car ils empêchent d’autres chercheurs de poursuivre des voies non productives et contribuent à notre compréhension de ce qui ne fonctionne pas.

La recherche a suivi des normes scientifiques rigoureuses tout au long du processus. L’AI Scientist-v2 a réalisé plusieurs séries d’expériences pour assurer la validité statistique, a créé des visualisations claires de ses résultats et a correctement cité les travaux précédents pertinents. Il a formaté l’ensemble du manuscrit selon les normes universitaires et a rédigé des discussions complètes de sa méthodologie et de ses résultats.

Les chercheurs humains qui ont supervisé le projet ont effectué leur propre examen approfondi des trois articles générés. Ils ont constaté que même si l’article accepté était de qualité d’atelier, il contenait certains problèmes techniques qui l’empêcheraient d’être accepté dans la piste principale de la conférence. Cette évaluation honnête démontre les limites actuelles tout en reconnaissant les progrès significatifs réalisés.

Capacités et améliorations techniques

L’AI Scientist-v2 démontre plusieurs capacités techniques remarquables qui le distinguent des systèmes de recherche automatisés précédents. Le système peut fonctionner dans divers domaines d’apprentissage automatique sans nécessiter de modèles de code préécrits. Cette flexibilité signifie qu’il peut s’adapter à de nouveaux domaines de recherche et générer des approches expérimentales originales plutôt que de suivre des modèles prédéterminés.

La méthodologie de recherche d’arbre est une innovation significative dans l’automatisation de la recherche IA. Plutôt que de poursuivre une seule direction de recherche, le système peut maintenir plusieurs hypothèses simultanément et allouer des ressources computationnelles en fonction de la promesse que chaque direction montre. Cette approche reflète la façon dont les chercheurs humains expérimentés maintiennent souvent plusieurs fils de recherche tout en se concentrant principalement sur les voies les plus prometteuses.

Une autre amélioration cruciale est l’intégration de modèles de langage de vision pour examiner et raffiner les éléments visuels des articles de recherche. Les figures et les visualisations scientifiques sont essentielles pour communiquer efficacement les résultats de recherche. L’IA peut maintenant évaluer et améliorer ses propres visualisations de données de manière itérative.

Le système démontre également une compréhension des conventions d’écriture scientifique. Il structure correctement les articles avec des sections appropriées, maintient une terminologie cohérente dans les manuscrits et crée un flux logique entre les différentes parties de la narration de recherche. L’IA montre une conscience de la façon de présenter la méthodologie, de discuter des limites et de contextualiser les résultats dans la littérature existante.

Limitations et défis actuels

Malgré cette réalisation historique, plusieurs limites importantes restreignent les capacités actuelles de la recherche générée par l’IA. La société a déclaré que none de ses études générées par l’IA n’avait atteint son niveau interne pour les normes de publication de la piste de conférence ICLR. Cela indique que même si l’IA peut produire des recherches de qualité d’atelier, atteindre les niveaux les plus élevés de publication scientifique reste un défi.

Les taux d’acceptation fournissent un contexte important pour évaluer cette réalisation. L’article a été accepté dans une piste d’atelier, qui a généralement des normes moins strictes que la conférence principale (60-70 % de taux d’acceptation par rapport aux 20-30 % de taux d’acceptation typiques des pistes de conférence principales). Même si cela ne diminue pas l’importance de la réalisation, cela suggère que produire des recherches vraiment révolutionnaires reste au-delà des capacités actuelles de l’IA.

L’AI Scientist-v2 a également démontré certaines faiblesses que les chercheurs humains ont identifiées lors de leur processus d’examen. Le système a parfois commis des erreurs de citation, attribuant les résultats de recherche à des auteurs ou des publications incorrects. Il a également eu des difficultés avec certains aspects de la conception expérimentale que les experts humains auraient abordés différemment.

Peut-être plus important encore, la recherche générée par l’IA s’est concentrée sur des améliorations incrémentielles plutôt que sur des découvertes qui changent de paradigme. Le système semble plus capable de mener des enquêtes approfondies dans des cadres de recherche établis que de proposer de nouvelles façons de penser les problèmes scientifiques.

La voie à suivre

L’examen par des pairs de la recherche générée par l’IA est le début d’une nouvelle ère dans la recherche scientifique. À mesure que les modèles de base continuent de s’améliorer, nous pouvons nous attendre à ce que The AI Scientist et des systèmes similaires produisent des recherches de plus en plus sophistiquées qui approchent et potentiellement dépassent les capacités humaines dans de nombreux domaines.

L’équipe de recherche prévoit que les versions futures seront capables de produire des articles dignes d’être acceptés dans les conférences et les revues de premier plan. La progression logique suggère que les systèmes d’IA pourraient éventuellement contribuer à des découvertes révolutionnaires dans des domaines allant de la médecine à la physique en passant par la chimie.

Ce développement soulève également des questions importantes sur l’éthique de la recherche et les normes de publication. La communauté scientifique doit développer de nouvelles normes pour gérer la recherche générée par l’IA, y compris quand et comment divulguer l’implication de l’IA et comment évaluer un tel travail par rapport à la recherche générée par des humains.

La transparence démontrée par l’équipe de recherche dans cette expérience fournit un modèle précieux pour l’évaluation future des capacités de recherche automatisée. En travaillant ouvertement avec les organisateurs de la conférence et en soumettant leur travail généré par l’IA aux mêmes normes que la recherche humaine, ils ont établi des précédents importants pour le développement responsable des capacités de recherche automatisée.

En résumé

L’acceptation d’un article rédigé par l’IA dans un atelier de premier plan en apprentissage automatique est une avancée significative dans les capacités de l’IA. Même si le travail n’est pas encore au niveau d’une conférence de premier plan, il démontre une trajectoire claire vers l’implication de l’IA dans la découverte scientifique. Le défi réside maintenant non seulement dans le progrès technologique, mais également dans l’élaboration des cadres éthiques et universitaires qui régiront cette nouvelle frontière de la recherche.