Code humain de 2020 écrase les agents codés par ambiance dans les tests d’agents

ChatGPT et d’autres outils de codage par ambiance ont été mis à l’épreuve dans près de 40 000 matches – et ont perdu face au code écrit par des étudiants en master avant l’invention des grands modèles de langage.

Dans une nouvelle étude du Royaume-Uni, les chercheurs ont opposé des agents codés par des humains à des agents codés par ambiance développés avec les derniers grands modèles de langage (LLM), tels que ChatGPT-5 et Claude, et ont constaté que les agents créés sans l’aide de l’IA battaient très facilement les versions facilitées par l’IA.

Les deux ensembles d’agents ont été créés par différentes générations d’étudiants du Laboratoire d’intelligence artificielle de l’Institut fédéral suisse de technologie de Lausanne. Les agents non-IA ont été développés dans le cadre d’un travail scolaire en 2020, deux ans avant l’apparition de ChatGPT et le début de la révolution LLM, tandis que les nouveaux agents ont été créés par des étudiants actuels, aidés par les derniers et les meilleurs LLM disponibles.

Même avec un jeu truqué, les solutions codées par ambiance ne pouvaient pas gagner, et les cinq premières places étaient systématiquement occupées par des agents « bruts », avec la majorité des agents LLM (33 sur 40) battus sans effort par des agents de base « très simples », sur 38 304 défis dans un tournoi, sur un large éventail de variables et de circonstances.