Les IA concourent dans la compétition d’apprentissage automatique Minecraft

Comme le rapporte Nature, une nouvelle compétition d’IA va bientôt avoir lieu, la compétition MineRL, qui encourage les ingénieurs et les codeurs d’IA à créer des programmes capables d’apprendre par observation et par exemple. Le cas de test pour ces systèmes d’IA sera le jeu vidéo de crafting et de survie très populaire Minecraft.

Les systèmes d’intelligence artificielle ont réalisé certains exploits impressionnants récemment lorsqu’il s’agit de jeux vidéo. Récemment, un IA a battu les meilleurs joueurs humains du monde au jeu de stratégie StarCraft II. Cependant, StarCraft II a des objectifs définissables qui sont plus faciles à décomposer en étapes cohérentes que l’IA peut utiliser pour s’entraîner. Une tâche beaucoup plus difficile est pour un IA d’apprendre à naviguer dans un jeu de bac à sable ouvert et vaste comme Minecraft. Les chercheurs visent à aider les programmes d’IA à apprendre par observation et par exemple, et s’ils réussissent, ils pourraient réduire considérablement la quantité de puissance de traitement nécessaire pour former un programme d’intelligence artificielle.

Les participants à la compétition auront quatre jours pour créer un IA qui sera testé avec Minecraft, prenant jusqu’à huit millions de pas pour former leur IA. L’objectif de l’IA est de trouver un diamant dans le jeu en creusant. Huit millions de pas de formation est un laps de temps beaucoup plus court que le temps nécessaire pour former des modèles d’IA puissants de nos jours, donc les participants à la compétition doivent concevoir des méthodes qui améliorent considérablement les méthodes de formation actuelles.

Les approches utilisées par les participants sont basées sur un type d’apprentissage appelé apprentissage par imitation. L’apprentissage par imitation se distingue de l’apprentissage par renforcement, qui est une méthode populaire pour former des systèmes sophistiqués comme les bras robotiques dans les usines ou les IA capables de battre les joueurs humains à StarCraft II. Le principal inconvénient des algorithmes d’apprentissage par renforcement est le fait qu’ils nécessitent une immense puissance de traitement pour s’entraîner, en s’appuyant sur des centaines ou même des milliers d’ordinateurs connectés pour apprendre. En revanche, l’apprentissage par imitation est une méthode d’apprentissage beaucoup plus efficace et moins coûteuse en termes de calcul. Les algorithmes d’apprentissage par imitation visent à imiter la façon dont les humains apprennent par observation.

William Guss, candidat au doctorat en théorie de l’apprentissage profond à l’Université Carnegie Mellon, a expliqué à Nature que faire en sorte qu’un IA explore et apprenne des modèles dans un environnement est une tâche extrêmement difficile, mais l’apprentissage par imitation fournit à l’IA une base de connaissances, ou de bonnes hypothèses, sur l’environnement. Cela peut rendre la formation d’un IA beaucoup plus rapide par rapport à l’apprentissage par renforcement.

Minecraft sert de environnement de formation particulièrement utile pour plusieurs raisons. Une raison est que Minecraft permet aux joueurs d’utiliser des blocs de construction simples pour créer des structures et des objets complexes, et les nombreuses étapes nécessaires pour créer ces structures servent de marqueurs de progrès tangibles que les chercheurs peuvent utiliser comme métriques. Minecraft est également extrêmement populaire, et en raison de cela, il est relativement facile de collecter des données de formation. Les organisateurs de la compétition MineRL ont recruté de nombreux joueurs de Minecraft pour démontrer une variété de tâches comme la création d’outils et la cassure de blocs. En crowdsourçant la génération de données, les chercheurs ont pu capturer 60 millions d’exemples d’actions qui pourraient être prises dans le jeu. Les chercheurs ont fourni environ 1000 heures de vidéo aux équipes de la compétition.

Utiliser les connaissances que les humains ont accumulées, dit Rohin Shah, candidat au doctorat en informatique à l’Université de Californie, Berkeley, a expliqué à Nature que cette compétition est probablement la première à se concentrer sur l’utilisation des connaissances que les humains ont déjà générées pour accélérer la formation de l’IA.

Guss et les autres chercheurs sont optimistes quant au fait que le concours pourrait avoir des résultats avec des implications au-delà de Minecraft, donnant naissance à de meilleurs algorithmes d’apprentissage par imitation et inspirant plus de personnes à considérer l’apprentissage par imitation comme une forme viable de formation d’un IA. La recherche pourrait potentiellement aider à créer des IA capables d’interagir mieux avec les humains dans des environnements complexes et changeants.