AI’s concurreren in Minecraft Machine Learning-competitie

Volgens een artikel in Nature zal er binnenkort een nieuwe AI-competitie plaatsvinden, de MineRL-competitie, die AI-ingenieurs en programmeurs aanmoedigt om programma’s te creëren die in staat zijn om te leren door observatie en voorbeeld. Het testgeval voor deze AI-systemen zal het zeer populaire craft- en overlevingsspel Minecraft zijn.

Kunstmatige intelligentiesystemen hebben onlangs enkele indrukwekkende prestaties geleverd op het gebied van videospellen. Onlangs versloeg een AI de beste menselijke spelers ter wereld in het strategie spel StarCraft II. Echter, StarCraft II heeft definieerbare doelen die gemakkelijker zijn om te breken in coherente stappen die een AI kan gebruiken om te trainen. Een veel moeilijkere taak is voor een AI om te leren hoe het een groot, open wereld spel zoals Minecraft moet navigeren. Onderzoekers proberen te helpen bij het leren van AI-programma’s door observatie en voorbeeld, en als ze succesvol zijn, kunnen ze het benodigde verwerkingsvermogen voor het trainen van een kunstmatig intelligentieprogramma aanzienlijk verminderen.

De deelnemers aan de competitie hebben vier dagen de tijd om een AI te creëren die getest zal worden met Minecraft, met maximaal acht miljoen stappen om hun AI te trainen. Het doel van de AI is om een diamant in het spel te vinden door te graven. Acht miljoen stappen van training is een veel kortere tijdspanne dan de tijd die nodig is om krachtige AI-modellen te trainen, dus de deelnemers aan de competitie moeten methoden ontwikkelen die de huidige trainingsmethoden aanzienlijk verbeteren.

De benaderingen die door de deelnemers worden gebruikt, zijn gebaseerd op een type leren dat imitatie leren wordt genoemd. Imitatie leren staat in contrast met versterking leren, dat een populaire methode is voor het trainen van geavanceerde systemen zoals robotarmen in fabrieken of AI’s die in staat zijn om menselijke spelers te verslaan in StarCraft II. Het primaire nadeel van versterking leren algoritmes is het feit dat ze immense computerverwerkingskracht nodig hebben om te trainen, waarbij ze honderden of zelfs duizenden computers nodig hebben die met elkaar zijn verbonden om te leren. Imitatie leren is daarentegen een veel efficiëntere en minder computationeel dure methode van trainen. Imitatie leren algoritmes proberen te imiteren hoe mensen leren door observatie.

William Guss, een PhD-kandidaat in diep leren theorie aan de Carnegie Mellon University, legde aan Nature uit dat het krijgen van een AI om te verkennen en patronen te leren in een omgeving een enorm moeilijke taak is, maar imitatie leren geeft de AI een baseline van kennis, of goede aannamen, over de omgeving. Dit kan het trainen van een AI veel sneller maken in vergelijking met versterking leren.

Minecraft dient als een bijzonder nuttige trainingsomgeving om meerdere redenen. Een reden is dat Minecraft spelers toelaat om eenvoudige bouwblokken te gebruiken om complexe structuren en items te creëren, en de vele stappen die nodig zijn om deze structuren te creëren dienen als tastbare markers van vooruitgang die onderzoekers kunnen gebruiken als metrics. Minecraft is ook extreem populair, en door dit, is het relatief gemakkelijk om trainingsgegevens te verzamelen. De organisatoren van de MineRL-competitie hebben veel Minecraft-spelers gerekruteerd om een verscheidenheid aan taken te demonstreren, zoals het creëren van tools en het breken van blokken. Door het crowdsourcen van gegevensgeneratie, konden onderzoekers 60 miljoen voorbeelden van acties die in het spel konden worden genomen, vastleggen. De onderzoekers gaven ongeveer 1000 uur aan video aan de competitieteams.

Gebruik de kennis die mensen hebben opgebouwd, zegt Rohin Shah, PhD-kandidaat in computerwetenschappen aan de University of California, Berkeley, tegen Nature dat deze competitie waarschijnlijk de eerste is die zich richt op het gebruik van de kennis die mensen al hebben gegenereerd om de training van AI te versnellen.

Guss en de andere onderzoekers zijn hoopvol dat de wedstrijd resultaten kan opleveren met implicaties die verder gaan dan Minecraft, wat kan leiden tot betere imitatie leren algoritmes en meer mensen kan inspireren om imitatie leren te overwegen als een haalbare vorm van training van een AI. Het onderzoek kan mogelijk helpen bij het creëren van AI’s die beter in staat zijn om met mensen te communiceren in complexe, veranderende omgevingen.