AI worstelt om Minecraft te beheersen via imitatie-leer

De afgelopen maanden hebben Microsoft (MSFT ) en andere bedrijven die onderzoek doen naar machine learning, teams van AI-ontwikkelaars uitgedaagd om een AI-systeem te creëren dat Minecraft kan spelen en een diamant kan vinden in het spel. Volgens de BBC hebben AI-platforms het spel schaak en Go weten te domineren, maar hebben ze moeite om een taak in Minecraft te beheersen.

De Minecraft-gerelateerde AI-uitdaging van Microsoft heette MineRL, en de resultaten van de competitie werden formeel aangekondigd op de recente NeurIPS-conferentie. Het doel van de competitie was om een AI te trainen via een “imitatie-leer”-benadering. Imitatie-leer is een methode waarbij een AI wordt getraind door middel van observatie. Imitatie-leer heeft als doel om AI-systemen in staat te stellen om acties te leren door naar mensen te kijken die deze acties uitvoeren, en om te leren door middel van observatie. Imitatie-leer is, in vergelijking met versterking-leer, een veel minder computationeel intensieve en veel efficiëntere manier om een AI te trainen.

Versterking-leer vereist vaak veel krachtige computers die met elkaar zijn verbonden en honderden of duizenden uren training om effectief te worden in een taak. In tegenstelling tot een AI die is getraind met een imitatie-leer-methode, kan een AI veel sneller worden getraind, omdat de AI al een basis van kennis heeft om mee te werken, dankzij de menselijke operators die hem zijn voorgegaan.

Imitatie-leer heeft praktische toepassingen in het trainen van een AI waar de AI niet veilig kan exploreren totdat hij de juiste acties heeft geleerd. Dergelijke scenario’s zouden het trainen van een autonome auto omvatten, waar de auto niet zomaar rond kan rijden op een straat totdat hij de gewenste gedragingen heeft geleerd. Het gebruik van gegevens van een menselijke demonstrator om de auto te trainen, kan het proces mogelijk sneller en veiliger maken.

Het vinden van een diamant in Minecraft vereist het uitvoeren van veel stappen in een bepaalde volgorde, zoals het omhakken van bomen om gereedschap te maken, het exploreren van grotten die diamanten bevatten, en het daadwerkelijk vinden van een diamant in de grot. Ondanks de complexiteit van de taak, zou een menselijke speler die vertrouwd is met het spel, in staat moeten zijn om een diamant te vinden in ongeveer 20 minuten.

Er werden meer dan 660 verschillende AI-agents ingediend bij de competitie, maar geen enkele van de AI’s kon een diamant vinden. De gegevens die werden verstrekt om de AI te trainen, bestonden uit een dataset met meer dan 60 miljoen frames van gameplay, verzameld van veel menselijke spelers. De locaties van diamanten worden gerandomiseerd wanneer een instantie van het spel wordt gestart, wat betekent dat de AI’s niet eenvoudigweg kunnen kijken waar de menselijke spelers de diamanten vonden. Met andere woorden, de AI’s moeten een begrip vormen van hoe concepten zoals het maken van gereedschap, het gebruik van gereedschap, het exploreren en het vinden van resources, met elkaar verbonden zijn.

Ondanks het feit dat geen van de AI-agents erin slaagde om een diamant te vinden, was het organisatieteam nog steeds tevreden met de resultaten van de competitie, en werd er veel geleerd van het experiment. Het onderzoek dat de AI-teams hebben uitgevoerd, kan helpen om het AI-veld te verbeteren, door alternatieven te vinden voor versterking-leer-strategieën.

Versterking-leer levert vaak een betere prestatie dan imitatie-leer, met als opvallend voorbeeld de overwinning van DeepMind’s AlphaGo. Echter, zoals eerder vermeld, vereist versterking-leer enorme computationele middelen, waardoor het gebruik ervan beperkt is tot organisaties die grote hoeveelheden computerprocessoren kunnen betalen.

William Guss, PhD-student aan de Carnegie Mellon University en hoofdorganisator van de competitie, legde aan de BBC uit dat de MineRL-competitie bedoeld was om alternatieven te onderzoeken voor computationeel zware AI. Guss zei:

“… Het werpen van enorme computationele middelen op problemen is niet noodzakelijkerwijs de juiste manier voor ons om de staat van de techniek in dit veld te verbeteren… Het werkt rechtstreeks tegen het democratiseren van de toegang tot deze versterking-leer-systemen, en laat de mogelijkheid om agents te trainen in complexe omgevingen over aan bedrijven met grote hoeveelheden computationele middelen.”