AI kämpar för att bemästra Minecraft genom imitation-inlärning

Under de senaste månaderna har Microsoft och andra företag som forskar inom maskinlärning utmanat team av AI-utvecklare att skapa ett AI-system som kan spela Minecraft och hitta en diamant inom spelet. Som rapporterats av BBC, medan AI-plattformar har lyckats dominera schack och go, men de har kämpat för att bemästra en uppgift i Minecraft.

Microsofts Minecraft-baserade AI-utmaning kallades MineRL, och tävlingens resultat meddelades formellt på den nyliga NeurIPS-konferensen. Tävlingens avsikt var att träna ett AI med en “imitation-inlärnings”-metod. Imitation-inlärning är en metod där ett AI tränas med hjälp av observation. Imitation-inlärning syftar till att låta AI-system lära sig handlingar genom att titta på hur människor utför dessa handlingar, lära genom att observera. Imitation-inlärning, i jämförelse med förstärkningsinlärning, är en mycket mindre datorintensiv och avsevärt mer effektiv metod för att träna ett AI.

Förstärkningsinlärning kräver ofta många kraftfulla datorer som är nätverksanslutna och hundratals eller tusentals timmars träning för att bli effektivt på en uppgift. I kontrast kan ett AI som tränats med en imitation-inlärningsmetod tränas mycket snabbare, eftersom AI redan har en grundläggande kunskap att arbeta med tack vare de mänskliga operatörerna som har föregått det.

Imitation-inlärning har praktiska tillämpningar i träning av ett AI där AI inte kan utforska på ett säkert sätt tills det har lärt sig de korrekta handlingarna. Sådana scenarier skulle inkludera träning av ett autonomt fordon, eftersom bilen inte kan tillåtas att bara röra sig runt på en gata tills det har lärt sig önskade beteenden. Användning av en mänsklig demonstrators data för att träna fordonet kunde potentiellt göra processen snabbare och säkrare.

Att hitta en diamant i Minecraft kräver att många steg utförs i sekvens, såsom att hugga ner träd för att göra verktyg, utforska grottor som innehåller diamanter och faktiskt hitta en diamant inom grottan. Trots uppgiftens komplexitet borde en mänsklig spelare som är bekant med spelet kunna få en diamant på cirka 20 minuter.

Över 660 olika AI-agenter skickades in till tävlingen, men inte en enda av AI:erna kunde hitta en diamant. Datamaterialet som tillhandahölls för att träna AI var en dataset som innehöll över 60 miljoner spelramar som samlats in från många mänskliga spelare. Diamanternas platser är slumpmässigt genererade när en instans av spelet startas, så detta betyder att AI:erna inte kan enkelt titta var de mänskliga spelarna hittade diamanterna. Med andra ord, AI:erna behöver bilda en förståelse för hur koncept, som att göra verktyg, använda verktyg, utforska och hitta resurser, är sammankopplade.

Trots att ingen av AI-agenterna kunde lyckas hitta en diamant, var organisationslaget fortfarande nöjt med tävlingens resultat och att mycket ändå lärdes från experimentet. Forskningen som AI-lagen genomförde kan hjälpa till att främja AI-området, hitta alternativ till förstärkningsinlärningsstrategier.

Förstärkningsinlärning ger ofta överlägsen prestanda jämfört med imitation-inlärning, med en noterbar framgång för förstärkningsinlärning vara DeepMinds AlphaGo. Men, som tidigare nämnts, kräver förstärkningsinlärning massiva datorresurser, vilket begränsar dess användning av organisationer som inte kan bekosta datorprocessorer i stor skala.

William Guss, doktorand vid Carnegie Mellon University och huvudorganisatör för tävlingen, förklarade för BBC att MineRL-tävlingen var tänkt att undersöka alternativ till datorintensiv AI. Sade Guss:

“…Att kasta massiv dator kraft på problem är inte nödvändigtvis rätt sätt för oss att driva på tillståndet i konsten som ett fält… Det fungerar direkt mot att demokratisera tillgången till dessa förstärkningsinlärningssystem, och lämnar förmågan att träna agenter i komplexa miljöer till företag med stora mängder datorresurser.”