AI Struggler med å mestre Minecraft gjennom imitasjonslæring

I løpet av de siste månedene har Microsoft (MSFT ) og andre selskaper som forsker på maskinlæring utfordret lag av AI-utviklere til å lage et AI-system som kan spille Minecraft og finne en diamant innenfor spillet. Ifølge BBC har AI-plattformene klart å dominere sjakk og go, men de har slitt med å mestre en oppgave i Minecraft.

Microsofts Minecraft-baserte AI-utfordring het MineRL, og konkurranseresultatene ble offentliggjort på den nylige NeurIPS-konferansen. Konkurransens hensikt var å trene en AI gjennom en “imitasjonslæring”-tilnærming. Imitasjonslæring er en metode der en AI trenes gjennom observasjon. Imitasjonslæring har til hensikt å la AI-systemer lære handlinger ved å se på hvordan mennesker utfører disse handlingene, og lære gjennom observasjon. Imitasjonslæring er, i sammenligning med forsterkningslæring, en mye mindre datakrevende og mer effektiv måte å trene en AI på.

Forsterkningslæring krever ofte mange kraftige datamaskiner koblet sammen og hundredvis eller tusenvis av timer med trening for å bli effektive på en oppgave. I motsetning til dette kan en AI trenet med en imitasjonslæring-metode trenes mye raskere, ettersom AI-en allerede har en basis av kunnskap å jobbe med takket være de menneskelige operatørene som har foregått den.

Imitasjonslæring har praktiske anvendelser i trening av en AI der AI-en ikke kan utforske trygt før den har funnet ut de riktige handlingene. Slike scenarioer ville inkludere trening av en selvstyring bil, da bilen ikke kan tillates å bare kjøre rundt på en gate før den har lært ønskede atferd. Å bruke en menneskelig demonstrators data til å trene bilen kunne potensielt gjøre prosessen raskere og tryggere.

Handlingen å finne en diamant i Minecraft krever å utføre mange trinn i sekvens, som å hogge ned trær for å lage verktøy, utforske hulene som inneholder diamantene, og faktisk finne en diamant innenfor hulen. Til tross for kompleksiteten i oppgaven, burde en menneskelig spiller som er kjent med spillet være i stand til å få en diamant på rundt 20 minutter.

Over 660 forskjellige AI-agenter ble sendt inn til konkurransen, men ingen av AI-ene klarte å finne en diamant. Datamengden som ble brukt til å trene AI-en bestod av over 60 millioner bilder av spill fra mange menneskelige spillere. Diamantenes plasseringer er tilfeldige når en instans av spillet starter, så dette betyr at AI-ene ikke bare kan se hvor menneskelige spillere fant diamantene. Med andre ord, AI-ene må danne en forståelse av hvordan konsepter som å lage verktøy, bruke verktøy, utforske og finne ressurser, henger sammen.

Til tross for at ingen av AI-agentsene klarte å finne en diamant, var organisasjonsteamet likevel fornøyd med resultatene av konkurransen, og at mye ble likevel lært fra eksperimentet. Forskningen som AI-lagene utførte kan hjelpe med å fremme AI-feltet, og finne alternativer til forsterkningslæring-strategier.

Forsterkningslæring gir ofte overlegen ytelse sammenlignet med imitasjonslæring, med en bemerkelsesverdig suksess for forsterkningslæring være DeepMinds AlphaGo. Likevel, som tidligere nevnt, krever forsterkningslæring massive datamaskinressurser, og begrenser dermed bruken av denne metoden til organisasjoner som kan tilby store mengder datamaskinkraft.

William Guss, PhD-student ved Carnegie Mellon University og leder for konkurransen, fortalte BBC at MineRL-konkurransen var ment å undersøke alternativer til datamaskin-krevende AI. Guss sa:

“… Å kaste massive mengder datamaskinkraft på problemer er ikke nødvendigvis riktig måte å fremme feltet på… Det arbeider direkte mot å demokratisere tilgangen til disse forsterkningslæring-systemene, og lar evnen til å trene agenter i komplekse miljøer til korporasjoner med store mengder datamaskinkraft.”