Lupta inteligenței artificiale de a stăpâni Minecraft prin învățarea prin imitare

În ultimele luni, Microsoft (MSFT ) și alte companii care efectuează cercetări în domeniul învățării mașinilor au provocat echipe de dezvoltatori de inteligență artificială să creeze un sistem de inteligență artificială care să poată juca Minecraft și să găsească un diamant în joc. Conform unui raport al BBC, deși platformele de inteligență artificială au reușit să domine șahul și go, acestea au avut dificultăți în a stăpâni o sarcină în Minecraft.

Provocarea Minecraft a Microsoft, numită MineRL, a fost anunțată oficial la recenta conferință NeurIPS. Scopul concursului a fost de a antrena o inteligență artificială prin abordarea “învățării prin imitare”. Învățarea prin imitare este o metodă prin care o inteligență artificială este antrenată prin observație. Învățarea prin imitare are ca scop să permită sistemelor de inteligență artificială să învețe acțiuni prin observarea oamenilor care efectuează acele acțiuni, învățând prin actul de observație. Învățarea prin imitare, în comparație cu învățarea prin întărire, este o metodă mult mai puțin costisitoare din punct de vedere computațional și mult mai eficientă pentru antrenarea unei inteligențe artificiale.

Învățarea prin întărire necesită adesea multe calculatoare puternice conectate în rețea și sute sau mii de ore de antrenament pentru a deveni eficientă la o sarcină. În contrast, o inteligență artificială antrenată prin metoda învățării prin imitare poate fi antrenată mult mai rapid, deoarece inteligența artificială are deja o bază de cunoștințe cu care să lucreze, mulțumită operatorilor umani care au precedat-o.

Învățarea prin imitare are aplicații practice în antrenarea unei inteligențe artificiale în situații în care inteligența artificială nu poate explora în siguranță până nu află acțiunile corecte. Astfel de scenarii ar include antrenarea unui vehicul autonom, deoarece mașina nu ar putea fi lăsată să hălăduiască pe stradă până nu învață comportamentele dorite. Utilizarea datelor unui demonstrator uman pentru a antrena vehiculul ar putea face procesul mai rapid și mai sigur.

Actul de a găsi un diamant în Minecraft necesită efectuarea a numeroase pași în secvență, cum ar fi tăierea copacilor pentru a face unelte, explorarea peșterilor care conțin diamante și găsirea efectivă a unui diamant în peșteră. În ciuda complexității sarcinii, un jucător uman familiarizat cu jocul ar trebui să poată găsi un diamant în aproximativ 20 de minute.

Au fost trimise peste 660 de agenți de inteligență artificială diferiți la concurs, dar niciunul dintre aceștia nu a reușit să găsească un diamant. Datele furnizate pentru a antrena inteligența artificială au constituit un set de date care conțineau peste 60 de milioane de cadre de joc colectate de la mulți jucători umani. Locațiile diamantelor sunt aleatorizate atunci când o instanță a jocului este pornită, ceea ce înseamnă că inteligențele artificiale nu pot pur și simplu să caute acolo unde jucătorii umani au găsit diamante. Cu alte cuvinte, inteligențele artificiale trebuie să formeze o înțelegere a modului în care concepte precum fabricarea uneltelor, utilizarea uneltelor, explorarea și găsirea resurselor sunt legate între ele.

În ciuda faptului că niciunul dintre agenții de inteligență artificială nu a reușit să găsească un diamant, echipa de organizare a fost totuși mulțumită de rezultatele concursului și de faptul că s-a învățat mult din experiment. Cercetările efectuate de echipele de inteligență artificială pot ajuta la avansarea domeniului inteligenței artificiale, găsind alternative la strategiile de învățare prin întărire.

Învățarea prin întărire oferă adesea o performanță superioară în comparație cu învățarea prin imitare, unul dintre succesele notabile ale învățării prin întărire fiind AlphaGo de la DeepMind. Cu toate acestea, așa cum s-a menționat anterior, învățarea prin întărire necesită resurse computaționale masive, limitând utilizarea sa de către organizațiile care nu pot permite procesoare la scară largă.

William Guss, student doctorand la Universitatea Carnegie Mellon și șeful organizator al concursului, a explicat BBC-ului că concursul MineRL a fost destinat să investigheze alternative la inteligența artificială care necesită multe resurse computaționale. Guss a spus:

“…Aruncarea unei cantități masive de calcul la probleme nu este neapărat modul corect pentru noi de a avansa stadiul actual al domeniului… Acest lucru funcționează direct împotriva democratizării accesului la aceste sisteme de învățare prin întărire și lasă capacitatea de a antrena agenți în medii complexe corporațiilor cu multe resurse computaționale.”