AI, które będą rywalizować w konkursie Machine Learning Minecraft

Według doniesień Nature, wkrótce odbędzie się nowy konkurs AI, konkurs MineRL, który zachęci inżynierów i programistów AI do tworzenia programów zdolnych do uczenia się przez obserwację i przykład. Przypadek testowy dla tych systemów AI będzie bardzo popularną grą survivalową i sandboxową Minecraft.

Sztuczne systemy inteligentne osiągnęły ostatnio imponujące osiągnięcia w grach wideo. Niedawno AI pokonał najlepszych graczy na świecie w strategicznej grze StarCraft II. Jednak StarCraft II ma określone cele, które są łatwiejsze do rozbicia na spójne kroki, które AI może wykorzystać do szkolenia. O wiele trudniejszym zadaniem jest nauczenie AI, jak nawigować w dużej, otwartej grze sandboxowej, takiej jak Minecraft. Badacze mają nadzieję pomóc programom AI w nauce przez obserwację i przykład, a jeśli będą szczęśliwi, mogą znacznie zmniejszyć ilość mocy obliczeniowej potrzebnej do szkolenia programu AI.

Uczestnicy konkursu będą mieli cztery dni, aby stworzyć AI, które zostaną przetestowane z Minecraft, przyjmując do ośmiu milionów kroków, aby przeszkolić swoje AI. Celem AI jest znalezienie diamentu w grze, kopiąc. Osiem milionów kroków szkolenia to znacznie krótszy czas niż czas potrzebny do szkolenia potężnych modeli AI, więc uczestnicy konkursu muszą zaprojektować metody, które znacznie poprawią obecne metody szkolenia.

Podejścia stosowane przez uczestników opierają się na rodzaju uczenia się zwanych naśladownictwem. Naśladownictwo stoi w opozycji do uczenia się wzmocnionego, który jest popularną metodą szkolenia zaawansowanych systemów, takich jak ramiona robota w fabrykach lub AI, które mogą pokonać graczy ludzkich w StarCraft II. Główną wadą algorytmów uczenia się wzmocnionego jest fakt, że wymagają one ogromnej mocy obliczeniowej do szkolenia, opierając się na setkach lub nawet tysiącach połączonych komputerów, aby nauczyć się. W przeciwieństwie do tego, naśladownictwo jest o wiele bardziej efektywną i mniej kosztowną metodą szkolenia. Algorytmy naśladownictwa starają się naśladować, jak ludzie uczą się przez obserwację.

William Guss, kandydat na doktorat w teorii głębokiego uczenia się na Uniwersytecie Carnegie Mellon, wyjaśnił Nature, że uzyskanie AI do eksploracji i nauki wzorców w środowisku jest ogromnie trudnym zadaniem, ale naśladownictwo daje AI podstawową wiedzę lub dobre założenia, o środowisku. To może sprawić, że szkolenie AI będzie znacznie szybsze w porównaniu z uczeniem się wzmocnionym.

Minecraft służy jako szczególnie przydatne środowisko szkoleniowe z wielu powodów. Jednym z powodów jest to, że Minecraft pozwala graczom używać prostych bloków budowlanych, aby tworzyć złożone struktury i przedmioty, a wiele kroków potrzebnych do stworzenia tych struktur służy jako namacalne markery postępu, które badacze mogą wykorzystać jako metryki. Minecraft jest również niezwykle popularny, a dzięki temu jest względnie łatwo zbierać dane szkoleniowe. Organizatorzy konkursu MineRL zwerbowali wielu graczy Minecraft, aby zademonstrowali różne zadania, takie jak tworzenie narzędzi i łamanie bloków. Dzięki crowdsourcingowi generacji danych badacze byli w stanie przechwycić 60 milionów przykładów działań, które można wykonać w grze. Badacze dostarczyli około 1000 godzin filmu zespołom konkursowym.

Użyj wiedzy, którą ludzie zbudowali, mówi Rohin Shah, kandydat na doktorat w dziedzinie informatyki na Uniwersytecie Kalifornijskim w Berkeley, wyjaśnił Nature, że ten konkurs jest prawdopodobnie pierwszym, który koncentruje się na wykorzystaniu wiedzy, którą ludzie już wygenerowali, aby przyspieszyć szkolenie AI.

Guss i inni badacze mają nadzieję, że konkurs może mieć rezultaty z implikacjami poza Minecraft, dając początek lepszym algorytmom naśladownictwa i inspirując więcej ludzi do rozważenia naśladownictwa jako wiarygodnej formy szkolenia AI. Badania mogą potencjalnie pomóc w tworzeniu AI, które są lepiej zdolne do interakcji z ludźmi w złożonych, zmieniających się środowiskach.