Co to jest Głębokie Uczenie ze Wzmocnieniem?

Co to jest Głębokie Uczenie ze Wzmocnieniem?

Wraz z nienadzorowanym uczeniem maszynowym i nadzorowanym uczeniem, inną powszechną formą tworzenia sztucznej inteligencji jest uczenie ze wzmocnieniem. Poza zwykłym uczeniem ze wzmocnieniem, głębokie uczenie ze wzmocnieniem może prowadzić do niesamowicie imponujących wyników, dzięki temu, że łączy najlepsze aspekty zarówno głębokiego uczenia, jak i uczenia ze wzmocnieniem. Przyjrzyjmy się, jak dokładnie działa głębokie uczenie ze wzmocnieniem.

Przed tym, jak zagłębimy się w głębokie uczenie ze wzmocnieniem, może być dobrą ideą, aby odświeżyć naszą wiedzę na temat tego, jak działa zwykłe uczenie ze wzmocnieniem. W uczeniu ze wzmocnieniem, algorytmy ukierunkowane na cele są projektowane za pomocą procesu prób i błędów, optymalizując działanie, które prowadzi do najlepszego wyniku/działania, które uzyskuje najwięcej “nagrody”. Kiedy algorytmy uczenia ze wzmocnieniem są szkolone, otrzymują “nagrody” lub “kary”, które wpływają na to, jakie działania będą one podejmować w przyszłości. Algorytmy starają się znaleźć zestaw działań, które zapewnią systemowi najwięcej nagrody, balansując zarówno natychmiastowe, jak i przyszłe nagrody.

Algorytmy uczenia ze wzmocnieniem są bardzo potężne, ponieważ mogą być stosowane do prawie każdego zadania, mogąc elastycznie i dynamicznie uczyć się z otoczenia i odkrywać możliwe działania.

Przegląd Głębokiego Uczenia ze Wzmocnieniem

Zdjęcie: Megajuice via Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

Kiedy mówimy o głębokim uczeniu ze wzmocnieniem, otoczenie jest zwykle reprezentowane przez obrazy. Obraz jest zapisem otoczenia w określonym momencie czasu. Agent musi analizować obrazy i wyodrębnić z nich istotne informacje, używając ich do podjęcia decyzji o tym, jakie działanie powinien wykonać. Głębokie uczenie ze wzmocnieniem jest zwykle prowadzone za pomocą jednej z dwóch różnych technik: wartościowej nauki i nauki opartej na polityce.

Techniki oparte na wartości wykorzystują algorytmy i architektury takie jak sieci neuronowe i Deep-Q-Networks. Te algorytmy działają, konwertując obraz na odcień szarości i wycinając niepotrzebne części obrazu. Następnie obraz przechodzi przez różne operacje splotu i pulowania, wyodrębniając najbardziej istotne części obrazu. Ważne części obrazu są następnie używane do obliczania Q-wartości dla różnych działań, które agent może wykonać. Q-wartości są używane do określenia najlepszego kursu działania dla agenta. Po obliczeniu początkowych Q-wartości, wykonuje się propagację wsteczną, aby określić najbardziej dokładne Q-wartości.

Metody oparte na polityce są używane, gdy liczba możliwych działań, które agent może wykonać, jest niezwykle wysoka, co jest zwykle przypadkiem w scenariuszach rzeczywistych. Sytuacje takie wymagają innego podejścia, ponieważ obliczanie Q-wartości dla wszystkich poszczególnych działań nie jest praktyczne. Metody oparte na polityce działają bez obliczania funkcji wartości dla poszczególnych działań. Zamiast tego, przyjmują politykę, ucząc się polityki bezpośrednio, często za pomocą technik zwanych Policy Gradients.

Policy gradients działają, otrzymując stan i obliczając prawdopodobieństwa działań na podstawie wcześniejszych doświadczeń agenta. Najbardziej prawdopodobne działanie jest następnie wybrane. Ten proces jest powtarzany do końca okresu oceny i nagród, które są przydzielane agentowi. Po rozdaniu nagród, parametry sieci są aktualizowane za pomocą propagacji wstecznej.

Co to jest Q-Learning?

Ponieważ Q-Learning jest tak dużą częścią procesu głębokiego uczenia ze wzmocnieniem, przyjrzyjmy się, jak działa system Q-Learning.

Proces Decyzji Markowa

Proces decyzji Markowa. Zdjęcie: waldoalvarez via Pixabay, Pixbay License (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

Aby agent sztucznej inteligencji mógł wykonać serię zadań i osiągnąć cel, agent musi być w stanie radzić sobie z sekwencją stanów i zdarzeń. Agent zaczyna w jednym stanie i musi wykonać serię działań, aby osiągnąć stan końcowy, a może istnieć ogromna liczba stanów pomiędzy stanem początkowym a końcowym. Przechowywanie informacji dotyczących każdego stanu jest niepraktyczne lub niemożliwe, więc system musi znaleźć sposób, aby zachować tylko najbardziej istotne informacje o stanie. To jest osiągane za pomocą Procesu Decyzji Markowa, który zachowuje tylko informacje o bieżącym stanie i poprzednim stanie. Każdy stan podąża za właściwością Markowa, która śledzi, jak agent zmienia się z poprzedniego stanu do bieżącego.

Głębokie Q-Learning

Kiedy model ma dostęp do informacji o stanach środowiska, Q-wartości mogą być obliczone. Q-wartości są łączną nagrodą przyznaną agentowi na końcu sekwencji działań.

Q-wartości są obliczane za pomocą serii nagród. Istnieje natychmiastowa nagroda, obliczona w bieżącym stanie i zależna od bieżącego działania. Q-wartość dla następnego stanu jest również obliczana, wraz z Q-wartością dla stanu po tym, i tak dalej, aż do obliczenia wszystkich Q-wartości dla różnych stanów. Istnieje również parametr Gamma, który jest używany do kontrolowania, jak dużo przyszłe nagrody wpływają na działania agenta. Polityki są zwykle obliczane przez losowe inicjowanie Q-wartości i pozwolenie modelowi zbiec w kierunku optymalnych Q-wartości w trakcie szkolenia.

Głębokie Sieci Q

Jednym z podstawowych problemów związanych z użyciem Q-Learning w uczeniu ze wzmocnieniem jest to, że ilość pamięci wymagana do przechowywania danych szybko rośnie wraz ze wzrostem liczby stanów. Głębokie sieci Q rozwiązują ten problem, łącząc modele sieci neuronowych z Q-wartościami, umożliwiając agentowi uczyć się z doświadczenia i podejmować rozsądne decyzje o najlepszych działaniach do podjęcia. Z głębokim Q-Learning, Q-wartości są szacowane za pomocą sieci neuronowych. Sieć neuronowa przyjmuje stan jako dane wejściowe i wyprowadza Q-wartość dla wszystkich możliwych działań, które agent może wykonać.

Głębokie Q-Learning jest realizowane przez przechowywanie wszystkich wcześniejszych doświadczeń w pamięci, obliczanie maksymalnych wyjść dla sieci Q i następnie używanie funkcji straty do obliczania różnicy między bieżącymi wartościami a teoretycznie najwyższymi możliwymi wartościami.

Głębokie Uczenie ze Wzmocnieniem vs Głębokie Uczenie

Jedną z ważnych różnic między głębokim uczeniem ze wzmocnieniem a zwykłym głębokim uczeniem jest to, że w przypadku pierwszego dane wejściowe są stale zmieniające się, co nie jest przypadkiem w tradycyjnym głębokim uczeniu. Jak można uwzględnić dane wejściowe i wyjściowe, które są stale zmieniające się?

Podstawowo, aby uwzględnić rozbieżność między przewidywanymi wartościami a wartościami docelowymi, można użyć dwóch sieci neuronowych zamiast jednej. Jedna sieć szacuje wartości docelowe, podczas gdy druga sieć jest odpowiedzialna za przewidywania. Parametry sieci docelowej są aktualizowane, gdy model uczy się, po wybranych iteracjach szkolenia. Wyjścia odpowiednich sieci są następnie łączone, aby określić różnicę.

Nauka oparta na Polityce

Nauka oparta na polityce działa inaczej niż podejścia oparte na Q-wartości. Podczas gdy podejścia Q-wartości tworzą funkcję wartości, która przewiduje nagrody dla stanów i działań, metody oparte na polityce określają politykę, która mapuje stany na działania. Innymi słowy, funkcja polityki, która wybiera działania, jest optymalizowana bezpośrednio, bez uwzględniania funkcji wartości.

Gradienty Polityki

Polityka dla głębokiego uczenia ze wzmocnieniem należy do jednej z dwóch kategorii: stochastycznej lub deterministycznej. Polityka deterministyczna jest taka, w której stany są mapowane na działania, co oznacza, że gdy polityka otrzymuje informacje o stanie, zwraca działanie. Tymczasem stochastyczne polityki zwracają rozkład prawdopodobieństwa działań zamiast jednego, dyskretnego działania.

Polityki deterministyczne są używane, gdy nie ma niepewności co do wyników działań, które można wykonać. Innymi słowy, gdy środowisko jest deterministyczne. W przeciwieństwie do tego, stochastyczne polityki są odpowiednie dla środowisk, w których wynik działań jest niepewny. Zwykle scenariusze uczenia ze wzmocnieniem obejmują pewien stopień niepewności, więc stochastyczne polityki są używane.

Podejścia gradientu polityki mają kilka zalet w porównaniu z podejściami Q-Learning, a także kilka wad. W kwestii zalet, metody oparte na polityce zbiegają się na optymalne parametry szybciej i bardziej niezawodnie. Gradient polityki może być po prostu śledzony, aż do osiągnięcia najlepszych parametrów, podczas gdy w podejściach opartych na wartościach niewielkie zmiany w oszacowanych wartościach działań mogą prowadzić do dużych zmian w działaniach i ich parametrach.

Gradienty polityki działają lepiej w przypadku wysokowymiarowych przestrzeni działań. Kiedy istnieje niezwykle wysoka liczba możliwych działań do podjęcia, głębokie Q-Learning staje się niepraktyczne, ponieważ musi przydzielić ocenę każdemu możliwemu działaniu we wszystkich krokach czasowych, co może być niemożliwe obliczeniowo. Jednak z podejściami opartymi na polityce, parametry są dostosowywane w czasie, a liczba możliwych najlepszych parametrów szybko maleje, gdy model zbiega.

Gradienty polityki są również w stanie wdrażać stochastyczne polityki, w przeciwieństwie do polityk opartych na wartościach. Ponieważ stochastyczne polityki produkują rozkład prawdopodobieństwa, nie jest wymagany kompromis między eksploracją a eksploatacją.

W kwestii wad, główną wadą gradientów polityki jest to, że mogą utknąć podczas poszukiwania optymalnych parametrów, koncentrując się tylko na wąskim, lokalnym zestawie optymalnych wartości zamiast globalnych optymalnych wartości.

Funkcja Oceny Polityki

Polityki używane do optymalizacji wydajności modelu mają na celu maksymalizację funkcji oceny – J(θ). Jeśli J(θ) jest miarą tego, jak dobra jest nasza polityka w osiąganiu pożądanego celu, możemy znaleźć wartości “θ“, które dają nam najlepszą politykę. Po pierwsze, musimy obliczyć oczekiwaną nagrodę polityki. Szacujemy nagrodę polityki, abyśmy mieli cel, coś, ku czemu możemy dążyć. Funkcja oceny polityki jest tym, jak obliczamy oczekiwaną nagrodę polityki, a istnieją różne funkcje oceny polityki, które są powszechnie używane, takie jak: wartości początkowe dla środowisk epizodycznych, średnia wartość dla środowisk ciągłych i średnia nagroda na krok czasowy.

Wspinaczka Gradientu Polityki

Wspinaczka gradientu ma na celu przesunięcie parametrów do miejsca, w którym ocena jest najwyższa. Zdjęcie: Public Domain (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

Po użyciu pożądanej funkcji oceny polityki i obliczeniu oczekiwanego wynagu polityki, możemy znaleźć wartość parametru “θ“, który maksymalizuje funkcję oceny. Aby zmaksymalizować funkcję oceny J(θ), używana jest technika zwana “wspinaczką gradientu”. Wspinaczka gradientu jest podobna doConcept gradientu w głębokim uczeniu, ale optymalizujemy pod kątem najbardziej stromego wzrostu zamiast spadku. Jest to dlatego, że nasza ocena nie jest “błędem”, jak w wielu problemach głębokiego uczenia. Nasza ocena jest czymś, co chcemy maksymalizować. Wyrażenie zwane Twierdzeniem Gradientu Polityki jest używane do oszacowania gradientu w odniesieniu do polityki “θ“.

Podsumowanie Głębokiego Uczenia ze Wzmocnieniem

Podsumowując, głębokie uczenie ze wzmocnieniem łączy aspekty uczenia ze wzmocnieniem i głębokich sieci neuronowych. Głębokie uczenie ze wzmocnieniem jest realizowane za pomocą dwóch różnych technik: głębokiego Q-Learning i gradientów polityki.

Metody głębokiego Q-Learning mają na celu przewidywanie, jakie nagrody będą następować po określonych działaniach w danym stanie, podczas gdy podejścia oparte na gradientach polityki mają na celu optymalizację przestrzeni działań, przewidywanie samych działań. Podejścia oparte na polityce do głębokiego uczenia ze wzmocnieniem są albo deterministyczne, albo stochastyczne w naturze. Polityki deterministyczne mapują stany bezpośrednio na działania, podczas gdy stochastyczne polityki produkują rozkłady prawdopodobieństwa działań.