Co to jest Meta-Learning?

Co to jest Meta-Learning?

Jednym z najszybciej rozwijających się obszarów badań w dziedzinie uczenia maszynowego jest obszar meta-uczenia. Meta-uczenie, w kontekście uczenia maszynowego, jest wykorzystaniem algorytmów uczenia maszynowego do wspomagania szkolenia i optymalizacji innych modeli uczenia maszynowego. Ponieważ meta-uczenie staje się coraz bardziej popularne i rozwijane są nowe techniki meta-uczenia, korzystne jest posiadanie zrozumienia, czym jest meta-uczenie i jak można je stosować. Przeanalizujmy idee za meta-uczeniem, typy meta-uczenia, a także niektóre ze sposobów, w jakie meta-uczenie może być wykorzystywane.

Termin meta-uczenie został ukuty przez Donalda Maudsleya, aby opisać proces, w którym ludzie zaczynają kształtować to, czego się uczą, stając się “coraz bardziej kontrolowanymi przez nawyki percepcji, poszukiwania, uczenia się i wzrostu, które internalizowali”. Później, uczeni kognitywni i psycholodzy opisali meta-uczenie jako “uczenie się, jak się uczyć”.

W przypadku wersji maszynowej meta-uczenia, ogólna idea “uczenia się, jak się uczyć” jest stosowana do systemów AI. W sensie AI, meta-uczenie jest zdolnością sztucznie inteligentnej maszyny do nauki wykonywania różnych złożonych zadań, stosując zasady, które zostały użyte do nauki jednego zadania, do innych zadań. Systemy AI zwykle muszą być szkolone, aby osiągnąć zadanie poprzez opanowanie wielu małych podzadań. Ten proces szkolenia może trwać długo, a agenci AI nie łatwo przenoszą wiedzę zdobytą podczas jednego zadania na inne zadanie. Tworzenie modeli i technik meta-uczenia może pomóc AI w nauce, jak generalizować metody uczenia i nabywać nowe umiejętności szybciej.

Typy Meta-Uczenia

Meta-Uczenie Optymalizatora

Meta-uczenie jest często wykorzystywane do optymalizacji wydajności już istniejącej sieci neuronowej. Metody meta-uczenia optymalizatora zwykle działają, dostosowując hiperparametry innej sieci neuronowej, aby poprawić wydajność sieci bazowej. Wynikiem jest to, że sieć docelowa powinna stać się lepsza w wykonywaniu zadania, którego się uczy. Przykładem meta-uczenia optymalizatora jest użycie sieci do poprawy wyników gradientu.

Meta-Uczenie z Niewielką Ilością Przykładów

Podejście meta-uczenia z niewielką ilością przykładów jest takie, w którym głęboka sieć neuronowa jest zaprojektowana, aby generalizować z zestawów danych szkoleniowych do nieznanego zestawu danych. Przykład meta-klasyfikacji z niewielką ilością przykładów jest podobny do zwykłego zadania klasyfikacji, ale zamiast tego, próbki danych są całe zestawy danych. Model jest szkolony na wielu różnych zadaniach/danych i następnie zoptymalizowany do osiągnięcia maksymalnej wydajności na wielu zadaniach szkoleniowych i nieznanym danych. W tym podejściu, pojedyncza próbka szkoleniowa jest podzielona na wiele klas. Oznacza to, że każda próbka/dane szkoleniowe mogą potencjalnie składać się z dwóch klas, co daje łącznie 4-shots. W tym przypadku, całe zadanie szkoleniowe może być opisane jako zadanie klasyfikacji 4-shots 2-klasowej.

W meta-uczeniu z niewielką ilością przykładów, idea jest taka, że poszczególne próbki szkoleniowe są minimalistyczne, a sieć może nauczyć się identyfikować obiekty po zobaczeniu tylko kilku zdjęć. Jest to podobne do tego, jak dziecko uczy się rozróżniać obiekty po zobaczeniu tylko kilku zdjęć. To podejście zostało wykorzystane do stworzenia takich technik, jak jeden strzał generatywny model i pamięć wspomagana sieć neuronowa.

Meta-Uczenie Metryczne

Meta-uczenie oparte na metrykach jest wykorzystaniem sieci neuronowych do określenia, czy metryka jest używana skutecznie i czy sieć lub sieci osiągają docelowe metryki. Meta-uczenie metryczne jest podobne do meta-uczenia z niewielką ilością przykładów, ponieważ tylko kilka przykładów jest używanych do szkolenia sieci i nauki metryki przestrzeni. Ta sama metryka jest używana we wszystkich różnych dziedzinach i jeśli sieci odbiegają od metryki, są uważane za nieudane.

Meta-Uczenie Modelu Wzrostowego

Meta-uczenie modelu wzrostowego jest zastosowaniem technik meta-uczenia do sieci neuronowych wzrostowych i podobnych sieci pamięci krótkotrwałej. Technika ta działa, szkoląc model wzrostowy, aby sekwencyjnie nauczyć się zestawu danych, a następnie wykorzystując ten wyszkolony model jako podstawę dla innego uczącego się. Meta-uczony przyjmuje określony algorytm optymalizacji, który został użyty do szkolenia początkowego modelu. Odziedziczone parametryzowanie meta-uczonych umożliwia im szybkie inicjowanie i zbieżność, ale nadal mogą być aktualizowane dla nowych scenariuszy.

Jak Działa Meta-Uczenie?

Dokładny sposób, w jaki meta-uczenie jest prowadzone, różni się w zależności od modelu i natury zadania. Jednak ogólnie, zadanie meta-uczenia obejmuje kopiowanie parametrów pierwszej sieci do parametrów drugiej sieci/optymalizatora.

Istnieją dwa procesy szkoleniowe w meta-uczeniu. Model meta-uczenia jest zwykle szkolony po wykonaniu kilku kroków szkolenia modelu bazowego. Po przodu, tyłu i krokach optymalizacji, które szkolą model bazowy, przód szkolenia jest wykonywany dla modelu optymalizacji. Na przykład, po trzech lub czterech krokach szkolenia modelu bazowego, meta-strata jest obliczana. Po obliczeniu meta-straty, gradienty są obliczane dla każdego meta-parametru. Po tym, meta-parametry w optymalizatorze są aktualizowane.

Jedną z możliwości obliczania meta-straty jest zakończenie przodu szkolenia początkowego modelu, a następnie połączenie strat, które już zostały obliczone. Meta-optymalizator może być nawet innym meta-uczonym, choć w pewnym momencie należy użyć dyskretnego optymalizatora, takiego jak ADAM lub SGD.

Wiele głębokich modeli uczenia maszynowego może mieć setki tysięcy lub nawet miliony parametrów. Stworzenie meta-uczonych, które mają całkowicie nowy zestaw parametrów, byłoby kosztowne obliczeniowo, a z tego powodu, taktyka zwana współdzielonymi współrzędnymi jest zwykle używana. Współdzielone współrzędne obejmują zaprojektowanie meta-uczonych/optymalizatora, tak aby nauczył się jednego parametru z modelu bazowego, a następnie sklonował ten parametr ones that parameter in place of all of the other parameters. The result is that the parameters the optimizer possesses don’t depend on the parameters of the model. _yoast_wpseo_metadesc: Meta-uczenie to wykorzystanie algorytmów uczenia maszynowego do wspomagania szkolenia i optymalizacji innych modeli uczenia maszynowego.