10 Najlepszych Algorytmów Uczenia Maszynowego

Mimo że żyjemy w czasie niezwykłej innowacji w dziedzinie przyspieszania uczenia maszynowego z wykorzystaniem GPU, najnowsze prace badawcze często (i wyraźnie) prezentują algorytmy, które mają kilkadziesiąt, a nawet 70 lat.

Niektórzy mogliby twierdzić, że wiele z tych starszych metod należy do kategorii “analizy statystycznej” raczej niż uczenia maszynowego i wolą datować początek tej dziedziny na rok 1957, kiedy to wynaleziono Perceptron.

Biorąc pod uwagę, w jakim stopniu te starsze algorytmy wspierają i są wprowadzane w najnowsze trendy i doniosłe osiągnięcia w dziedzinie uczenia maszynowego, jest to sporny punkt widzenia. Zatem przyjrzyjmy się niektórym z “klasycznych” elementów budulcowych, które leżą u podstaw najnowszych innowacji, a także niektórym nowszym wprowadzeniom, które starają się o miejsce w słynnej “hali sławy” AI.

1: Transformery

W 2017 roku Google Research poprowadziło współpracę badawczą, która doprowadziła do opublikowania artykułu Attention Is All You Need. Praca ta przedstawiła nową architekturę, która promowała mechanizmy uwagi z “przewodów” w modelach kodera/dekodera i sieciach rekurencyjnych do centralnej technologii transformacyjnej.

Podejście to nazwano Transformator, i od tego czasu stało się rewolucyjną metodologią w dziedzinie Przetwarzania Języka Naturalnego (NLP), napędzającą, między innymi, autoregresyjny model języka i ulubionego dziecka AI, GPT-3.

Transformery elegancko rozwiązały problem transdukcji sekwencji, zwanego również “transformacją”, który zajmuje się przetwarzaniem sekwencji wejściowych w sekwencje wyjściowe. Transformator otrzymuje i zarządza danymi w sposób ciągły, a nie w sekwencjach, co pozwala na “trwałość pamięci”, której architektury RNN nie są w stanie osiągnąć. Aby uzyskać bardziej szczegółowy przegląd transformatorów, zobacz nasz artykuł referencyjny.

W przeciwieństwie do Sieci Neuronowych Rekurencyjnych (RNN), które zaczęły dominować w badaniach nad uczeniem maszynowym w erze CUDA, architektura Transformatora mogła być również łatwo zrównoleglona, co otworzyło drogę do produktywnego rozwiązania znacznie większego korpusu danych niż RNN.

Popularne Zastosowanie

Transformery zdobyły wyobraźnię publiczną w 2020 roku wraz z wydaniem GPT-3 przez OpenAI, który pochwalił się wówczas rekordowymi 175 miliardami parametrów. To osiągnięcie zostało później przewyższone przez późniejsze projekty, takie jak wydanie w 2021 roku Megatron-Turing NLG 530B przez Microsoft, który (jak sama nazwa wskazuje) posiada ponad 530 miliardów parametrów.

Wykres czasowy projektów NLP z wykorzystaniem Transformatora w skali hiperskali. Źródło: Microsoft

Architektura Transformatora również przeniosła się z NLP do rozpoznawania obrazów, napędzając nowe pokolenie ramowych syntez obrazów, takich jak CLIP i DALL-E, które wykorzystują mapowanie domen tekst>obraz do uzupełniania niekompletnych obrazów i syntezowania nowych obrazów z wyuczonych domen, wśród rosnącej liczby powiązanych zastosowań.

DALL-E próbuje uzupełnić częściowy obraz popiersia Platona. Źródło: https://openai.com/blog/dall-e/

2: Sieci Przeciwstawnych Generatywnych (GAN)

Chociaż transformery zdobyły nadzwyczajną uwagę medialną dzięki wydaniu i przyjęciu GPT-3, Sieć Przeciwstawnych Generatywnych (GAN) stała się rozpoznawalną marką samą w sobie i może w końcu dołączyć do deepfake jako czasownik.

Pierwotnie zaproponowana w 2014 roku i głównie wykorzystywana do syntezy obrazów, architektura Sieci Przeciwstawnych Generatywnych składa się z Generującego i Dyskryminującego. Generujący przechodzi przez tysiące obrazów w zbiorze danych, iteracyjnie próbując je odtworzyć. Dla każdej próby Dyskryminujący ocenia pracę Generującego i wysyła Generującego z powrotem, aby zrobić lepiej, ale bez żadnej wiedzy na temat tego, jak poprzednia rekonstrukcja się myliła.

Źródło: https://developers.google.com/machine-learning/gan/gan_structure

To zmusza Generującego do eksplorowania wielu dróg, zamiast podążania za potencjalnymi ślepymi zaułkami, które wynikłyby, gdyby Dyskryminujący powiedział mu, gdzie się mylił (zob. #8 poniżej). Do czasu zakończenia szkolenia Generujący ma szczegółową i kompleksową mapę relacji między punktami w zbiorze danych.

Ze studium Improving GAN Equilibrium by Raising Spatial Awareness: nowy framework przechodzi przez czasem tajemniczą przestrzeń ukrytą Sieci Przeciwstawnych Generatywnych, zapewniając responsywną instrumentację dla architektury syntezy obrazu. Źródło: https://genforce.github.io/eqgan/

Porównując to do nauki jednej nudnej trasy do centrum Londynu lub mozolnego zdobywania The Knowledge.

Wynikiem jest zbiór cech na wysokim poziomie w przestrzeni ukrytej wyuczonych modeli. Wskazanie semantyczne dla cechy na wysokim poziomie może być “osoba”, podczas gdy zejście w dół po szczegółach związanych z tą cechą może ujawnić inne nauczone cechy, takie jak “mężczyzna” i “kobieta”. Na niższych poziomach podcechy mogą rozpaść się na “blondynkę”, “kaukaską” itp.

Skomplikowanie jest zauważalnym problemem w przestrzeni ukrytej Sieci Przeciwstawnych Generatywnych i ramach kodera/dekodera: czy uśmiech na twarzy wygenerowanej przez GAN jest skomplikowaną cechą jej “tożsamości” w przestrzeni ukrytej, czy oddzielną gałęzią?

Twarze wygenerowane przez GAN z thispersondoesnotexist. Źródło: https://this-person-does-not-exist.com/en

Ostatnie dwa lata przyniosły wiele nowych inicjatyw badawczych w tym zakresie, które mogą otworzyć drogę do edycji na poziomie cech, w stylu Photoshop, dla przestrzeni ukrytej Sieci Przeciwstawnych Generatywnych, ale na razie wiele transformacji jest skutecznie “wszystko albo nic” pakietami. Należy zauważyć, że wydanie EditGAN przez NVIDIA pod koniec 2021 roku osiąga wysoki poziom interpretowalności w przestrzeni ukrytej, wykorzystując maski segmentacji semantycznej.

Popularne Zastosowanie

Obok ich (w rzeczywistości dość ograniczonego) udziału w popularnych filmach deepfake, Sieci Przeciwstawnych Generatywnych zorientowane na obrazy i filmy rozprzestrzeniły się w ciągu ostatnich czterech lat, fascynując badaczy i publiczność. Trudno nadążyć za oszałamiającym tempem i częstotliwością nowych wydań, chociaż repozytorium GitHub Awesome GAN Applications stara się zapewnić kompleksową listę.

Sieci Przeciwstawnych Generatywnych mogą teoretycznie wywnioskować cechy z dowolnie dobrze sformułowanego obszaru, w tym tekstu.

3: Maszyny Wektorowe Nośne (SVM)

Pochodzące z 1963 roku, Maszyna Wektorowa Nośna (SVM) to podstawowy algorytm, który pojawia się często w nowych badaniach. W SVM wektory mapują względną dyspozycję punktów danych w zbiorze danych, podczas gdy wektory nośne wyznaczają granice między różnymi grupami, cechami lub atrybutami.

Wektory nośne definiują granice między grupami. Źródło: https://www.kdnuggets.com/2016/07/support-vector-machines-simple-explanation.html

Wynikowa granica nazywana jest hiperplanem.

Na niskim poziomie cech SVM jest dwuwymiarowy (obraz powyżej), ale tam, gdzie rozpoznawana jest wyższa liczba grup lub typów, staje się trójwymiarowy.

Głębszy zbiór punktów i grup wymaga trójwymiarowej SVM. Źródło: https://cml.rhul.ac.uk/svm.html

Popularne Zastosowanie

Ponieważ Maszyny Wektorowe Nośne mogą skutecznie i agnostycznie rozwiązywać problemy z danymi wielowymiarowymi, pojawiają się one powszechnie w różnych sektorach uczenia maszynowego, w tym wykrywaniu deepfake, klasyfikacji obrazów, klasyfikacji mowy nienawiści, analizie DNA i przewidywaniu struktury populacji, wśród wielu innych.

4: K-Means Clustering

Klastering w ogóle jest podejściem nienadzorowanym, które stara się zaklasyfikować punkty danych za pomocą estymacji gęstości, tworząc mapę dystrybucji danych, które są badane.

K-Means clustering wykrywa segmenty, grupy i społeczności w danych. Źródło: https://aws.amazon.com/blogs/machine-learning/k-means-clustering-with-amazon-sagemaker/

K-Means Clustering stał się najpopularniejszą implementacją tego podejścia, kierując punkty danych do odrębnych “K Grup”, które mogą wskazywać sektory demograficzne, społeczności internetowe lub jakiekolwiek inne możliwe ukryte agregacje czekające na odkrycie w surowych danych statystycznych.

Klastering tworzy się w analizie K-Means. Źródło: https://www.geeksforgeeks.org/ml-determine-the-optimal-value-of-k-in-k-means-clustering/

Wartość K jest decydującym czynnikiem w użyteczności procesu i ustaleniu optymalnej wartości dla klastra. Początkowo wartość K jest losowo przypisana, a jej cechy i charakterystyki wektorowe są porównywane z sąsiadami. Sąsiedzi, którzy najbardziej przypominają punkt danych z losowo przypisaną wartością, są przydzielani do jego klastra iteracyjnie, aż dane wydadzą wszystkie grupy, które proces pozwala.

Wykres błędu kwadratowego, lub “kosztu” różnych wartości w klastrach, ujawnia punkt łokcia dla danych:

Punkt łokcia na wykresie klastra. Źródło: https://www.scikit-yb.org/en/latest/api/cluster/elbow.html

Punkt łokcia jest podobny w koncepcji do tego, jak straty spłaszczają się do malejących zwrotów na końcu sesji szkoleniowej dla zbioru danych. Reprezentuje punkt, w którym nie będą already widoczne dalsze różnice między grupami, wskazując moment, aby przejść do następnych faz w potoku danych lub zgłosić wyniki.

Popularne Zastosowanie

K-Means Clustering, ze względu na oczywiste powody, jest podstawową technologią w analizie klienta, ponieważ oferuje klarowne i wyjaśnialne podejście do tłumaczenia dużych ilości rekordów handlowych na spostrzeżenia demograficzne i “potencjalnych klientów”.

Poza tym zastosowaniem K-Means Clustering jest również wykorzystywany do przewidywania osuwisk, segmentacji obrazów medycznych, syntezy obrazów z GAN, klasyfikacji dokumentów i planowania miast, wśród wielu innych potencjalnych i rzeczywistych zastosowań.

5: Las Losowy

Las Losowy jest metodą uczenia zespołowego, która uśrednia wynik z tablicy drzew decyzyjnych, aby ustalić ogólną predykację wyniku.

Źródło: https://www.tutorialandexample.com/wp-content/uploads/2019/10/Decision-Trees-Root-Node.png

Jeśli przeprowadziłeś choćby minimalne badania, oglądając trylogię “Powrót do przyszłości”, drzewo decyzyjne jest dość łatwe do zrozumienia: przed tobą leżą różne ścieżki, a każda ścieżka rozgałęzia się do nowego wyniku, który z kolei zawiera dalsze możliwe ścieżki.

W uczeniu wzmocnionym możesz wycofać się z ścieżki i zacząć od nowa od wcześniejszej pozycji, podczas gdy drzewa decyzyjne zobowiązują się do swoich podróży.

Algorytm Lasu Losowego jest więc zakładem rozproszonym na decyzje. Algorytm nazywa się “losowym”, ponieważ dokonuje ad hoc wyborów i obserwacji, aby zrozumieć medianę sumy wyników z tablicy drzew decyzyjnych.

Ponieważ bierze pod uwagę wiele czynników, podejście Lasu Losowego może być trudniejsze do przekształcenia w znaczące wykresy niż drzewo decyzyjne, ale jest prawdopodobnie znacznie bardziej produktywne.

Drzewa decyzyjne są podatne na przeuczenie, gdzie wyniki uzyskane są specyficzne dla danych i nie mają szans na uogólnienie. Losowy wybór danych przez Las Losowy zwalcza tę tendencję, przechodząc przez znaczące i użyteczne trendy reprezentatywne w danych.

Regresja drzewa decyzyjnego. Źródło: https://scikit-learn.org/stable/auto_examples/tree/plot_tree_regression.html

Popularne Zastosowanie

Podobnie jak wiele algorytmów na tej liście, Las Losowy zwykle działa jako “wczesny” sortownik i filtr danych, i jako taki regularnie pojawia się w nowych pracach badawczych. Przykłady użycia Lasu Losowego obejmują syntezę obrazów rezonansu magnetycznego, przewidywanie cen bitcoinów, segmentację spisów ludności, klasyfikację tekstu i wykrywanie oszustw kart kredytowych.

Ponieważ Las Losowy jest algorytmem niskiego poziomu w architekturach uczenia maszynowego, może również przyczyniać się do wydajności innych algorytmów niskiego poziomu, a także algorytmów wizualizacji, w tym klasteringu indukcyjnego, przekształceń cech, klasyfikacji dokumentów tekstowych z cechami rzadkimi i wyświetlaniem potoków.

6: Naiwny Bayes

W połączeniu z estymacją gęstości (zob. 4 powyżej), klasyfikator Naiwny Bayes jest potężnym, ale względnie lekkim algorytmem, który może szacować prawdopodobieństwa na podstawie obliczonych cech danych.

Relacje między cechami w klasyfikatorze Naiwny Bayes. Źródło: https://www.sciencedirect.com/topics/computer-science/naive-bayes-model

Określenie “naiwny” odnosi się do założenia w twierdzeniu Bayesa, że cechy są niezależne, znane jako niezależność warunkowa. Jeśli przyjmiesz tę postawę, chodzenie i mówienie jak kaczka nie wystarczą, aby stwierdzić, że mamy do czynienia z kaczką, i nie przyjmujesz żadnych “oczywistych” założeń.

Ten poziom akademickiej i śledczej surowości byłby nadmiarem, gdy dostępna jest “zdrowa” logika, ale jest cennym standardem, gdy przechodzisz przez wiele niejasności i potencjalnie niepowiązanych korelacji, które mogą istnieć w zbiorze danych uczenia maszynowego.

W oryginalnej sieci Bayesa cechy podlegają funkcjom punktacji, w tym minimalnej długości opisu i punktuacji Bayesa, które mogą nakładać ograniczenia na dane pod względem oszacowanych połączeń znalezionych między punktami danych i kierunku, w którym te połączenia płyną.

Klasyfikator Naiwny Bayes działa natomiast, zakładając, że cechy danego obiektu są niezależne, a następnie wykorzystując twierdzenie Bayesa do obliczenia prawdopodobieństwa danego obiektu na podstawie jego cech.

Popularne Zastosowanie

Filtry Naiwny Bayes są dobrze reprezentowane w przewidywaniu chorób i klasyfikacji dokumentów, filtrowaniu spamu, klasyfikacji sentimentu, systemach rekomendacyjnych i wykrywaniu oszustw, wśród innych zastosowań.

7: K- Najbliższych Sąsiadów (KNN)

Pierwotnie zaproponowany przez Szkołę Medycyny Lotniczej Sił Powietrznych USA w 1951 roku i muszący dostosować się do stanu techniki sprzętu komputerowego w połowie XX wieku, K- Najbliższych Sąsiadów (KNN) jest chudym algorytmem, który nadal pojawia się w pracach badawczych i inicjatywach uczenia maszynowego.

KNN nazywany jest “leniwym uczniem”, ponieważ wyczerpuje skanowanie zbioru danych, aby ocenić relacje między punktami danych, zamiast wymagać szkolenia pełnoprawnego modelu uczenia maszynowego.

Grupowanie KNN. Źródło: https://scikit-learn.org/stable/modules/neighbors.html

Chociaż KNN jest architekturalnie szczupłym, jego systematyczne podejście stawia znaczne wymagania dotyczące operacji odczytu i zapisu, a jego użycie w bardzo dużych zbiorach danych może być problematyczne bez dodatkowych technologii, takich jak PCA, które mogą przekształcić złożone i duże zbiory danych w przedstawicielskie grupy, które KNN może przejść z mniejszym wysiłkiem.

Niedawne badanie oceniło skuteczność i efektywność kilku algorytmów, których zadaniem było przewidzieć, czy pracownik opuści firmę, stwierdzając, że siedemdziesięcioletni KNN pozostał lepszy pod względem dokładności i skuteczności przewidywania w porównaniu z nowocześniejszymi konkurentami.

Popularne Zastosowanie

Dla wszystkich swoich popularnych prostych pojęć i wykonania KNN nie jest zakleszczony w latach 50. – został zaadaptowany w bardziej zorientowanym na DNN podejściu w propozycji z 2018 roku przez Uniwersytet Stanu Pensylwania, i pozostaje centralnym wczesnym procesem (lub analitycznym narzędziem po szkoleniu) w wielu bardziej złożonych ramach uczenia maszynowego.

W różnych konfiguracjach KNN został wykorzystany do weryfikacji podpisów online, klasyfikacji obrazów, górnictwa danych tekstowych, przewidywania plonów i rozpoznawania twarzy, poza innymi zastosowaniami i wdrożeniami.

System rozpoznawania twarzy oparty na KNN w szkoleniu. Źródło: https://pdfs.semanticscholar.org/6f3d/d4c5ffeb3ce74bf57342861686944490f513.pdf

8: Proces Decyzyjny Markowa (MDP)

Matematyczna ramka wprowadzona przez amerykańskiego matematyka Richarda Bellmana w 1957 roku, Proces Decyzyjny Markowa (MDP) jest jednym z najbardziej podstawowych bloków uczenia wzmocnionego. Konceptualny algorytm sam w sobie, został zaadaptowany w wiele innych algorytmów i pojawia się często w bieżącej generacji badań AI/ML.

MDP eksploruje środowisko danych, wykorzystując swoją ocenę bieżącego stanu (tj. “gdzie” jest w danych), aby zdecydować, który węzeł danych ma zbadać następnie.

Źródło: https://www.sciencedirect.com/science/article/abs/pii/S0888613X18304420

Podstawowy Proces Decyzyjny Markowa faworyzuje krótkoterminowe korzyści nad bardziej pożądanymi długoterminowymi celami. Z tego powodu jest zwykle osadzony w kontekście bardziej kompleksowej architektury polityki w uczeniu wzmocnionym i jest często poddawany czynnikom ograniczającym, takim jak zniżkowa nagroda i inne modyfikujące zmienne środowiskowe, które zapobiegną jego pędowi do natychmiastowego celu bez rozważenia szerszego pożądanego wyniku.

Popularne Zastosowanie

MDP jest powszechnie stosowany w badaniach i aktywnych wdrożeniach uczenia maszynowego. Został zaproponowany do systemów obronnych IoT, połowu ryb i przewidywania rynku.

Ponadto jego oczywiste zastosowanie w szachach i innych ściśle sekwencyjnych grach, MDP jest naturalnym kandydatem do proceduralnego szkolenia systemów robotycznych, jak widać w poniższym filmie.

9: Częstotliwość Słowa – Odwrotna Częstotliwość Dokumentu

Częstotliwość Słowa (TF) dzieli liczbę wystąpień słowa w dokumencie przez łączną liczbę słów w tym dokumencie. Tak więc słowo “pieczęć” pojawiające się raz w artykule o długości 1000 słów ma częstotliwość słowa 0,001. Sam TF jest w dużej mierze bezużyteczny jako wskaźnik ważności słowa, ze względu na fakt, że nieistotne artykuły (takie jak “a”, “i”, “the” i “it”) dominują.

Aby uzyskać znaczącą wartość dla słowa, Odwrotna Częstotliwość Dokumentu (IDF) oblicza TF słowa w całym zbiorze dokumentów, przydzielając niską ocenę słowom o wysokiej częstotliwości, takim jak słowa przestankowe. Wynikowe wektory cech są normalizowane do wartości całkowitych, a każde słowo jest przypisane odpowiednią wagę.

TF-IDF waży znaczenie słów na podstawie częstotliwości w wielu dokumentach, z rzadszym wystąpieniem jako wskaźnikiem doniosłości. Źródło: https://moz.com/blog/inverse-document-frequency-and-the-importance-of-uniqueness

Chociaż to podejście zapobiega utracie semantycznie istotnych słów jako outliers, odwrócenie wagi częstotliwości nie oznacza automatycznie, że słowo o niskiej częstotliwości nie jest outliera, ponieważ niektóre rzeczy są rzadkie i bezwartościowe. Dlatego słowo o niskiej częstotliwości będzie musiało udowodnić swoją wartość w szerszym kontekście architektonicznym, pojawiając się (nawet przy niskiej częstotliwości na dokument) w wielu dokumentach w zbiorze danych.

Pomimo swojego wieku, TF-IDF jest potężną i popularną metodą wstępnych przeszukiwań w ramach Przetwarzania Języka Naturalnego.

Popularne Zastosowanie

Ponieważ TF-IDF odegrał co najmniej pewną rolę w rozwoju algorytmu PageRank Google na przestrzeni ostatnich dwudziestu lat, stał się bardzo szeroko przyjętym taktykiem SEO, pomimo odrzucenia jego znaczenia dla wyników wyszukiwania przez Johna Muellera w 2019 roku.

Ze względu na tajemnicę wokół PageRank, nie ma wyraźnych dowodów na to, że TF-IDF nie jest obecnie skutecznym taktykiem, aby awansować w rankingu Google. Paląca dyskusja wśród profesjonalistów IT ostatnio wskazuje na powszechne zrozumienie, słuszne czy nie, że nadużywanie słów może nadal prowadzić do lepszego umieszczania w wynikach wyszukiwania (chociaż dodatkowe oskarżenia o nadużywanie monopolu i nadmierna reklama zaciemniają granice tej teorii).

10: Losowy Spadek Gradientu

Losowy Spadek Gradientu (SGD) to coraz bardziej popularna metoda optymalizacji szkolenia modeli uczenia maszynowego.

Spadek Gradientu sam w sobie jest metodą optymalizacji i ilościowego pomiaru postępów, których dokonuje model podczas szkolenia.

W tym sensie “gradient” wskazuje nachylenie w dół (a nie kolorową gradację), gdzie najwyższy punkt “wzgórza” po lewej stronie reprezentuje początek procesu szkolenia. Na tym etapie model jeszcze nie widział całości danych, nawet raz, i nie nauczył się wystarczająco o relacjach między danymi, aby wykonać skuteczne transformacje.

Spadek gradientu w sesji szkoleniowej FaceSwap. Widzimy, że szkolenie się wypłaszczyło na jakiś czas w drugiej połowie, ale ostatecznie odzyskało swoją drogę w dół gradientu w kierunku akceptowalnej konwergencji.

Najniższy punkt po prawej stronie reprezentuje konwergencję (punkt, w którym model jest tak skuteczny, jak tylko może być pod narzuconymi ograniczeniami i ustawieniami).

Gradient działa jako zapis i przewidywanie rozbieżności między szybkością błędu (jak dokładnie model obecnie mapuje relacje danych) i wagami (ustawieniami, które wpływają na to, jak model będzie się uczył).

Ten zapis postępu może być wykorzystany do poinformowania harmonogramu tempa uczenia, automatycznego procesu, który informuje architekturę, aby stała się bardziej szczegółowa i precyzyjna, gdy wczesne niejasne szczegóły przekształcają się w wyraźne relacje i mapowania. W efekcie strata gradientu zapewnia mapę w czasie rzeczywistym, gdzie szkolenie powinno iść dalej, i jak powinno postępować.

Innowacja Losowego Spadku Gradientu polega na tym, że aktualizuje parametry modelu dla każdego przykładu szkoleniowego na każdej iteracji, co generalnie przyspiesza podróż do konwergencji. Ze względu na pojawienie się hiperskaliowych zbiorów danych w ostatnich latach, SGD zyskał na popularności jako jeden z możliwych sposobów rozwiązania wynikających problemów logistycznych.

Z drugiej strony, SGD ma negatywne implikacje dla skalowania cech i może wymagać więcej iteracji, aby osiągnąć ten sam wynik, wymagając dodatkowego planowania i dodatkowych parametrów w porównaniu z regularnym Spadkiem Gradientu.

Popularne Zastosowanie

Ze względu na jego konfigurowalność i pomimo swoich wad, SGD stał się najpopularniejszym algorytmem optymalizacji do dopasowywania sieci neuronowych. Jedną z konfiguracji SGD, która staje się dominująca w nowych badaniach AI/ML, jest wybór optymalizatora Adaptive Moment Estimation (ADAM), wprowadzonego w 2015 roku.

ADAM dostosowuje tempo uczenia dla każdego parametru dynamicznie (“adaptive learning rate”), a także włącza wyniki z poprzednich aktualizacji do następnej konfiguracji (“momentum”). Ponadto może być skonfigurowany do korzystania z późniejszych innowacji, takich jak Nesterov Momentum.

Jednak niektórzy twierdzą, że użycie momentum może również przyspieszyć ADAM (i podobne algorytmy) do pod-optymalnego wniosku. Jak w przypadku większości najnowszych osiągnięć w sektorze badań nad AI/ML, SGD jest pracą w toku.

Pierwotnie opublikowane 10 lutego 2022. Zmienione 10 lutego 20:05 EET – formatowanie.