10가지 최고의 기계 학습 알고리즘

우리는 GPU 가속 머신 러닝 분야에서 엄청난 혁신을 겪고 있지만, 최신 연구 논문에서는 종종 (그리고 두드러지게) 수십 년 전, 어떤 경우에는 70년이나 된 알고리즘을 다루고 있습니다.

일부 사람들은 이러한 오래된 방법 중 다수가 기계 학습보다는 '통계 분석' 범주에 속한다고 주장할 수 있으며, 이 분야의 출현을 1957년까지만 거슬러 올라가는 것을 선호합니다. 퍼셉트론의 발명.

이러한 기존 알고리즘이 머신러닝의 최신 트렌드와 주요 기술 발전을 얼마나 지원하고 얽혀 있는지를 고려하면, 이는 논쟁의 여지가 있는 주장입니다. 따라서 최신 혁신을 뒷받침하는 '고전적인' 구성 요소와 AI 명예의 전당에 조기 입성하려는 새로운 알고리즘들을 살펴보겠습니다.

1: 트랜스포머

2017년 Google Research는 연구 협력을 주도하여 종이 주의 만 있으면됩니다. 이 작업은 다음을 촉진하는 새로운 아키텍처를 설명했습니다. 주의 메커니즘 인코더/디코더와 순환 네트워크 모델의 '파이핑'에서부터 그 자체로 중앙 변환 기술에 이르기까지.

접근 방식은 더빙되었습니다 변신 로봇, 이후 자연어 처리(NLP)의 혁신적인 방법론이 되었으며, 특히 자동 회귀 언어 모델과 AI 포스터 하위 GPT-3을 지원합니다.

변압기는 문제를 우아하게 해결했습니다. 시퀀스 변환'변환'이라고도 불리는 이 기능은 입력 시퀀스를 출력 시퀀스로 처리하는 데 사용됩니다. 변환기는 순차적인 배치가 아닌 연속적인 방식으로 데이터를 수신하고 관리하여 RNN 아키텍처가 제공하지 못하는 '메모리 지속성'을 제공합니다. 변환기에 대한 자세한 내용은 다음을 참조하세요. 우리의 참조 기사.

CUDA 시대에 ML 연구를 지배하기 시작한 순환 신경망(RNN)과 달리 Transformer 아키텍처는 쉽게 병렬화, RNN보다 훨씬 더 큰 데이터 모음을 생산적으로 처리할 수 있는 길을 열어줍니다.

인기있는 사용법

트랜스포머는 2020년 당시 기록을 경신한 OpenAI의 GPT-3 출시로 대중의 상상력을 사로잡았습니다. 175 억 매개 변수. 이 놀라운 성과는 결국 2021년과 같은 이후 프로젝트에 의해 가려졌습니다. 공개 Microsoft의 Megatron-Turing NLG 530B는 (이름에서 알 수 있듯이) 530억 개 이상의 매개변수를 갖추고 있습니다.

하이퍼스케일 Transformer NLP 프로젝트의 타임라인. 출처: Microsoft

Transformer 아키텍처는 또한 NLP에서 컴퓨터 비전으로 넘어갔습니다. 새로운 세대 OpenAI와 같은 이미지 합성 프레임워크 쥐다 및 DALL-E, 점점 더 많은 관련 응용 프로그램 중에서 텍스트> 이미지 도메인 매핑을 사용하여 불완전한 이미지를 완성하고 훈련된 도메인에서 새로운 이미지를 합성합니다.

DALL-E는 플라톤의 흉상의 부분적 이미지를 완성하려고 시도한다. 출처 : https://openai.com/blog/dall-e/

2: 생성적 적대 신경망(GAN)

트랜스포머는 GPT-3의 출시 및 채택을 통해 놀라운 언론 보도를 얻었지만, 생식 적대적 네트워크 (GAN)은 그 자체로 인식할 수 있는 브랜드가 되었으며 궁극적으로 딥 페이크 동사로.

처음 제안 재활용률 이미지 합성에 주로 사용되는 Generative Adversarial Network 아키텍처 구성되어 있습니다 발전기 및 판별 자생성자는 데이터세트에 있는 수천 개의 이미지를 순환하며 반복적으로 재구성을 시도합니다. 각 시도마다 판별자는 생성자의 작업을 평가하고, 생성자를 더 나은 결과를 내도록 되돌려 보내지만, 이전 재구성의 오류 방식에 대한 통찰력은 제공하지 않습니다.

출처: https://developers.google.com/machine-learning/gan/gan_structure

이렇게 하면 Discriminator가 어디에서 잘못되었는지 알려줬을 때 발생할 수 있는 잠재적인 막다른 골목을 따라가는 대신 Generator가 다양한 방법을 탐색해야 합니다(아래 #8 참조). 교육이 끝날 때쯤 Generator는 데이터 세트의 포인트 간의 관계에 대한 자세하고 포괄적인 맵을 갖게 됩니다.

종이에서 공간 인식을 높여 GAN 평형 개선: 새로운 프레임워크는 GAN의 때때로 신비한 잠재 공간을 순환하여 이미지 합성 아키텍처에 반응하는 수단을 제공합니다. 출처: https://genforce.github.io/eqgan/

비유하자면, 이것은 런던 중심부로 단조로운 출퇴근길을 배우는 것과 힘들게 습득하는 것의 차이입니다. 지식.

그 결과, 훈련된 모델의 잠재 공간에 상위 수준의 특징들이 모입니다. 상위 수준의 특징에 대한 의미적 지표는 '사람'일 수 있으며, 해당 특징과 관련된 특이성을 살펴보면 '남성'과 '여성'과 같은 다른 학습된 특징들을 발견할 수 있습니다. 하위 수준에서는 하위 특징들이 '금발', '백인' 등으로 세분화될 수 있습니다.

얽힘은 주목할만한 문제 GAN과 인코더/디코더 프레임워크의 잠재 공간에서: GAN에서 생성된 여성 얼굴의 미소는 잠재 공간에서 그녀의 '정체성'의 얽힌 특징인가, 아니면 평행한 가지인가?

이 사람의 GAN 생성 얼굴은 존재하지 않습니다. 출처: https://this-person-does-not-exist.com/en

지난 몇 년 동안 이와 관련하여 점점 더 많은 새로운 연구 프로젝트가 진행되어 왔으며, 이는 GAN의 잠재 공간에 대한 기능 수준의 포토샵 스타일 편집을 위한 길을 닦았을지도 모릅니다. 하지만 현재 많은 변환은 사실상 '전부 아니면 전무' 패키지에 불과합니다. 특히, NVIDIA의 2021년 말 EditGAN 릴리스는 높은 수준의 해석 가능성 시맨틱 분할 마스크를 사용하여 잠재 공간에서

인기있는 사용법

인기 있는 딥페이크 비디오에 대한 참여(실제로 상당히 제한적임) 외에도 이미지/비디오 중심 GAN은 지난 XNUMX년 동안 급증하여 연구원과 대중 모두를 매료시켰습니다. 새 릴리스의 어지러운 속도와 빈도를 따라잡는 것은 어려운 일이지만 GitHub 리포지토리는 멋진 GAN 애플리케이션 포괄적인 목록을 제공하는 것을 목표로 합니다.

Generative Adversarial Networks는 이론적으로 잘 구성된 도메인에서 기능을 파생할 수 있습니다. 텍스트 포함.

3: SVM

유래 재활용률, 벡터 머신 지원 (SVM)은 새로운 연구에서 자주 등장하는 핵심 알고리즘입니다. SVM에서 벡터는 데이터 세트에서 데이터 포인트의 상대적 배치를 매핑하는 반면 SUPPORT 벡터는 서로 다른 그룹, 기능 또는 특성 간의 경계를 나타냅니다.

지원 벡터는 그룹 간의 경계를 정의합니다. 출처: https://www.kdnuggets.com/2016/07/support-vector-machines-simple-explanation.html

도출된 경계를 초평면.

낮은 기능 수준에서 SVM은 XNUMX 차원 (위 이미지) 그러나 인식되는 그룹이나 유형의 수가 더 많은 경우에는 다음과 같습니다. 삼차원의.

점과 그룹의 더 깊은 배열에는 XNUMX차원 SVM이 필요합니다. 출처: https://cml.rhul.ac.uk/svm.html

인기있는 사용법

지원 벡터 머신은 다양한 종류의 고차원 데이터를 효과적이고 불가지론적으로 처리할 수 있기 때문에 다음을 포함한 다양한 머신러닝 분야에서 널리 사용됩니다. 딥 페이크 감지, 이미지 분류, 증오심 표현 분류, DNA 분석 및 인구 구조 예측많은 다른 사람의 사이에서.

4: K-평균 클러스터링

일반적으로 클러스터링은 비지도 학습 를 통해 데이터 포인트를 분류하려는 접근 방식 밀도 추정, 연구 중인 데이터의 분포 맵을 생성합니다.

K-Means는 데이터의 신성한 세그먼트, 그룹 및 커뮤니티를 클러스터링합니다. 출처: https://aws.amazon.com/blogs/machine-learning/k-means-clustering-with-amazon-sagemaker/

K- 평균 군집화 이 접근 방식의 가장 인기 있는 구현 방식은 데이터 포인트를 고유한 'K 그룹'으로 분류하는 것입니다. 이는 원시 통계 데이터에서 발견되기를 기다리는 인구 통계적 부문, 온라인 커뮤니티 또는 기타 가능한 비밀 집계를 나타낼 수 있습니다.

클러스터는 K-Means 분석에서 형성됩니다. 출처: https://www.geeksforgeeks.org/ml-determine-the-optimal-value-of-k-in-k-means-clustering/

K 값 자체는 프로세스의 유용성과 클러스터에 대한 최적의 값을 설정하는 결정 요인입니다. 처음에는 K 값이 무작위로 할당되고 그 특징과 벡터 특성이 이웃과 비교됩니다. 데이터가 프로세스에서 허용하는 모든 그룹화를 생성할 때까지 임의로 할당된 값이 있는 데이터 포인트와 가장 유사한 이웃이 클러스터에 반복적으로 할당됩니다.

클러스터 간 값 차이의 제곱 오차 또는 '비용'에 대한 플롯은 다음을 보여줍니다. 팔꿈치 포인트 데이터:

클러스터 그래프의 '팔꿈치 지점'. 출처: https://www.scikit-yb.org/en/latest/api/cluster/elbow.html

팔꿈치 포인트는 데이터 세트에 대한 교육 세션이 끝날 때 손실이 감소하는 방식으로 개념상 유사합니다. 그룹 간의 더 이상의 구분이 명확해지지 않는 지점을 나타내며 데이터 파이프라인의 후속 단계로 이동하거나 결과를 보고해야 하는 순간을 나타냅니다.

인기있는 사용법

K-평균 클러스터링은 고객 분석에서 기본적인 기술로, 방대한 상업 기록을 인구 통계적 통찰력과 '리드'로 변환하는 명확하고 설명 가능한 방법론을 제공합니다.

이 응용 프로그램 외에도 K-Means Clustering은 다음을 위해 사용됩니다. 산사태 예측, 의료 영상 분할, GAN을 사용한 이미지 합성, 문서 분류및 도시 계획, 다른 많은 잠재적 및 실제 용도 중에서.

5: 랜덤 포레스트

랜덤 포레스트는 앙상블 학습 배열의 결과를 평균화하는 방법 결정 트리 결과에 대한 전반적인 예측을 설정합니다.

출처: https://www.tutorialandexample.com/wp-content/uploads/2019/10/Decision-Trees-Root-Node.png

당신이 그것을 조금이라도 조사했다면, 미래로 귀환 3부작인 의사결정 트리 자체는 개념화하기가 매우 쉽습니다. 여러 경로가 여러분 앞에 놓여 있고, 각 경로는 더 많은 가능한 경로를 포함하는 새로운 결과로 분기됩니다.

In 강화 학습, 경로에서 후퇴하고 이전 입장에서 다시 시작할 수 있지만 의사 결정 트리는 여정에 전념합니다.

따라서 랜덤 포레스트 알고리즘은 본질적으로 의사결정에 스프레드 베팅을 적용합니다. 이 알고리즘이 '무작위'라고 불리는 이유는 임시 변통의 이해하기 위한 선택과 관찰 중앙 분리대 의사 결정 트리 배열의 결과 합계입니다.

다양한 요소를 고려하기 때문에 Random Forest 접근 방식은 의사 결정 트리보다 의미 있는 그래프로 변환하기가 더 어려울 수 있지만 훨씬 더 생산적일 수 있습니다.

의사 결정 트리는 과적합(overfitting)의 영향을 받는데, 이는 얻은 결과가 특정 데이터에만 국한되어 일반화하기 어렵기 때문입니다. 랜덤 포레스트는 데이터 포인트를 임의로 선택하여 데이터에서 의미 있고 유용한 대표적 추세를 찾아내는 방식으로 이러한 경향을 극복합니다.

의사 결정 트리 회귀. 출처: https://scikit-learn.org/stable/auto_examples/tree/plot_tree_regression.html

인기있는 사용법

이 목록에 있는 많은 알고리즘과 마찬가지로, 랜덤 포레스트는 일반적으로 데이터의 '초기' 정렬 및 필터링 역할을 하며, 이러한 특성으로 인해 새로운 연구 논문에 꾸준히 등장합니다. 랜덤 포레스트 활용 사례는 다음과 같습니다. 자기공명영상합성, Bitcoin 가격 예측, 인구 조사 세분화, 텍스트 분류 및 신용 카드 사기 탐지.

Random Forest는 머신 러닝 아키텍처의 하위 수준 알고리즘이므로 다음과 같은 시각화 알고리즘뿐만 아니라 다른 하위 수준 방법의 성능에도 기여할 수 있습니다. 유도 클러스터링, 기능 변환, 텍스트 문서의 분류 희소 기능 사용및 파이프라인 표시.

6: 나이브 베이즈

밀도 추정과 결합(참조 4, 위), 나이브 베이즈 분류기는 데이터의 계산된 특징을 기반으로 확률을 추정할 수 있는 강력하지만 상대적으로 가벼운 알고리즘입니다.

나이브 베이즈 분류기의 기능 관계. 출처: https://www.sciencedirect.com/topics/computer-science/naive-bayes-model

'순진한'이라는 용어는 가정을 의미합니다. 베이즈의 정리 해당 기능은 관련이 없으며 조건부 독립이러한 관점을 취한다면, 오리처럼 걷고 말하는 것만으로는 우리가 오리를 상대하고 있다는 것을 입증하기에 충분하지 않으며, 어떠한 '명백한' 가정도 성급하게 채택되지 않습니다.

'상식'으로 접근할 수 있는 분야에서 이 정도 수준의 학문적, 조사적 엄격성은 지나치겠지만, 머신 러닝 데이터 세트에 존재할 수 있는 많은 모호성과 잠재적으로 관련성이 없는 상관관계를 탐색할 때는 귀중한 기준이 됩니다.

원래 베이지안 네트워크에서 기능은 다음을 따릅니다. 채점 기능, 최소 설명 길이 포함 베이지안 채점, 데이터 포인트 간에 발견된 예상 연결과 이러한 연결이 흐르는 방향 측면에서 데이터에 제한을 가할 수 있습니다.

반대로, 나이브 베이즈 분류기는 주어진 객체의 특징이 독립적이라고 가정한 후, 베이즈 정리를 사용하여 주어진 객체의 특징을 기반으로 해당 객체의 확률을 계산합니다.

인기있는 사용법

Naive Bayes 필터는 질병 예측 및 문서 분류, 스팸 필터링, 감정 분류, 추천 시스템및 사기 탐지, 다른 응용 프로그램 중에서.

7: K- 최근접 이웃(KNN)

미 공군 항공 의학 학교에서 처음 제안 재활용률20세기 중반 최첨단 컴퓨팅 하드웨어에 적응해야 하는 K- 최근 접 이웃 (KNN)은 학술 논문 및 민간 부문 기계 학습 연구 이니셔티브에서 여전히 두드러지게 나타나는 린 알고리즘입니다.

KNN은 완전한 머신 러닝 모델을 학습시키는 대신, 데이터 포인트 간의 관계를 평가하기 위해 데이터 세트를 철저히 검토하기 때문에 '게으른 학습자'라고 불립니다.

KNN 그룹화. 원천: https://scikit-learn.org/stable/modules/neighbors.html

KNN은 구조적으로 가냘프지만 체계적인 접근 방식은 읽기/쓰기 작업에 상당한 수요가 있으며 매우 큰 데이터 세트에서 KNN을 사용하는 것은 복잡하고 대용량 데이터 세트를 변환할 수 있는 주성분 분석(PCA)과 같은 보조 기술 없이는 문제가 될 수 있습니다. ~ 안으로 대표 그룹 KNN이 더 적은 노력으로 순회할 수 있습니다.

A 최근의 연구 직원이 회사를 떠날지 여부를 예측하는 여러 알고리즘의 효율성과 경제성을 평가하여 XNUMX대 KNN이 정확성과 예측 효율성 측면에서 더 현대적인 경쟁자보다 우수하다는 사실을 발견했습니다.

인기있는 사용법

KNN은 개념과 실행의 대중적 단순성에도 불구하고 1950년대에 머물러 있지 않습니다. 보다 DNN 중심적인 접근 방식 2018년 Pennsylvania State University의 제안에서 훨씬 더 복잡한 많은 기계 학습 프레임워크에서 중앙 초기 단계 프로세스(또는 사후 처리 분석 도구)로 남아 있습니다.

다양한 구성에서 KNN이 사용되었습니다. 온라인 서명 확인, 이미지 분류, 텍스트 마이닝, 작물 예측및 얼굴 인식, 다른 응용 프로그램 및 통합 외에.

훈련 중인 KNN 기반 안면 인식 시스템. Source: https://pdfs.semanticscholar.org/6f3d/d4c5ffeb3ce74bf57342861686944490f513.pdf

8: 마르코프 결정 프로세스(MDP)

미국의 수학자 리차드 벨만이 소개한 수학적 틀 재활용률, MDP(Markov Decision Process)는 가장 기본적인 블록 중 하나입니다. 강화 학습 아키텍처. 그 자체로 개념적 알고리즘이며 수많은 다른 알고리즘에 적용되었으며 현재 AI/ML 연구에서 자주 반복됩니다.

MDP는 현재 상태(즉, 데이터에서 '어디에' 있는지)를 평가하여 데이터 환경을 탐색하고, 다음에 탐색할 데이터 노드를 결정합니다.

출처: https://www.sciencedirect.com/science/article/abs/pii/S0888613X18304420

기본적인 Markov 결정 프로세스는 보다 바람직한 장기 목표보다 단기적 이점을 우선시합니다. 이러한 이유로 이는 일반적으로 강화 학습의 보다 포괄적인 정책 아키텍처의 맥락에 포함되며 할인된 보상과 같은 제한 요소 및 고려 없이 즉각적인 목표로 돌진하는 것을 방지하는 기타 수정 환경 변수의 적용을 받는 경우가 많습니다. 더 폭넓은 원하는 결과를 얻을 수 있습니다.

인기있는 사용법

MDP의 저수준 개념은 머신러닝 연구 및 실제 적용 분야에서 널리 사용되고 있습니다. IoT 보안 방어 시스템, 물고기 수확및 시장 예측.

그 외에 명백한 적용 가능성 체스 및 기타 엄격하게 순차적인 게임에 대해 MDP는 또한 로봇 시스템의 절차적 훈련, 아래 비디오에서 볼 수 있듯이.

9: 용어 빈도-역 문서 빈도

기간 빈도(TF) 문서에 단어가 나타나는 횟수를 해당 문서의 총 단어 수로 나눕니다. 따라서 단어 봉하다 천 단어 기사에 한 번 등장하는 용어 빈도는 0.001입니다. TF 자체는 의미 없는 기사(예: a, 및 , 전에,및 it) 우세하다.

용어에 대한 의미 있는 값을 얻기 위해 IDF(역 문서 빈도)는 데이터 세트의 여러 문서에서 단어의 TF를 계산하여 낮은 등급을 매우 높은 빈도에 할당합니다. 스톱 워드, 기사와 같은. 결과 특징 벡터는 전체 값으로 정규화되며 각 단어에는 적절한 가중치가 할당됩니다.

TF-IDF는 여러 문서에서 빈도를 기준으로 용어의 관련성에 가중치를 부여하며 드물게 발생하는 경우 현저성을 나타냅니다. 출처: https://moz.com/blog/inverse-document-frequency-and-the-importance-of-uniqueness

이 접근 방식은 의미상 중요한 단어가 다음과 같이 손실되는 것을 방지하지만 이상치, 빈도 가중치를 반전한다고 해서 자동으로 저주파 용어가 지원 일부는 드물기 때문에 이상치 및 가치 없는. 따라서 빈도가 낮은 용어는 데이터 세트의 여러 문서에서 (문서당 빈도가 낮은 경우에도) 기능을 통해 더 넓은 아키텍처 컨텍스트에서 그 가치를 입증해야 합니다.

그럼에도 불구하고 나이, TF-IDF는 자연어 처리 프레임워크에서 초기 필터링 통과를 위한 강력하고 널리 사용되는 방법입니다.

인기있는 사용법

TF-IDF는 지난 20년 동안 Google의 대부분 숨겨진 PageRank 알고리즘 개발에 최소한 어느 정도 역할을 했기 때문에 매우 널리 채택 John Mueller의 2019년 조사에도 불구하고 조작적인 SEO 전략으로 거부 검색 결과에 대한 중요성입니다.

PageRank 주변의 비밀로 인해 TF-IDF가 지원 현재 구글 순위를 높이는 효과적인 전략입니다. 선동적 토론 최근 IT 전문가들 사이에서 용어 남용이 여전히 SEO 배치를 개선할 수 있다는 대중적인 이해를 나타냅니다. 독점 남용 혐의 및 과도한 광고 이 이론의 한계를 흐리게 함).

10: 확률적 경사하강법

확률적 경사하강법 (SGD)는 기계 학습 모델의 교육을 최적화하는 데 점점 더 많이 사용되는 방법입니다.

경사 하강법 자체는 훈련 중에 모델이 만드는 개선을 최적화하고 이후에 정량화하는 방법입니다.

이런 의미에서 '기울기'는 (아래 이미지 참조, 색상 기반 그라데이션이 아닌) 아래로 기울어진 모양을 나타냅니다. 왼쪽 '언덕'의 가장 높은 지점은 학습 과정의 시작을 나타냅니다. 이 단계에서 모델은 아직 전체 데이터를 한 번도 접하지 않았으며, 효과적인 변환을 생성할 만큼 데이터 간의 관계에 대해 충분히 학습하지 못했습니다.

FaceSwap 교육 세션의 경사 하강법. 우리는 교육이 후반부에 얼마 동안 정체되었지만 결국 수용 가능한 수렴을 향한 기울기 아래로 회복되었음을 볼 수 있습니다.

오른쪽의 가장 낮은 지점은 수렴을 나타냅니다(모델이 부과된 제약 조건 및 설정 하에서 얻을 수 있는 만큼 효과적인 지점).

그래디언트는 오류율(모델이 현재 데이터 관계를 얼마나 정확하게 매핑했는지)과 가중치(모델이 학습하는 방식에 영향을 미치는 설정) 사이의 차이에 대한 기록 및 예측자 역할을 합니다.

이 진행 기록은 다음을 알리는 데 사용할 수 있습니다. 학습률 일정, 초기 모호한 세부 사항이 명확한 관계 및 매핑으로 변환됨에 따라 아키텍처가 보다 세분화되고 정확해지도록 지시하는 자동 프로세스입니다. 실제로 그래디언트 손실은 교육이 다음에 진행되어야 하는 위치와 진행 방법에 대한 적시 맵을 제공합니다.

확률적 경사 하강법의 혁신은 각 반복마다 각 학습 예제의 모델 매개변수를 업데이트하여 일반적으로 수렴 속도를 높인다는 점입니다. 최근 몇 년 동안 하이퍼스케일 데이터 세트가 등장하면서, SGD는 이로 인한 로지스틱 문제를 해결할 수 있는 한 가지 방법으로 최근 인기를 얻고 있습니다.

반면 SGD는 부정적인 의미 기능 크기 조정을 위해 동일한 결과를 얻기 위해 더 많은 반복이 필요할 수 있으므로 일반 경사 하강법에 비해 추가 계획 및 추가 매개변수가 필요합니다.

인기있는 사용법

구성 가능성과 단점에도 불구하고 SGD는 신경망 피팅을 위한 가장 인기 있는 최적화 알고리즘이 되었습니다. 새로운 AI/ML 연구 논문에서 지배적인 SGD 구성 중 하나는 ADAM(Adaptive Moment Estimation)의 선택입니다. 재활용률) 옵티마이저.

ADAM은 각 매개변수의 학습률을 동적으로 조정('적응적 학습률')하고, 이전 업데이트 결과를 후속 구성에 통합('모멘텀')합니다. 또한, 다음과 같은 최신 혁신 기술을 사용하도록 구성할 수 있습니다. 네스테로프 모멘텀.

그러나 일부에서는 모멘텀을 사용하면 ADAM(및 유사한 알고리즘)을 최적이 아닌 결론. 기계 학습 연구 분야의 최첨단 분야와 마찬가지로 SGD도 진행 중인 작업입니다.

10년 2022월 10일에 처음 게시되었습니다. EET 20.05년 XNUMX월 XNUMX일에 수정되었습니다.