10 Algoritma Pembelajaran Mesin Terbaik

Meskipun kita sedang hidup di masa inovasi luar biasa dalam pembelajaran mesin yang dipercepat GPU, penelitian terbaru sering kali (dan secara menonjol) menampilkan algoritma yang sudah berusia beberapa dekade, bahkan 70 tahun.

Beberapa orang mungkin berpendapat bahwa banyak metode lama ini masuk dalam kategori ‘analisis statistik’ daripada pembelajaran mesin, dan lebih memilih untuk menelusuri sejarah sektor ini hanya sampai tahun 1957, dengan penemuan Perceptron.

Mengingat seberapa banyak algoritma lama ini mendukung dan terjalin dalam tren terbaru dan perkembangan pembelajaran mesin, ini adalah posisi yang dapat diperdebatkan. Jadi mari kita lihat beberapa ‘bangunan klasik’ yang mendasari inovasi terbaru, serta beberapa entri baru yang membuat tanda di bidang AI.

1: Transformers

Pada 2017, Google Research memimpin kolaborasi penelitian yang berpuncak pada makalah Attention Is All You Need. Karya ini menguraikan arsitektur baru yang mempromosikan mekanisme perhatian dari ‘piping’ di model encoder/decoder dan jaringan berulang menjadi teknologi transformasional sentral dalam hak mereka sendiri.

Pendekatan ini dinamai Transformer, dan sejak itu telah menjadi metode revolusioner dalam Pemrosesan Bahasa Alami (NLP), memungkinkan, antara lain, model bahasa autoregresif dan AI poster-child GPT-3.

Transformers dengan elegan memecahkan masalah transduksi urutan, juga disebut ‘transformasi’, yang berkaitan dengan pemrosesan urutan input menjadi urutan output. Transformer juga menerima dan mengelola data secara terus-menerus, bukan dalam batch berurutan, memungkinkan ‘persistensi memori’ yang arsitektur RNN tidak dirancang untuk mencapai. Untuk tinjauan lebih rinci tentang transformer, lihat artikel referensi kami.

Berbeda dengan Jaringan Neural Berulang (RNN) yang telah mulai mendominasi penelitian ML di era CUDA, arsitektur Transformer juga dapat dengan mudah diparalelisasi, membuka jalan untuk mengatasi korpus data yang jauh lebih besar daripada RNN.

Penggunaan Populer

Transformers menangkap imajinasi publik pada 2020 dengan rilis OpenAI’s GPT-3, yang membanggakan 175 miliar parameter. Pencapaian yang tampaknya mengesankan ini akhirnya tertutupi oleh proyek-proyek selanjutnya, seperti rilis Microsoft’s Megatron-Turing NLG 530B pada 2021, yang (seperti namanya) menampilkan lebih dari 530 miliar parameter.

Garisi waktu proyek NLP Transformer hiperskala. Sumber: Microsoft

Arsitektur Transformer juga telah meluas dari NLP ke penglihatan komputer, memungkinkan generasi baru kerangka sintesis gambar seperti OpenAI’s CLIP dan DALL-E, yang menggunakan pemetaan domain teks-ke-gambar untuk menyelesaikan gambar yang tidak lengkap dan mensintesis gambar baru dari domain yang dilatih, di antara aplikasi lainnya.

DALL-E mencoba menyelesaikan gambar parsial dari patung Plato. Sumber: https://openai.com/blog/dall-e/

2: Jaringan Adversarial Generatif (GANs)

Meskipun transformer telah mendapatkan liputan media luar biasa melalui rilis dan adopsi GPT-3, Jaringan Adversarial Generatif (GAN) telah menjadi merek yang dikenal dalam hak mereka sendiri, dan mungkin akan bergabung dengan deepfake sebagai kata kerja.

Pertama kali diusulkan pada 2014 dan terutama digunakan untuk sintesis gambar, arsitektur Jaringan Adversarial Generatif terdiri dari Generator dan Discriminator. Generator mengulangi ribuan gambar dalam dataset, berusaha untuk merekonstruksinya. Untuk setiap upaya, Discriminator menilai pekerjaan Generator, dan mengirim Generator kembali untuk melakukan yang lebih baik, tanpa memberikan wawasan tentang cara pekerjaan sebelumnya salah.

Sumber: https://developers.google.com/machine-learning/gan/gan_structure

Inilah yang memaksa Generator untuk menjelajahi banyak jalur, bukan mengikuti jalan buntu yang mungkin terjadi jika Discriminator telah memberitahu tentang kesalahan sebelumnya (lihat #8 di bawah). Dengan waktu pelatihan selesai, Generator memiliki peta rinci dan komprehensif tentang hubungan antara titik-titik dalam dataset.

Dari makalah Improving GAN Equilibrium by Raising Spatial Awareness: kerangka kerja baru mengulangi ruang laten GAN, memberikan instrumentasi responsif untuk arsitektur sintesis gambar. Sumber: https://genforce.github.io/eqgan/

Dengan analogi, ini adalah perbedaan antara belajar satu komuter yang membosankan ke pusat London, atau memperoleh The Knowledge.

Hasilnya adalah koleksi fitur tingkat tinggi dalam ruang laten model terlatih. Indikator semantik untuk fitur tingkat tinggi bisa ‘orang’, sedangkan penurunan spesifik terkait fitur mungkin mengungkap karakteristik lain yang dipelajari, seperti ‘laki-laki’ dan ‘perempuan’. Pada tingkat yang lebih rendah, sub-fitur dapat dipecah menjadi, ‘blonde’, ‘Kaukasia’, dll.

Perkawinan adalah masalah terkenal dalam ruang laten GAN dan kerangka encoder/decoder: apakah senyum pada wajah perempuan yang dihasilkan GAN merupakan fitur yang terkait dengan ‘identitas’ dalam ruang laten, ataukah itu cabang paralel?

Wajah yang dihasilkan GAN dari thispersondoesnotexist. Sumber: https://this-person-does-not-exist.com/en

Dua tahun terakhir telah membawa sejumlah inisiatif penelitian baru dalam hal ini, mungkin membuka jalan bagi pengeditan tingkat fitur, gaya Photoshop, untuk ruang laten GAN, tetapi saat ini, banyak transformasi secara efektif ‘semua atau tidak ada’ paket. Terutama, rilis EditGAN NVIDIA pada akhir 2021 mencapai tingkat interpretasi yang tinggi dalam ruang laten dengan menggunakan masker segmentasi semantik.

Penggunaan Populer

Di samping keterlibatan mereka yang terbatas dalam video deepfake populer, GAN yang berfokus pada gambar/vidio telah berkembang selama empat tahun terakhir, mempesona peneliti dan masyarakat umum. Mengikuti laju dan frekuensi rilis baru adalah tantangan, meskipun repositori GitHub Aplikasi GAN yang Luar Biasa bertujuan untuk menyediakan daftar komprehensif.

Jaringan Adversarial Generatif dapat, secara teori, menghasilkan fitur dari domain yang terstruktur dengan baik, termasuk teks.

3: Mesin Vektor Dukung (SVM)

Berasal pada 1963, Mesin Vektor Dukung (SVM) adalah algoritma inti yang sering muncul dalam penelitian baru. Di bawah SVM, vektor memetakan disposisi relatif titik data dalam dataset, sedangkan vektor dukung menentukan batas-batas antara kelompok, fitur, atau sifat yang berbeda.

Vektor dukung menentukan batas-batas antara kelompok. Sumber: https://www.kdnuggets.com/2016/07/support-vector-machines-simple-explanation.html

Batas yang dihasilkan disebut hiperbidang.

Pada tingkat fitur yang rendah, SVM adalah dua dimensi (gambar di atas), tetapi di mana ada jumlah kelompok atau jenis yang lebih tinggi, itu menjadi tiga dimensi.

Array titik yang lebih dalam dan kelompok memerlukan SVM tiga dimensi. Sumber: https://cml.rhul.ac.uk/svm.html

Penggunaan Populer

Karena Mesin Vektor Dukung dapat secara efektif dan agnostik mengatasi data multidimensi dari berbagai jenis, mereka muncul secara luas di berbagai sektor pembelajaran mesin, termasuk deteksi deepfake, klasifikasi gambar, klasifikasi ucapan kebencian, analisis DNA dan prediksi struktur populasi, di antara lainnya.

4: Klasterisasi K-Means

Klasterisasi pada umumnya adalah pendekatan pembelajaran tidak terawasi yang berusaha untuk mengategorikan titik data melalui estimasi kepadatan, membuat peta distribusi data yang sedang dipelajari.

Klasterisasi K-Means menemukan segmen, kelompok, dan komunitas dalam data. Sumber: https://aws.amazon.com/blogs/machine-learning/k-means-clustering-with-amazon-sagemaker/

Klasterisasi K-Means telah menjadi implementasi paling populer dari pendekatan ini, mengarahkan titik data ke dalam kelompok ‘K’ yang berbeda, yang mungkin menunjukkan sektor demografi, komunitas online, atau agregasi rahasia lainnya yang menunggu untuk ditemukan dalam data statistik mentah.

Kelompok terbentuk dalam analisis K-Means. Sumber: https://www.geeksforgeeks.org/ml-determine-the-optimal-value-of-k-in-k-means-clustering/

Nilai K itu sendiri adalah faktor penentu dalam utilitas proses, dan dalam menetapkan nilai optimal untuk sebuah klaster. Awalnya, nilai K secara acak ditetapkan, dan fitur serta karakteristik vektor dibandingkan dengan tetangganya. Tetangga yang paling mirip dengan titik data dengan nilai K yang ditetapkan secara acak kemudian ditetapkan ke klaster yang sama secara iteratif sampai data telah menghasilkan semua kelompok yang prosesnya izinkan.

Grafik untuk kesalahan kuadrat, atau ‘biaya’ dari nilai yang berbeda di antara klaster, akan mengungkapkan titik siku untuk data:

Titik siku dalam grafik klaster. Sumber: https://www.scikit-yb.org/en/latest/api/cluster/elbow.html

Titik siku mirip dengan konsep di mana kerugian meratakan ke hasil yang menurun pada akhir sesi pelatihan untuk dataset. Ini mewakili titik di mana tidak ada perbedaan lebih lanjut antara kelompok yang akan menjadi jelas, menunjukkan saatnya untuk melanjutkan ke fase berikutnya dalam pipa data, atau untuk melaporkan temuan.

Penggunaan Populer

Klasterisasi K-Means, karena alasan yang jelas, adalah teknologi utama dalam analisis pelanggan, karena menawarkan metodologi yang jelas dan dapat dijelaskan untuk menerjemahkan jumlah besar catatan komersial menjadi wawasan demografi dan ‘petunjuk’.

Di luar aplikasi ini, Klasterisasi K-Means juga digunakan untuk prediksi tanah longsor, segmentasi gambar medis, sintesis gambar dengan GAN, klasifikasi dokumen, dan perencanaan kota, di antara penggunaan lainnya.

5: Hutan Acak

Hutan Acak adalah metode pembelajaran ensemble yang merata-ratakan hasil dari array pohon keputusan untuk menetapkan prediksi keseluruhan untuk hasilnya.

Sumber: https://www.tutorialandexample.com/wp-content/uploads/2019/10/Decision-Trees-Root-Node.png

Jika Anda telah meneliti sedikit, bahkan hanya menonton trilogi Kembali ke Masa Depan, pohon keputusan itu sendiri cukup mudah untuk dipahami: sejumlah jalur terletak di depan Anda, dan setiap jalur bercabang ke hasil baru yang pada gilirannya berisi jalur lain.

Dalam pembelajaran penguatan, Anda mungkin mundur dari jalur dan memulai lagi dari posisi sebelumnya, sedangkan pohon keputusan berkomitmen pada perjalanan mereka.

Algoritma Hutan Acak pada dasarnya adalah taruhan yang tersebar untuk keputusan. Algoritma ini disebut ‘acak’ karena membuat pilihan dan pengamatan ad hoc untuk memahami median jumlah hasil dari array pohon keputusan.

Karena algoritma ini mempertimbangkan banyak faktor, pendekatan Hutan Acak dapat lebih sulit untuk diubah menjadi grafik yang bermakna daripada pohon keputusan, tetapi kemungkinan besar lebih produktif.

Pohon keputusan rentan terhadap overfitting, di mana hasil yang diperoleh spesifik untuk data dan tidak mungkin umum. Pemilihan data acak Hutan Acak melawan kecenderungan ini, menembus tren yang bermakna dan berguna dalam data.

Regresi pohon keputusan. Sumber: https://scikit-learn.org/stable/auto_examples/tree/plot_tree_regression.html

Penggunaan Populer

Seperti banyak algoritma dalam daftar ini, Hutan Acak biasanya beroperasi sebagai ‘awal’ pengatur dan filter data, dan sebagai hasilnya secara konsisten muncul dalam kertas penelitian baru. Beberapa contoh penggunaan Hutan Acak termasuk sintesis gambar resonansi magnetik, prediksi harga Bitcoin, segmentasi sensus, klasifikasi teks dan deteksi penipuan kartu kredit.

Karena Hutan Acak adalah algoritma tingkat rendah dalam arsitektur pembelajaran mesin, juga dapat berkontribusi pada kinerja metode tingkat rendah lainnya, serta algoritma visualisasi, termasuk klastering induktif, transformasi fitur, klasifikasi dokumen teks menggunakan fitur yang jarang, dan menampilkan Pipa.

6: Naive Bayes

Berkaitan dengan estimasi kepadatan (lihat 4 di atas), klasifikasi Naive Bayes adalah algoritma yang kuat tetapi relatif ringan yang dapat memperkirakan probabilitas berdasarkan fitur data yang dihitung.

Hubungan fitur dalam klasifikasi Naive Bayes. Sumber: https://www.sciencedirect.com/topics/computer-science/naive-bayes-model

Istilah ‘naif’ mengacu pada asumsi dalam teorema Bayes bahwa fitur tidak terkait, yang dikenal sebagai ketergantungan bersyarat. Jika Anda mengadopsi sudut pandang ini, berjalan dan berbicara seperti bebek tidak cukup untuk menetapkan bahwa kita berhadapan dengan bebek, dan tidak ada ‘asumsi yang jelas’ yang diadopsi secara prematur.

Tingkat ini dari integritas akademis dan investigatif akan menjadi kelebihan di mana ‘kesadaran umum’ tersedia, tetapi merupakan standar yang berharga ketika menavigasi banyak ketidakjelasan dan korelasi yang tidak terkait yang mungkin ada dalam dataset pembelajaran mesin.

Dalam jaringan Bayesian asli, fitur tunduk pada fungsi skoring, termasuk panjang deskripsi minimal dan skoring Bayesian, yang dapat memaksakan batasan pada data dalam hal koneksi yang diestimasi antara titik data, dan arah di mana koneksi ini mengalir.

Klasifikasi Naive Bayes, di sisi lain, beroperasi dengan mengasumsikan bahwa fitur dari objek tertentu tidak terkait, kemudian menggunakan teorema Bayes untuk menghitung probabilitas objek tertentu, berdasarkan fiturnya.

Penggunaan Populer

Klasifikasi Naive Bayes banyak digunakan dalam prediksi penyakit dan kategorisasi dokumen, penyaringan spam, klasifikasi sentimen, sistem rekomendasi, dan deteksi penipuan, di antara aplikasi lainnya.

7: K-Tetangga Terdekat (KNN)

Pertama kali diusulkan oleh Sekolah Kedokteran Penerbangan Angkatan Udara AS pada 1951, dan harus menyesuaikan diri dengan keadaan perangkat keras komputasi mutakhir abad pertengahan, K-Tetangga Terdekat (KNN) adalah algoritma yang ramping yang masih menonjol di seluruh kertas penelitian akademis dan inisiatif penelitian pembelajaran mesin sektor swasta.

KNN disebut ‘pembelajar malas’, karena secara menyeluruh memindai dataset untuk mengevaluasi hubungan antara titik data, bukan memerlukan pelatihan model pembelajaran mesin yang lengkap.

Kelompok KNN. Sumber: https://scikit-learn.org/stable/modules/neighbors.html

Meskipun KNN ramping, pendekatannya yang sistematis menempatkan permintaan yang cukup besar pada operasi baca/tulis, dan penggunaannya dalam dataset yang sangat besar dapat menjadi masalah tanpa teknologi tambahan seperti Analisis Komponen Utama (PCA), yang dapat mengubah dataset kompleks dan volume tinggi menjadi kelompok yang dapat diwakili yang KNN dapat dilalui dengan lebih sedikit upaya.

Studi baru-baru ini mengevaluasi efektivitas dan ekonomi dari sejumlah algoritma yang ditugaskan untuk memprediksi apakah seorang karyawan akan meninggalkan perusahaan, menemukan bahwa KNN yang berusia tujuh puluhan masih unggul dalam hal akurasi dan efektivitas prediktif dibandingkan dengan pesaing yang lebih modern.

Penggunaan Populer

Untuk semua kesederhanaan konsep dan eksekusi yang populer, KNN tidak terjebak di tahun 1950-an – telah diadaptasi menjadi pendekatan yang lebih berfokus pada DNN dalam proposal 2018 oleh Universitas Negeri Pennsylvania, dan tetap menjadi proses awal (atau alat analisis pasca-proses) yang sentral dalam banyak kerangka pembelajaran mesin yang jauh lebih kompleks.

Dalam berbagai konfigurasi, KNN telah digunakan atau untuk verifikasi tanda tangan online, klasifikasi gambar, penambangan teks, prediksi tanaman, dan pengenalan wajah, di antara aplikasi lainnya.

Sistem pengenalan wajah berbasis KNN dalam pelatihan. Sumber: https://pdfs.semanticscholar.org/6f3d/d4c5ffeb3ce74bf57342861686944490f513.pdf

8: Proses Keputusan Markov

Kerangka matematika yang diperkenalkan oleh matematikawan Amerika Richard Bellman pada 1957, Proses Keputusan Markov (MDP) adalah salah satu blok bangunan dasar dari arsitektur pembelajaran penguatan. Sebuah algoritma konseptual dalam hak mereka sendiri, telah diadaptasi menjadi sejumlah algoritma lain, dan sering muncul dalam penelitian AI/ML saat ini.

MDP menjelajahi lingkungan data dengan menggunakan evaluasi keadaan saat ini (yaitu ‘di mana’ ia berada dalam data) untuk memutuskan node data mana yang akan dijelajahi selanjutnya.

Sumber: https://www.sciencedirect.com/science/article/abs/pii/S0888613X18304420

Proses Keputusan Markov dasar akan memprioritaskan keuntungan jangka pendek daripada tujuan jangka panjang yang lebih diinginkan. Untuk alasan ini, biasanya disematkan dalam konteks arsitektur kebijakan yang lebih komprehensif dalam pembelajaran penguatan, dan sering kali tunduk pada faktor pembatas seperti penghargaan yang didiskontokan, dan variabel lingkungan lain yang akan mencegahnya terburu-buru ke tujuan langsung tanpa mempertimbangkan hasil yang lebih luas.

Penggunaan Populer

Konsep MDP yang rendah tingkatannya tersebar luas dalam penelitian dan penerapan pembelajaran mesin. Telah diusulkan untuk sistem pertahanan keamanan IoT, penangkapan ikan, dan peramalan pasar.

Di luar keteraplikasian yang jelas pada catur dan permainan berurutan lainnya, MDP juga merupakan kandidat alami untuk pelatihan prosedural sistem robotika, seperti yang kita lihat dalam video di bawah.

9: Frekuensi Istilah-Invers Frekuensi Dokumen

Frekuensi Istilah (TF) membagi jumlah kali sebuah kata muncul dalam dokumen dengan jumlah total kata dalam dokumen itu. Jadi kata segel yang muncul sekali dalam artikel seribu kata memiliki frekuensi istilah sebesar 0,001. Sendirian, TF hampir tidak berguna sebagai indikator pentingnya istilah, karena kata-kata yang tidak berarti (seperti a, dan, yang, dan itu) mendominasi.

Untuk mendapatkan nilai yang bermakna untuk sebuah istilah, Invers Frekuensi Dokumen (IDF) menghitung TF sebuah kata di seluruh dokumen dalam dataset, memberikan peringkat rendah pada kata berhenti yang sangat sering, seperti artikel. Vektor fitur yang dihasilkan dinormalisasi ke nilai utuh, dengan setiap kata diberi bobot yang sesuai.

TF-IDF memberi bobot relevansi istilah berdasarkan frekuensi di sejumlah dokumen, dengan kejadian yang lebih jarang sebagai indikator kesadaran. Sumber: https://moz.com/blog/inverse-document-frequency-and-the-importance-of-uniqueness

Meskipun pendekatan ini mencegah kata-kata yang secara semantik penting hilang sebagai outlier, mengbalikkan bobot frekuensi tidak secara otomatis berarti bahwa istilah dengan frekuensi rendah bukanlah outlier, karena beberapa hal langka dan tidak berguna. Oleh karena itu, istilah dengan frekuensi rendah perlu membuktikan nilainya dalam konteks arsitektur yang lebih luas dengan menampilkan (bahkan pada frekuensi rendah per dokumen) dalam sejumlah dokumen dalam dataset.

Terlepas dari usianya, TF-IDF adalah metode kuat dan populer untuk lulus filter awal dalam kerangka NLP.

Penggunaan Populer

Karena TF-IDF telah memainkan setidaknya beberapa bagian dalam pengembangan algoritma PageRank Google yang sebagian besar tidak diketahui selama dua dekade terakhir, telah menjadi sangat banyak diadopsi sebagai taktik SEO manipulatif, meskipun John Mueller’s penolakan pentingnya untuk hasil pencarian pada 2019.

Karena kerahasiaan sekitar PageRank, tidak ada bukti yang jelas bahwa TF-IDF tidak masih merupakan taktik yang efektif untuk meningkatkan peringkat Google. Diskusi yang hangat di antara profesional IT baru-baru ini menunjukkan pemahaman populer, benar atau tidak, bahwa penyalahgunaan istilah masih dapat menghasilkan peningkatan penempatan SEO (meskipun tuduhan tambahan penyalahgunaan monopoli dan iklan berlebihan membingungkan batasan teori ini).

10: Turunan Gradien Stokastik

Turunan Gradien Stokastik (SGD) adalah metode yang semakin populer untuk mengoptimalkan pelatihan model pembelajaran mesin.

Gradien Turunan itu sendiri adalah metode untuk mengoptimalkan dan kemudian mengukur perbaikan yang dilakukan model selama pelatihan.

Dalam arti ini, ‘gradien’ menunjukkan lereng ke bawah (bukan gradasi warna), di mana titik tertinggi ‘bukit’, di sebelah kiri, mewakili awal proses pelatihan. Pada tahap ini, model belum melihat seluruh data bahkan sekali, dan belum belajar cukup tentang hubungan antara data untuk menghasilkan transformasi yang efektif.

Turunan gradien dalam sesi pelatihan FaceSwap. Kami dapat melihat bahwa pelatihan telah mencapai datar selama beberapa waktu di paruh kedua, tetapi akhirnya pulih ke gradien menuju konvergensi yang dapat diterima.

Titik terendah, di sebelah kanan, mewakili konvergensi (titik di mana model seefektif mungkin di bawah konstrain dan pengaturan yang diberlakukan).

Gradien bertindak sebagai catatan dan prediksi untuk perbedaan antara laju kesalahan (seberapa akurat model telah memetakan hubungan data) dan bobot (pengaturan yang mempengaruhi cara model akan belajar).

Rekaman kemajuan ini dapat digunakan untuk menginformasikan jadwal laju pembelajaran, proses otomatis yang memberi tahu arsitektur untuk menjadi lebih granular dan akurat saat detail yang samar awal berubah menjadi hubungan dan pemetaan yang jelas.

Inovasi Turunan Gradien Stokastik adalah bahwa memperbarui parameter model pada setiap contoh pelatihan per iterasi, yang umumnya mempercepat perjalanan ke konvergensi. Karena munculnya dataset hiperskala dalam beberapa tahun terakhir, SGD telah tumbuh dalam popularitas belakangan sebagai salah satu metode untuk mengatasi masalah logistik yang dihasilkan.

Di sisi lain, SGD memiliki implikasi negatif untuk penskalaan fitur, dan mungkin memerlukan lebih banyak iterasi untuk mencapai hasil yang sama, memerlukan perencanaan dan parameter tambahan, dibandingkan dengan Gradien Turunan biasa.

Penggunaan Populer

Karena konfigurabilitasnya, dan meskipun kekurangannya, SGD telah menjadi algoritma optimasi paling populer untuk memasang jaringan neural. Salah satu konfigurasi SGD yang menjadi dominan dalam penelitian AI/ML baru adalah pilihan pengoptimalkan Estimasi Momentum Adaptif (ADAM) yang diperkenalkan pada 2015.

ADAM menyesuaikan laju pembelajaran untuk setiap parameter secara dinamis (‘laju pembelajaran adaptif’), serta mengintegrasikan hasil dari pembaruan sebelumnya ke dalam konfigurasi berikutnya (‘momentum’). Selain itu, dapat dikonfigurasi untuk menggunakan inovasi kemudian, seperti Momentum Nesterov.

Namun, beberapa orang berpendapat bahwa penggunaan momentum juga dapat mempercepat ADAM (dan algoritma serupa) ke kesimpulan sub-optimal. Seperti banyaknya ujung tombak sektor penelitian pembelajaran mesin, SGD adalah pekerjaan yang sedang berlangsung.

Dipublikasikan pertama kali pada 10 Februari 2022. Direvisi pada 10 Februari 20.05 EET – formatting.