10 Thuật Toán Học Máy Tốt Nhất

Mặc dù chúng ta đang sống trong một thời kỳ đổi mới phi thường về học máy tăng tốc bằng GPU, nhưng các bài nghiên cứu mới nhất thường xuyên (và nổi bật) giới thiệu các thuật toán đã có từ vài thập kỷ, thậm chí 70 năm trước.

Một số người có thể cho rằng nhiều phương pháp cũ này thuộc về lĩnh vực ‘phân tích thống kê’ hơn là học máy, và thích tính thời điểm ra đời của lĩnh vực này từ năm 1957, với sự phát minh của Perceptron.

Đến mức độ mà các thuật toán cũ này hỗ trợ và gắn liền với các xu hướng và phát triển mới nhất trong học máy, thì đây là một quan điểm có thể tranh cãi. Vậy hãy cùng xem xét một số ‘khối xây dựng cổ điển’ dướipinning cho những đổi mới mới nhất, cũng như một số entry mới đang cố gắng để trở thành một phần của hội trường danh vọng AI.

1: Transformers

Vào năm 2017, Google Research đã dẫn đầu một nghiên cứu hợp tác kết thúc với bài báo Attention Is All You Need. Công việc này đã phác thảo một kiến trúc mới thúc đẩy cơ chế chú ý từ ‘đường ống’ trong mô hình mã hóa / giải mã và mạng hồi quy đến một công nghệ chuyển đổi trung tâm.

Phương pháp này được đặt tên là Transformer, và đã trở thành một phương pháp luận cách mạng trong Xử lý Ngôn ngữ Tự nhiên (NLP), cung cấp, trong số nhiều ví dụ khác, mô hình ngôn ngữ tự hồi quy và đứa con cưng của AI GPT-3.

Transformers đã giải quyết một cách优雅 vấn đề chuyển đổi chuỗi, cũng được gọi là ‘chuyển đổi’, liên quan đến việc xử lý các chuỗi đầu vào thành chuỗi đầu ra. Một transformer cũng nhận và quản lý dữ liệu một cách liên tục, chứ không phải theo lô tuần tự, cho phép ‘sự bền bỉ của bộ nhớ’ mà kiến trúc RNN không được thiết kế để đạt được. Để có cái nhìn tổng quan chi tiết hơn về transformers, hãy xem bài viết tham khảo của chúng tôi.

Ngược lại với các Mạng Nơ-ron Hồi quy (RNNs) đã bắt đầu thống trị nghiên cứu ML trong kỷ nguyên CUDA, kiến trúc Transformer cũng có thể được song song hóa một cách dễ dàng, mở ra con đường để giải quyết một lượng dữ liệu lớn hơn nhiều so với RNNs.

Sử Dụng Phổ Biến

Transformers đã thu hút trí tưởng tượng của công chúng vào năm 2020 với việc phát hành GPT-3 của OpenAI, tự hào với 175 tỷ tham số lúc đó là kỷ lục. Thành tựu này cuối cùng đã bị lu mờ bởi các dự án sau này, chẳng hạn như phát hành năm 2021 của Microsoft’s Megatron-Turing NLG 530B, có hơn 530 tỷ tham số.

Dòng thời gian của các dự án NLP Transformer siêu quy mô. Nguồn: Microsoft

Architectural transformer cũng đã vượt qua từ NLP sang thị giác máy tính, cung cấp một thế hệ mới các khuôn khổ tổng hợp hình ảnh như OpenAI’s CLIP và DALL-E, sử dụng ánh xạ miền văn bản > hình ảnh để hoàn thành hình ảnh không đầy đủ và tổng hợp hình ảnh mới từ các miền được đào tạo, trong số nhiều ứng dụng khác.

DALL-E cố gắng hoàn thành hình ảnh một phần của bust của Plato. Nguồn: https://openai.com/blog/dall-e/

2: Mạng Đối Nghịch Tạo Sinh (GANs)

Mặc dù transformers đã thu hút sự chú ý của truyền thông một cách phi thường thông qua việc phát hành và áp dụng GPT-3, nhưng Mạng Đối Nghịch Tạo Sinh (GAN) đã trở thành một thương hiệu riêng của nó và có thể cuối cùng sẽ tham gia deepfake như một động từ.

Đầu tiên được đề xuất vào năm 2014 và chủ yếu được sử dụng cho tổng hợp hình ảnh, một kiến trúc Mạng Đối Nghịch Tạo Sinh bao gồm một Generator và một Discriminator. Generator lặp qua hàng nghìn hình ảnh trong một tập dữ liệu, lặp đi lặp lại cố gắng tái tạo chúng. Đối với mỗi lần thử, Discriminator đánh giá công việc của Generator và gửi Generator trở lại để làm tốt hơn, nhưng không có cái nhìn sâu sắc về cách mà sự tái tạo trước đó đã sai lầm.

Nguồn: https://developers.google.com/machine-learning/gan/gan_structure

Điều này buộc Generator phải khám phá nhiều con đường khác nhau, thay vì theo các con đường mù mà có thể đã xảy ra nếu Discriminator đã nói với nó nơi nó sai lầm (xem #8 dưới đây). Khi quá trình đào tạo kết thúc, Generator đã có một bản đồ chi tiết và toàn diện về các mối quan hệ giữa các điểm trong tập dữ liệu.

Từ bài viết Cải thiện Sự Cân Bằng GAN Bằng Cách Tăng Cường Sự Nhận Biết Không Gian: một khuôn khổ mới lặp qua không gian tiềm ẩn của một GAN, cung cấp công cụ phản hồi cho một kiến trúc tổng hợp hình ảnh. Nguồn: https://genforce.github.io/eqgan/

Bằng cách tương tự, đây là sự khác biệt giữa việc học một hành trình đi lại nhàm chán đến trung tâm London, hoặc có được The Knowledge.

Kết quả là một tập hợp các tính năng cấp cao trong không gian tiềm ẩn của mô hình được đào tạo. Chỉ thị ngữ nghĩa cho một tính năng cấp cao có thể là ‘người’, trong khi một sự xuống cấp về tính cụ thể liên quan đến tính năng có thể tiết lộ các đặc điểm học được khác, chẳng hạn như ‘nam’ và ‘nữ’. Ở cấp thấp hơn, các tính năng con có thể bị phá vỡ thành, ‘tóc vàng’, ‘người da trắng’, v.v.

Đan xen là một vấn đề đáng chú ý trong không gian tiềm ẩn của GANs và các khuôn khổ mã hóa / giải mã: liệu nụ cười trên khuôn mặt nữ được tạo bởi GAN có phải là một tính năng đan xen của ‘sự tồn tại’ của cô trong không gian tiềm ẩn hay không, hay nó là một nhánh song song?

Khuôn mặt được tạo bởi GAN từ thispersondoesnotexist. Nguồn: https://this-person-does-not-exist.com/en

Các năm gần đây đã chứng kiến một số lượng nghiên cứu mới ngày càng tăng trong lĩnh vực này, có thể mở đường cho việc chỉnh sửa cấp tính năng, kiểu như Photoshop, cho không gian tiềm ẩn của một GAN, nhưng hiện tại, nhiều biến đổi đều là các gói ‘tất cả hoặc không có gì’. Đặc biệt, bản phát hành EditGAN của NVIDIA vào cuối năm 2021 đã đạt được mức độ diễn giải cao trong không gian tiềm ẩn bằng cách sử dụng các mặt nạ phân đoạn ngữ nghĩa.

Sử Dụng Phổ Biến

Bên cạnh việc tham gia vào các video deepfake phổ biến (thực tế là khá hạn chế), các GAN tập trung vào hình ảnh / video đã lan rộng trong bốn năm qua, thu hút các nhà nghiên cứu và công chúng. Việc theo dõi tốc độ và tần suất của các bản phát hành mới là một thách thức, mặc dù kho lưu trữ GitHub Ứng Dụng GAN Tuyệt Vời nhằm cung cấp một danh sách toàn diện.

Mạng Đối Nghịch Tạo Sinh có thể lý thuyết có thể suy ra các tính năng từ bất kỳ miền nào được xác định rõ, bao gồm cả văn bản.

3: Máy Vector Hỗ Trợ (SVM)

Xuất hiện vào năm 1963, Máy Vector Hỗ Trợ (SVM) là một thuật toán cốt lõi thường xuyên xuất hiện trong nghiên cứu mới. Theo SVM, các vector ánh xạ vị trí tương đối của các điểm dữ liệu trong một tập dữ liệu, trong khi hỗ trợ vector xác định ranh giới giữa các nhóm, tính năng hoặc đặc điểm khác nhau.

Vector hỗ trợ xác định ranh giới giữa các nhóm. Nguồn: https://www.kdnuggets.com/2016/07/support-vector-machines-simple-explanation.html

Ranh giới được suy ra được gọi là hyperplane.

Ở cấp tính năng thấp, SVM là hai chiều (hình ảnh trên), nhưng khi có số nhóm hoặc loại được công nhận cao hơn, nó trở thành ba chiều.

Một mảng điểm và nhóm sâu hơn đòi hỏi một SVM ba chiều. Nguồn: https://cml.rhul.ac.uk/svm.html

Sử Dụng Phổ Biến

Vì Máy Vector Hỗ Trợ có thể giải quyết hiệu quả và vô tư dữ liệu nhiều chiều, chúng xuất hiện rộng rãi trên nhiều lĩnh vực học máy, bao gồm phát hiện deepfake, phân loại hình ảnh, phân loại ngôn từ căm thù, phân tích DNA và dự đoán cấu trúc dân số, trong số nhiều lĩnh vực khác.

4: Nhóm Hóa K-Means

Nhóm hóa nói chung là một cách tiếp cận học không giám sát tìm cách phân loại các điểm dữ liệu thông qua định lượng mật độ, tạo ra một bản đồ về phân phối của dữ liệu đang được nghiên cứu.

Nhóm hóa K-Means phân biệt các phân khúc, nhóm và cộng đồng trong dữ liệu. Nguồn: https://aws.amazon.com/blogs/machine-learning/k-means-clustering-with-amazon-sagemaker/

Nhóm Hóa K-Means đã trở thành cách thực hiện phổ biến nhất của cách tiếp cận này, dẫn dắt các điểm dữ liệu vào các ‘Nhóm K’ khác biệt, có thể chỉ ra các lĩnh vực dân số, cộng đồng trực tuyến hoặc bất kỳ tập hợp thống kê bí mật nào khác đang chờ được khám phá trong dữ liệu thô.

Các cụm hình thành trong phân tích K-Means. Nguồn: https://www.geeksforgeeks.org/ml-determine-the-optimal-value-of-k-in-k-means-clustering/

Giá trị K bản thân là yếu tố quyết định trong tính hữu ích của quá trình, và trong việc thiết lập một giá trị tối ưu cho một cụm. Ban đầu, giá trị K được chỉ định ngẫu nhiên, và các tính năng và đặc điểm vector của nó được so sánh với các láng giềng của nó. Những láng giềng nào giống nhất với điểm dữ liệu có giá trị được chỉ định ngẫu nhiên sẽ được chỉ định cho cụm của nó một cách lặp đi lặp lại cho đến khi dữ liệu đã cho ra tất cả các nhóm mà quá trình cho phép.

Đồ thị của lỗi bình phương, hoặc ‘chi phí’ của các giá trị khác nhau trong các cụm sẽ tiết lộ một điểm khuỷu cho dữ liệu:

Điểm khuỷu trong một đồ thị cụm. Nguồn: https://www.scikit-yb.org/en/latest/api/cluster/elbow.html

Điểm khuỷu tương tự như cách mà tổn thất phẳng ra thành lợi nhuận giảm dần ở cuối một phiên đào tạo cho một tập dữ liệu. Nó đại diện cho điểm mà không có sự khác biệt nào khác giữa các nhóm sẽ trở nên rõ ràng, cho thấy thời điểm để chuyển sang các giai đoạn sau trong đường ống dữ liệu, hoặc để báo cáo các phát hiện.

Sử Dụng Phổ Biến

Nhóm Hóa K-Means, vì những lý do rõ ràng, là một công nghệ chính trong phân tích khách hàng, vì nó cung cấp một phương pháp luận rõ ràng và có thể giải thích để dịch các bản ghi thương mại lớn thành thông tin dân số và ‘dẫn đầu’.

Ngoài ứng dụng này, Nhóm Hóa K-Means cũng được sử dụng cho dự đoán lở đất, phân khúc hình ảnh y tế, tổng hợp hình ảnh với GANs, phân loại tài liệu, và lập kế hoạch thành phố, trong số nhiều ứng dụng và sử dụng tiềm năng khác.

5: Rừng Ngẫu Nhiên

Rừng Ngẫu Nhiên là một phương pháp học tập hợp lấy kết quả trung bình từ một mảng cây quyết định để thiết lập một dự đoán tổng thể cho kết quả.

Nguồn: https://www.tutorialandexample.com/wp-content/uploads/2019/10/Decision-Trees-Root-Node.png

Nếu bạn đã nghiên cứu nó thậm chí chỉ bằng cách xem bộ ba Back to the Future, một cây quyết định bản thân khá dễ hình dung: một số con đường nằm trước bạn, và mỗi con đường phân nhánh thành một kết quả mới có chứa các con đường có thể khác.

Trong học tăng cường, bạn có thể rút lui từ một con đường và bắt đầu lại từ một vị trí trước, trong khi cây quyết định cam kết với hành trình của nó.

Vậy thuật toán Rừng Ngẫu Nhiên cơ bản là một hình thức đặt cược lan rộng cho các quyết định. Thuật toán được gọi là ‘ngẫu nhiên’ vì nó thực hiện các lựa chọn và quan sát ad hoc để hiểu trung vị tổng của kết quả từ mảng cây quyết định.

Vì nó tính đến nhiều yếu tố, một cách tiếp cận Rừng Ngẫu Nhiên có thể khó chuyển thành đồ thị có ý nghĩa hơn là một cây quyết định, nhưng có khả năng sản xuất nhiều hơn.

Cây quyết định dễ bị quá拟 hợp, nơi kết quả thu được là dữ liệu cụ thể và không có khả năng khái quát hóa. Lựa chọn dữ liệu ngẫu nhiên của Rừng Ngẫu Nhiên chống lại xu hướng này, khoan sâu vào các xu hướng và xu hướng đại diện có ý nghĩa trong dữ liệu.

Hồi quy cây quyết định. Nguồn: https://scikit-learn.org/stable/auto_examples/tree/plot_tree_regression.html

Sử Dụng Phổ Biến

Giống như nhiều thuật toán trong danh sách này, Rừng Ngẫu Nhiên thường hoạt động như một bộ lọc và phân loại ‘sớm’ cho dữ liệu, và do đó thường xuyên xuất hiện trong các bài nghiên cứu mới. Một số ví dụ về việc sử dụng Rừng Ngẫu Nhiên bao gồm Tổng hợp Hình ảnh Cộng hưởng Từ, dự đoán giá Bitcoin, phân khúc dân số, phân loại văn bản và phát hiện gian lận thẻ tín dụng.

Vì Rừng Ngẫu Nhiên là một thuật toán cấp thấp trong các kiến trúc học máy, nó cũng có thể đóng góp vào hiệu suất của các phương pháp cấp thấp khác, cũng như các thuật toán trực quan hóa, bao gồm Nhóm hóa Gián Tiếp, Biến đổi Tính năng, phân loại tài liệu văn bản sử dụng tính năng thưa, và hiển thị Đường ống.

6: Naive Bayes

Kết hợp với định lượng mật độ (xem 4 ở trên), một phân loại Naive Bayes là một thuật toán mạnh mẽ nhưng tương đối nhẹ có thể ước tính các xác suất dựa trên các tính năng được tính toán của dữ liệu.

Mối quan hệ tính năng trong một phân loại Naive Bayes. Nguồn: https://www.sciencedirect.com/topics/computer-science/naive-bayes-model

Thuật ngữ ‘ngây thơ’ đề cập đến giả định trong định lý Bayes rằng các tính năng là không liên quan, được gọi là sự độc lập có điều kiện. Nếu bạn áp dụng quan điểm này, đi và nói như một con vịt không đủ để thiết lập rằng chúng ta đang xử lý một con vịt, và không có giả định ‘tự nhiên’ nào được áp dụng trước.

Mức độ nghiêm ngặt học thuật và điều tra này sẽ là quá mức khi ‘cảm giác thông thường’ có sẵn, nhưng là một tiêu chuẩn quý giá khi đi qua nhiều sự mơ hồ và mối tương quan không liên quan có thể tồn tại trong một tập dữ liệu học máy.

Trong một mạng Bayes ban đầu, các tính năng phải chịu chức năng đánh giá, bao gồm độ dài mô tả tối thiểu và đánh giá Bayes, có thể áp đặt các hạn chế đối với dữ liệu về các kết nối ước tính được tìm thấy giữa các điểm dữ liệu và hướng mà các kết nối này chảy.

Một phân loại Naive Bayes, ngược lại, hoạt động bằng cách giả định rằng các tính năng của một đối tượng nhất định là độc lập, sau đó sử dụng định lý Bayes để tính toán xác suất của một đối tượng nhất định dựa trên các tính năng của nó.

Sử Dụng Phổ Biến

Phân loại Naive Bayes được đại diện tốt trong dự đoán bệnh và phân loại tài liệu, lọc thư rác, phân loại cảm xúc, hệ thống giới thiệu, và phát hiện gian lận, trong số các ứng dụng khác.

7: K-Nearest Neighbors (KNN)

Đầu tiên được đề xuất bởi Trường Y học Hàng không của Không quân Hoa Kỳ vào năm 1951, và phải thích nghi với tình trạng hiện tại của phần cứng máy tính vào giữa thế kỷ 20, K-Nearest Neighbors (KNN) là một thuật toán tinh gọn vẫn nổi bật trên các giấy nghiên cứu học thuật và các sáng kiến nghiên cứu học máy của khu vực tư nhân.

KNN đã được gọi là ‘học viên lười biếng’, vì nó quét qua một tập dữ liệu một cách cẩn thận để đánh giá các mối quan hệ giữa các điểm dữ liệu, thay vì yêu cầu đào tạo một mô hình học máy đầy đủ.

Một nhóm KNN. Nguồn: https://scikit-learn.org/stable/modules/neighbors.html

Mặc dù KNN là kiến trúc tinh gọn, nhưng cách tiếp cận có hệ thống của nó vẫn đặt ra một nhu cầu đáng kể về các hoạt động đọc / ghi, và việc sử dụng nó trong các tập dữ liệu rất lớn có thể là một vấn đề mà không có các công nghệ phụ trợ như Phân tích Thành Phần Chính (PCA), có thể chuyển đổi các tập dữ liệu phức tạp và có khối lượng lớn thành các nhóm đại diện mà KNN có thể đi qua với ít nỗ lực hơn.

Một nghiên cứu gần đây đã đánh giá hiệu quả và hiệu quả của một số thuật toán được giao nhiệm vụ dự đoán xem một nhân viên sẽ rời một công ty, và phát hiện ra rằng KNN 70 tuổi vẫn vượt trội hơn các đối thủ hiện đại hơn về độ chính xác và hiệu quả dự đoán.

Sử Dụng Phổ Biến

Đối với tất cả sự đơn giản của khái niệm và thực hiện, KNN không bị kẹt lại trong những năm 1950 – nó đã được điều chỉnh thành một cách tiếp cận tập trung hơn vào DNN trong một đề xuất năm 2018 bởi Đại học bang Pennsylvania, và vẫn là một quá trình giai đoạn đầu (hoặc công cụ phân tích hậu xử lý) trong nhiều khuôn khổ học máy phức tạp hơn.

Trong các cấu hình khác nhau, KNN đã được sử dụng hoặc xác minh chữ ký trực tuyến, phân loại hình ảnh, khai thác văn bản, dự đoán cây trồng, và nhận dạng khuôn mặt, ngoài các ứng dụng và tích hợp khác.

Một hệ thống nhận dạng khuôn mặt dựa trên KNN trong quá trình đào tạo. Nguồn: https://pdfs.semanticscholar.org/6f3d/d4c5ffeb3ce74bf57342861686944490f513.pdf

8: Quá Trình Ra Quyết Định Markov

Một khuôn khổ toán học được giới thiệu bởi nhà toán học Mỹ Richard Bellman vào năm 1957, Quá Trình Ra Quyết Định Markov (MDP) là một trong những khối xây dựng cơ bản của học tăng cường sâu. Một thuật toán khái niệm trong chính nó, nó đã được điều chỉnh thành nhiều thuật toán khác, và lặp đi lặp lại trong các nghiên cứu AI / ML hiện tại.

MDP khám phá một môi trường dữ liệu bằng cách sử dụng đánh giá của nó về trạng thái hiện tại (tức là ‘nơi’ nó ở trong dữ liệu) để quyết định nút dữ liệu nào sẽ khám phá tiếp theo.

Nguồn: https://www.sciencedirect.com/science/article/abs/pii/S0888613X18304420

Một Quá Trình Ra Quyết Định Markov cơ bản sẽ ưu tiên lợi thế gần hạn hơn các mục tiêu mong muốn hơn. Vì lý do này, nó thường được nhúng vào bối cảnh của một kiến trúc chính sách toàn diện hơn trong học tăng cường, và thường bị ảnh hưởng bởi các yếu tố giới hạn như phần thưởng chiết khấu, và các biến môi trường khác có thể ngăn nó chạy đến một mục tiêu ngay lập tức mà không xem xét kết quả rộng lớn hơn.

Sử Dụng Phổ Biến

Khái niệm cấp thấp của MDP được phổ biến trong cả nghiên cứu và triển khai học máy. Nó đã được đề xuất cho hệ thống phòng thủ bảo mật IoT, thu hoạch cá, và dự báo thị trường.

Bên cạnh sự áp dụng rõ ràng của nó cho cờ vua và các trò chơi tuần tự khác, MDP cũng là một ứng cử viên tự nhiên cho đào tạo thủ tục của các hệ thống robot, như chúng ta có thể thấy trong video dưới đây.

9: Tần Số Từ – Tần Số Ngược Tài Liệu

Tần Số Từ (TF) chia số lần một từ xuất hiện trong một tài liệu cho tổng số từ trong tài liệu đó. Do đó, từ con dấu xuất hiện một lần trong một bài viết 1000 từ có tần số từ là 0,001. Chỉ riêng TF là hầu như vô dụng như một chỉ số của tầm quan trọng của từ, do thực tế là các từ vô nghĩa (chẳng hạn như a, và, the và nó) chiếm ưu thế.

Để có được một giá trị có ý nghĩa cho một từ, Tần Số Ngược Tài Liệu (IDF) tính toán TF của một từ trên nhiều tài liệu trong một tập dữ liệu, gán xếp hạng thấp cho các từ dừng rất thường xuyên, chẳng hạn như các bài viết. Các vector tính năng kết quả được chuẩn hóa thành các giá trị toàn bộ, với mỗi từ được gán một trọng số phù hợp.

TF-IDF tính trọng số liên quan của các thuật ngữ dựa trên tần số trên một số tài liệu, với sự xuất hiện ít hơn là một chỉ số của tính đặc biệt. Nguồn: https://moz.com/blog/inverse-document-frequency-and-the-importance-of-uniqueness

Mặc dù cách tiếp cận này ngăn chặn các từ ngữ nghĩa quan trọng bị mất như các điểm ngoại lệ, việc đảo ngược trọng số tần số không tự động có nghĩa là một từ tần số thấp không phải là một điểm ngoại lệ, vì một số điều là hiếm và vô giá trị. Do đó, một từ tần số thấp sẽ cần phải chứng minh giá trị của nó trong bối cảnh kiến trúc rộng lớn hơn bằng cách xuất hiện (ngay cả ở tần số thấp mỗi tài liệu) trong một số tài liệu trong tập dữ liệu.

Mặc dù tuổi của nó, TF-IDF vẫn là một phương pháp mạnh mẽ và phổ biến cho các lượt lọc ban đầu trong các khuôn khổ Xử lý Ngôn ngữ Tự nhiên.

Sử Dụng Phổ Biến

Vì TF-IDF đã đóng vai trò nào đó trong sự phát triển của thuật toán PageRank của Google trong 20 năm qua, nó đã trở thành rất phổ biến như một chiến thuật SEO thao túng, mặc dù John Mueller đã phủ nhận tầm quan trọng của nó đối với kết quả tìm kiếm vào năm 2019.

Do sự bí mật xung quanh PageRank, không có bằng chứng rõ ràng rằng TF-IDF không phải là một chiến thuật hiệu quả để tăng thứ hạng của Google. Các cuộc thảo luận đầy lửa giữa các chuyên gia CNTT gần đây cho thấy một sự hiểu biết phổ biến, đúng hay sai, rằng lạm dụng từ có thể vẫn dẫn đến cải thiện vị trí SEO (mặc dù các cáo buộc lạm dụng độc quyền và quảng cáo quá mức làm mờ ranh giới của lý thuyết này).

10: Giảm Gradient Ngẫu Nhiên

Giảm Gradient Ngẫu Nhiên (SGD) là một phương pháp ngày càng phổ biến để tối ưu hóa việc đào tạo các mô hình học máy.

Giảm Gradient bản thân là một phương pháp tối ưu hóa và lượng hóa sự cải thiện mà một mô hình đang thực hiện trong quá trình đào tạo.

Trong ý nghĩa này, ‘gradient’ chỉ một độ dốc đi xuống (thay vì một sự phân cấp dựa trên màu sắc), nơi điểm cao nhất của ‘đồi’, ở bên trái, đại diện cho giai đoạn bắt đầu của quá trình đào tạo. Tại giai đoạn này, mô hình chưa xem toàn bộ dữ liệu thậm chí một lần, và chưa học đủ về các mối quan hệ giữa dữ liệu để tạo ra các biến đổi hiệu quả.

Một giảm gradient trên một phiên đào tạo FaceSwap. Chúng ta có thể thấy rằng đào tạo đã đạt đến điểm cao nguyên trong nửa sau, nhưng cuối cùng đã phục hồi trên đường đi xuống gradient đến một sự hội tụ chấp nhận được.

Điểm thấp nhất, ở bên phải, đại diện cho sự hội tụ (điểm mà mô hình hiệu quả nhất nó sẽ đạt được dưới các ràng buộc và cài đặt được áp dụng).

Gradient hoạt động như một hồ sơ và dự đoán sự chênh lệch giữa tốc độ lỗi (làm thế nào chính xác mô hình hiện đã ánh xạ các mối quan hệ dữ liệu) và trọng số (các cài đặt ảnh hưởng đến cách mô hình sẽ học).

Thông tin này có thể được sử dụng để thông báo một lịch trình tốc độ học, một quá trình tự động cho kiến trúc biết trở nên chi tiết và chính xác hơn khi các chi tiết mơ hồ ban đầu biến thành các mối quan hệ và ánh xạ rõ ràng. Về cơ bản, tổn thất gradient cung cấp một bản đồ theo thời gian thực cho nơi đào tạo nên đi tiếp theo, và làm thế nào nó nên tiến hành.

Sự đổi mới của Giảm Gradient Ngẫu Nhiên là nó cập nhật các tham số của mô hình trên mỗi ví dụ đào tạo mỗi lần lặp, điều này thường tăng tốc hành trình đến sự hội tụ. Do sự ra đời của các tập dữ liệu siêu quy mô trong những năm gần đây, SGD đã trở nên phổ biến hơn như một phương pháp có thể để giải quyết các vấn đề hậu cần phát sinh.

Mặt khác, SGD có các ý nghĩa tiêu cực đối với việc缩 giảm tính năng, và có thể yêu cầu nhiều lần lặp hơn để đạt được cùng một kết quả, đòi hỏi phải lập kế hoạch và tham số bổ sung, so với Giảm Gradient thông thường.

Sử Dụng Phổ Biến

Do tính cấu hình của nó, và mặc dù những hạn chế của nó, SGD đã trở thành thuật toán tối ưu hóa phổ biến nhất cho việc phù hợp với các mạng nơ-ron. Một cấu hình của SGD đang trở nên thống trị trong các bài nghiên cứu AI / ML mới là việc chọn bộ tối ưu hóa Adaptive Moment Estimation (ADAM) được giới thiệu vào năm 2015.

ADAM điều chỉnh tốc độ học cho mỗi tham số một cách động (‘tốc độ học thích ứng’), cũng như kết hợp kết quả từ các bản cập nhật trước vào cấu hình tiếp theo (‘động lượng’). Ngoài ra, nó có thể được cấu hình để sử dụng các đổi mới sau này, chẳng hạn như Động lượng Nesterov.

Tuy nhiên, một số người duy trì rằng việc sử dụng động lượng cũng có thể đẩy ADAM (và các thuật toán tương tự) đến một kết luận tối ưu. Như với hầu hết các lĩnh vực học máy tiên tiến, SGD là một công việc đang tiến hành.

Được xuất bản lần đầu vào ngày 10 tháng 2 năm 2022. Sửa đổi vào ngày 10 tháng 2, 20:05 EET – định dạng.