Học tập theo nhóm là gì?

Một trong những kỹ thuật học máy mạnh mẽ nhất là học tập theo nhóm. Cùng nhau học tập là việc sử dụng nhiều mô hình học máy để cải thiện độ tin cậy và độ chính xác của các dự đoán. Tuy nhiên, làm thế nào để việc sử dụng nhiều mô hình học máy dẫn đến dự đoán chính xác hơn? Những loại kỹ thuật nào được sử dụng để tạo ra các mô hình học tập đồng bộ? Chúng ta sẽ khám phá câu trả lời cho những câu hỏi này, xem xét cơ sở lý luận đằng sau việc sử dụng các mô hình tập hợp và các cách chính để tạo mô hình tập hợp.

Học tập đồng bộ là gì?

Nói một cách đơn giản, học tập đồng bộ là quá trình đào tạo nhiều mô hình học máy và kết hợp các đầu ra của chúng lại với nhau. Các mô hình khác nhau được sử dụng làm cơ sở để tạo ra một mô hình dự đoán tối ưu. Việc kết hợp một tập hợp đa dạng các mô hình máy học riêng lẻ có thể cải thiện tính ổn định của mô hình tổng thể, dẫn đến các dự đoán chính xác hơn. Các mô hình học tập đồng bộ thường đáng tin cậy hơn các mô hình riêng lẻ và do đó, chúng thường đứng đầu trong nhiều cuộc thi học máy.

Có nhiều kỹ thuật khác nhau mà một kỹ sư có thể sử dụng để tạo ra một mô hình học tập đồng bộ. Các kỹ thuật học tập đồng bộ đơn giản bao gồm những thứ như lấy trung bình kết quả đầu ra của các mô hình khác nhau, đồng thời cũng có các phương pháp và thuật toán phức tạp hơn được phát triển đặc biệt để kết hợp các dự đoán của nhiều người học/mô hình cơ sở lại với nhau.

Tại sao sử dụng phương pháp đào tạo đồng bộ?

Các mô hình học máy có thể khác nhau vì nhiều lý do. Các mô hình học máy khác nhau có thể hoạt động trên các mẫu dữ liệu dân số khác nhau, các kỹ thuật lập mô hình khác nhau có thể được sử dụng và một giả thuyết khác có thể được sử dụng.

Hãy tưởng tượng rằng bạn đang chơi trò đố vui với một nhóm đông người. Nếu bạn ở trong một nhóm một mình, chắc chắn sẽ có một số chủ đề mà bạn có kiến ​​thức và nhiều chủ đề mà bạn không biết. Bây giờ giả sử rằng bạn đang chơi trong một đội với những người khác. Cũng giống như bạn, họ sẽ có một số kiến ​​thức liên quan đến chuyên môn của họ và không có kiến ​​thức về các chủ đề khác. Tuy nhiên, khi kiến ​​thức của bạn được kết hợp lại, bạn sẽ có nhiều dự đoán chính xác hơn cho nhiều lĩnh vực hơn và số lượng chủ đề mà nhóm của bạn thiếu kiến ​​thức sẽ giảm đi. Đây cũng chính là nguyên tắc làm nền tảng cho việc học tập đồng bộ, kết hợp các dự đoán của các thành viên khác nhau trong nhóm (các mô hình riêng lẻ) để cải thiện độ chính xác và giảm thiểu sai sót.

Các nhà thống kê đã chứng minh rằng khi một đám đông được yêu cầu đoán câu trả lời đúng cho một câu hỏi nhất định với một loạt các câu trả lời có thể xảy ra, thì tất cả các câu trả lời của họ tạo thành một phân phối xác suất. Những người thực sự biết câu trả lời đúng sẽ tự tin chọn câu trả lời đúng, trong khi những người chọn câu trả lời sai sẽ phân phối các dự đoán của họ trong phạm vi các câu trả lời sai có thể xảy ra. Quay trở lại với ví dụ về trò chơi đố vui, nếu bạn và hai người bạn của bạn biết câu trả lời đúng là A, thì cả ba bạn sẽ bầu chọn A, trong khi ba người khác trong đội của bạn không biết câu trả lời có khả năng sai. đoán B, C, D hoặc E. Kết quả là A có ba phiếu bầu và các câu trả lời khác có khả năng chỉ có một hoặc hai phiếu bầu tối đa.

Tất cả các mô hình có một số lượng lỗi. Các lỗi của một mô hình sẽ khác với các lỗi do mô hình khác tạo ra, vì bản thân các mô hình này khác nhau vì những lý do được mô tả ở trên. Khi tất cả các lỗi được kiểm tra, chúng sẽ không tập trung xung quanh câu trả lời này hay câu trả lời khác, thay vào đó chúng sẽ nằm rải rác xung quanh. Các câu đoán sai về cơ bản trải rộng trên tất cả các câu trả lời sai có thể xảy ra, triệt tiêu lẫn nhau. Trong khi đó, các dự đoán chính xác từ các mô hình khác nhau sẽ được nhóm xung quanh câu trả lời đúng, đúng. Khi sử dụng các phương pháp huấn luyện tập hợp, câu trả lời đúng có thể được tìm thấy với độ tin cậy cao hơn.

Phương pháp đào tạo đồng bộ đơn giản

Các phương pháp đào tạo đồng bộ đơn giản thường chỉ liên quan đến việc áp dụng kỹ thuật tóm tắt thống kês, chẳng hạn như xác định chế độ, giá trị trung bình hoặc trung bình có trọng số của một tập hợp các dự đoán.

Chế độ đề cập đến phần tử xuất hiện thường xuyên nhất trong một tập hợp số. Để có được chế độ này, các mô hình học tập riêng lẻ sẽ trả về các dự đoán của chúng và những dự đoán này được coi là phiếu bầu cho dự đoán cuối cùng. Việc xác định giá trị trung bình của các dự đoán được thực hiện đơn giản bằng cách tính giá trị trung bình cộng của các dự đoán, được làm tròn thành số nguyên gần nhất. Cuối cùng, trung bình có trọng số có thể được tính bằng cách gán các trọng số khác nhau cho các mô hình được sử dụng để tạo dự đoán, với các trọng số thể hiện tầm quan trọng được cảm nhận của mô hình đó. Biểu diễn số của dự đoán lớp được nhân cùng với trọng số từ 0 đến 1.0, các dự đoán có trọng số riêng lẻ sau đó được cộng lại với nhau và kết quả được làm tròn thành số nguyên gần nhất.

Phương pháp đào tạo nhóm nâng cao

Có ba kỹ thuật đào tạo nhóm nâng cao chính, mỗi kỹ thuật được thiết kế để xử lý một loại vấn đề học máy cụ thể. Kỹ thuật “đóng bao” được sử dụng để giảm phương sai của các dự đoán của mô hình, với phương sai đề cập đến mức độ khác nhau của kết quả dự đoán khi dựa trên cùng một quan sát. Kỹ thuật “thúc đẩy” được sử dụng để chống lại sự thiên vị của các mô hình. Cuối cùng, "xếp chồng" được sử dụng để cải thiện dự đoán nói chung.

Bản thân các phương pháp học tập đồng bộ nói chung có thể được chia thành một trong hai nhóm khác nhau: phương pháp tuần tự và phương pháp tập hợp song song.

Các phương thức tập hợp tuần tự có tên là “tuần tự” vì các mô hình/học viên cơ sở được tạo tuần tự. Trong trường hợp của các phương pháp tuần tự, ý tưởng cơ bản là sự phụ thuộc giữa những người học cơ sở được khai thác để có được những dự đoán chính xác hơn. Các ví dụ được dán nhãn sai có trọng số được điều chỉnh trong khi các ví dụ được dán nhãn đúng duy trì cùng trọng số. Mỗi khi một người học mới được tạo, các trọng số sẽ thay đổi và độ chính xác (hy vọng) sẽ được cải thiện.

Trái ngược với các mô hình tập hợp tuần tự, các phương pháp tập hợp song song tạo ra các bộ học cơ sở song song. Khi thực hiện học tập đồng bộ song song, ý tưởng là khai thác thực tế là những người học cơ sở có tính độc lập, vì tỷ lệ lỗi chung có thể giảm bằng cách lấy trung bình các dự đoán của từng người học.

Các phương pháp đào tạo đồng bộ có thể đồng nhất hoặc không đồng nhất về bản chất. Hầu hết các phương pháp học tập đồng bộ đều đồng nhất, nghĩa là chúng sử dụng một loại mô hình/thuật toán học tập cơ sở duy nhất. Ngược lại, các tập hợp không đồng nhất sử dụng các thuật toán học tập khác nhau, đa dạng hóa và thay đổi người học để đảm bảo độ chính xác càng cao càng tốt.

Ví dụ về các thuật toán học tập đồng bộ

Hình dung của tăng cường tập hợp. Ảnh: Sirakorn qua Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Ví dụ về các phương pháp tập hợp tuần tự bao gồm AdaBoost, XGBoostvà Tăng cường cây Gradient. Đây là tất cả các mô hình thúc đẩy. Đối với những mô hình thúc đẩy này, mục tiêu là chuyển đổi những học sinh yếu kém, học kém thành những học sinh giỏi hơn. Các mô hình như AdaBoost và XGBoost bắt đầu với nhiều người học yếu chỉ hoạt động tốt hơn một chút so với đoán ngẫu nhiên. Khi quá trình đào tạo tiếp tục, các trọng số được áp dụng cho dữ liệu và được điều chỉnh. Các trường hợp được người học phân loại không chính xác trong các vòng đào tạo trước đó sẽ được coi trọng hơn. Sau khi quá trình này được lặp lại cho số vòng huấn luyện mong muốn, các dự đoán được kết hợp với nhau thông qua tổng trọng số (đối với nhiệm vụ hồi quy) và phiếu bầu có trọng số (đối với nhiệm vụ phân loại).

Quá trình học đóng bao. Ảnh: SeattleDataGuy qua Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Một ví dụ về mô hình tập hợp song song là một Rừng ngẫu nhiên bộ phân loại và Rừng ngẫu nhiên cũng là một ví dụ về kỹ thuật đóng bao. Thuật ngữ "đóng bao" xuất phát từ "bootstrap aggregation". Các mẫu được lấy từ tập dữ liệu tổng thể bằng cách sử dụng kỹ thuật lấy mẫu được gọi là “lấy mẫu bootstrap”, được người học cơ sở sử dụng để đưa ra dự đoán. Đối với các nhiệm vụ phân loại, kết quả đầu ra của các mô hình cơ sở được tổng hợp bằng cách sử dụng biểu quyết, trong khi chúng được tính trung bình cùng nhau cho các nhiệm vụ hồi quy. Rừng ngẫu nhiên sử dụng các cây quyết định riêng lẻ làm trình học cơ sở của chúng và mỗi cây trong nhóm được tạo bằng cách sử dụng một mẫu khác từ tập dữ liệu. Một tập hợp con ngẫu nhiên của các tính năng cũng được sử dụng để tạo cây. Dẫn đến các cây quyết định cá nhân được ngẫu nhiên hóa cao, tất cả được kết hợp với nhau để đưa ra các dự đoán đáng tin cậy.

Trực quan hóa xếp chồng lên nhau. Ảnh: Supun Setunga qua Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Về mặt kỹ thuật tập hợp xếp chồng, nhiều mô hình hồi quy hoặc phân loại được kết hợp với nhau thông qua một siêu mô hình ở cấp độ cao hơn. Cấp độ thấp hơn, các mô hình cơ sở đang đào tạo bằng cách được cung cấp toàn bộ tập dữ liệu. Kết quả đầu ra của các mô hình cơ sở sau đó được sử dụng làm các tính năng để huấn luyện siêu mô hình. Các mô hình quần thể xếp chồng thường không đồng nhất về bản chất.