Ensemble Learning Là Gì?

Một trong những kỹ thuật học máy mạnh mẽ nhất là học tập tập thể. Học tập tập thể là việc sử dụng nhiều mô hình học máy để cải thiện độ tin cậy và chính xác của dự đoán. Tuy nhiên, làm thế nào việc sử dụng nhiều mô hình học máy lại dẫn đến dự đoán chính xác hơn? Những kỹ thuật nào được sử dụng để tạo ra các mô hình học tập tập thể? Chúng tôi sẽ khám phá câu trả lời cho những câu hỏi này, xem xét lý do tại sao sử dụng các mô hình tập thể và các phương pháp chính để tạo ra các mô hình tập thể.

Ensemble Learning Là Gì?

Đơn giản nói, học tập tập thể là quá trình đào tạo nhiều mô hình học máy và kết hợp đầu ra của chúng lại với nhau. Các mô hình khác nhau được sử dụng làm cơ sở để tạo ra một mô hình dự đoán tối ưu. Kết hợp một tập hợp đa dạng các mô hình học máy cá nhân có thể cải thiện độ ổn định của mô hình tổng thể, dẫn đến dự đoán chính xác hơn. Các mô hình học tập tập thể thường đáng tin cậy hơn các mô hình cá nhân và do đó, chúng thường đứng đầu trong nhiều cuộc thi học máy.

Có nhiều kỹ thuật mà một kỹ sư có thể sử dụng để tạo ra một mô hình học tập tập thể. Các kỹ thuật học tập tập thể đơn giản bao gồm việc tính trung bình đầu ra của các mô hình khác nhau, trong khi cũng có các phương pháp phức tạp hơn và các thuật toán được phát triển đặc biệt để kết hợp dự đoán của nhiều mô hình cơ bản lại với nhau.

Tại Sao Sử Dụng Phương Pháp Đào Tạo Tập Thể?

Các mô hình học máy có thể khác nhau vì nhiều lý do. Các mô hình học máy khác nhau có thể hoạt động trên các mẫu dữ liệu dân số khác nhau, các kỹ thuật mô hình hóa khác nhau có thể được sử dụng và một giả thuyết khác nhau có thể được sử dụng.

Hãy tưởng tượng bạn đang chơi một trò chơi trivia với một nhóm lớn người. Nếu bạn đang ở một đội riêng, chắc chắn sẽ có một số chủ đề mà bạn có kiến thức về và nhiều chủ đề bạn không có kiến thức về. Giờ hãy giả sử bạn đang chơi trong một đội với những người khác. Giống như bạn, họ sẽ có một số kiến thức về chuyên môn của mình và không có kiến thức về các chủ đề khác. Tuy nhiên, khi kiến thức của bạn được kết hợp, bạn sẽ có dự đoán chính xác hơn cho nhiều lĩnh vực và số lượng chủ đề mà đội của bạn không có kiến thức sẽ giảm. Đây là nguyên tắc tương tự như học tập tập thể, kết hợp dự đoán của các mô hình cá nhân (các mô hình riêng lẻ) để cải thiện độ chính xác và giảm thiểu lỗi.

Các nhà thống kê đã chứng minh rằng khi một đám đông người được yêu cầu đoán câu trả lời đúng cho một câu hỏi nhất định với một loạt câu trả lời có thể, tất cả câu trả lời của họ sẽ tạo thành một phân phối xác suất. Những người thực sự biết câu trả lời đúng sẽ chọn câu trả lời đúng với sự tự tin, trong khi những người chọn câu trả lời sai sẽ phân phối dự đoán của họ trên phạm vi các câu trả lời sai có thể. Quay lại ví dụ về trò chơi trivia, nếu bạn và hai người bạn biết câu trả lời đúng là A, cả ba bạn sẽ bỏ phiếu cho A, trong khi ba người khác trong đội của bạn không biết câu trả lời sẽ dự đoán sai B, C, D hoặc E. Kết quả là A có ba phiếu và các câu trả lời khác có thể chỉ có một hoặc hai phiếu tối đa.

Tất cả các mô hình đều có một số lượng lỗi nhất định. Lỗi của một mô hình sẽ khác với lỗi được tạo ra bởi một mô hình khác, vì các mô hình khác nhau do các lý do được mô tả ở trên. Khi tất cả lỗi được xem xét, chúng sẽ không tập trung xung quanh một câu trả lời hoặc câu trả lời khác, mà sẽ phân tán xung quanh. Các dự đoán sai thực sự sẽ được phân phối trên tất cả các câu trả lời sai có thể, hủy bỏ lẫn nhau. Trong khi đó, các dự đoán đúng từ các mô hình khác nhau sẽ tập trung xung quanh câu trả lời đúng. Khi sử dụng phương pháp đào tạo tập thể, câu trả lời đúng có thể được tìm thấy với độ tin cậy cao hơn.

Các Phương Pháp Đào Tạo Tập Thể Đơn Giản

Các phương pháp đào tạo tập thể đơn giản thường chỉ liên quan đến việc áp dụng các kỹ thuật thống kê tóm tắt, chẳng hạn như xác định mode, trung bình hoặc trung bình trọng số của một tập hợp dự đoán.

Mode đề cập đến phần tử thường xuyên nhất trong một tập hợp số. Để có được mode, các mô hình học tập cá nhân trả về dự đoán của chúng và những dự đoán này được coi là lá phiếu cho dự đoán cuối cùng. Việc tính trung bình của dự đoán được thực hiện bằng cách tính trung bình số học của dự đoán, làm tròn đến số nguyên gần nhất. Cuối cùng, trung bình trọng số có thể được tính bằng cách gán trọng số khác nhau cho các mô hình được sử dụng để tạo dự đoán, với trọng số đại diện cho tầm quan trọng được nhận thức của mô hình đó. Đại diện số của dự đoán lớp được nhân với một trọng số từ 0 đến 1,0, các dự đoán trọng số cá nhân sau đó được tổng hợp lại và kết quả được làm tròn đến số nguyên gần nhất.

Các Phương Pháp Đào Tạo Tập Thể Nâng Cao

Có ba kỹ thuật đào tạo tập thể nâng cao chính, mỗi kỹ thuật được thiết kế để giải quyết một loại vấn đề học máy cụ thể. Các kỹ thuật “bagging” được sử dụng để giảm phương sai của dự đoán mô hình, với phương sai đề cập đến mức độ kết quả dự đoán khác nhau khi dựa trên cùng một quan sát. Các kỹ thuật “boosting” được sử dụng để chống lại sự thiên vị của mô hình. Cuối cùng, “stacking” được sử dụng để cải thiện dự đoán chung.

Các phương pháp học tập tập thể bản thân có thể được chia thành một trong hai nhóm khác nhau: phương pháp tuần tự và phương pháp tập thể song song.

Các phương pháp tập thể tuần tự có tên “tuần tự” vì các mô hình cơ bản được tạo ra tuần tự. Trong trường hợp của các phương pháp tuần tự, ý tưởng cơ bản là khai thác sự phụ thuộc giữa các mô hình cơ bản để có được dự đoán chính xác hơn. Các ví dụ bị dán nhãn sai có trọng số của chúng được điều chỉnh trong khi các ví dụ được dán nhãn đúng giữ nguyên trọng số của chúng. Mỗi khi một học viên mới được tạo ra, trọng số được thay đổi và độ chính xác (hy vọng) được cải thiện.

Ngược lại với các mô hình tập thể tuần tự, các phương pháp tập thể song song tạo ra các mô hình cơ bản song song. Khi thực hiện học tập tập thể song song, ý tưởng là khai thác sự độc lập của các mô hình cơ bản, vì tốc độ lỗi chung có thể được giảm bằng cách tính trung bình dự đoán của các học viên cá nhân.

Các phương pháp đào tạo tập thể có thể là đồng nhất hoặc dị tính. Hầu hết các phương pháp học tập tập thể là đồng nhất, có nghĩa là chúng sử dụng một loại mô hình học tập cơ bản / thuật toán. Ngược lại, các tập thể dị tính sử dụng các thuật toán học tập khác nhau, đa dạng hóa và thay đổi các học viên để đảm bảo rằng độ chính xác là cao nhất có thể.

Ví Dụ Về Các Thuật Toán Học Tập Tập Thể

Hình ảnh hóa học tập tập thể boosting. Ảnh: Sirakorn qua Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Ví dụ về các phương pháp tập thể tuần tự bao gồm AdaBoost, XGBoost và Gradient tree boosting. Tất cả đều là các mô hình boosting. Đối với các mô hình boosting này, mục tiêu là chuyển đổi các học viên yếu, hoạt động kém thành các học viên mạnh hơn. Các mô hình như AdaBoost và XGBoost bắt đầu với nhiều học viên yếu hoạt động chỉ slightly tốt hơn việc đoán ngẫu nhiên. Khi quá trình đào tạo tiếp tục, trọng số được áp dụng cho dữ liệu và điều chỉnh. Các trường hợp được phân loại sai bởi các học viên trong các vòng đào tạo trước được gán trọng số cao hơn. Sau khi quá trình này được lặp lại cho số vòng đào tạo mong muốn, dự đoán được kết hợp lại với nhau thông qua một tổng trọng số (đối với nhiệm vụ hồi quy) và một phiếu bầu trọng số (đối với nhiệm vụ phân loại).

Quá trình học tập bagging. Ảnh: SeattleDataGuy qua Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Một ví dụ về mô hình tập thể song song là một Random Forest phân loại, và Random Forests cũng là một ví dụ về kỹ thuật bagging. Thuật ngữ “bagging” đến từ “bootstrap aggregation”. Các mẫu được lấy từ tập dữ liệu tổng thể bằng cách sử dụng một kỹ thuật lấy mẫu gọi là “bootstrap sampling”, được sử dụng bởi các học viên cơ bản để tạo dự đoán. Đối với nhiệm vụ phân loại, đầu ra của các mô hình cơ bản được tổng hợp lại bằng cách sử dụng bỏ phiếu, trong khi chúng được tính trung bình lại với nhau đối với nhiệm vụ hồi quy. Random Forests sử dụng các cây quyết định cá nhân làm mô hình cơ bản của chúng, và mỗi cây trong tập thể được tạo ra bằng cách sử dụng một mẫu khác nhau từ tập dữ liệu. Một tập hợp con ngẫu nhiên của các tính năng cũng được sử dụng để tạo ra cây. Điều này dẫn đến các cây quyết định cá nhân được ngẫu hóa cao, tất cả đều được kết hợp lại với nhau để cung cấp dự đoán đáng tin cậy.

Hình ảnh hóa học tập tập thể stacking. Ảnh: Supun Setunga qua Wikimedia Commons, CC BY S.A 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Về các kỹ thuật xếp chồng tập thể, nhiều mô hình hồi quy hoặc phân loại được kết hợp lại với nhau thông qua một mô hình cấp cao hơn, mô hình meta. Các mô hình cơ bản cấp thấp được đào tạo bằng cách cho ăn toàn bộ tập dữ liệu. Đầu ra của các mô hình cơ bản sau đó được sử dụng làm tính năng để đào tạo mô hình meta. Các mô hình tập thể xếp chồng thường dị tính.