Gradient Boosting là gì?

Một loại mô hình học máy phổ biến đã được chứng minh là cực kỳ hữu ích trong các cuộc thi khoa học dữ liệu là mô hình tăng cường gradient. Tăng cường gradient cơ bản là quá trình chuyển đổi các mô hình học yếu thành các mô hình học mạnh. Nhưng làm thế nào để thực hiện điều này? Hãy cùng xem xét các thuật toán tăng cường gradient và hiểu rõ hơn về cách một mô hình tăng cường gradient chuyển đổi các học viên yếu thành các học viên mạnh.

Định nghĩa Gradient Boosting

Bài viết này nhằm cung cấp cho bạn một sự hiểu biết tốt về tăng cường gradient, mà không cần phải phân tích quá nhiều về toán học đằng sau các thuật toán. Khi bạn đã có một sự hiểu biết về cách tăng cường gradient hoạt động ở mức cao, bạn sẽ được khuyến khích để đi sâu hơn và khám phá toán học làm cho nó trở nên khả thi.

Hãy bắt đầu bằng cách định nghĩa什么 là “tăng cường” một học viên. Các học viên yếu được chuyển đổi thành các học viên mạnh bằng cách điều chỉnh các thuộc tính của mô hình học. Nhưng thuật toán học nào đang được tăng cường?

Các mô hình tăng cường hoạt động bằng cách tăng cường một mô hình học máy khác, một cây quyết định.

Mô hình cây quyết định hoạt động bằng cách chia một tập dữ liệu thành các phần nhỏ hơn và nhỏ hơn, và khi các phần nhỏ không thể chia nhỏ hơn nữa, kết quả là một cây với các nút và lá. Các nút trong một cây quyết định là nơi các quyết định về các điểm dữ liệu được thực hiện bằng cách sử dụng các tiêu chí lọc khác nhau. Các lá trong một cây quyết định là các điểm dữ liệu đã được phân loại. Các thuật toán cây quyết định có thể xử lý cả dữ liệu số và dữ liệu phân loại, và các chia cắt trong cây dựa trên các biến/tính năng cụ thể.

Minh họa cách các mô hình tăng cường được đào tạo.
Ảnh: SeattleDataBuy qua Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

Một loại thuật toán tăng cường là thuật toán AdaBoost. Các thuật toán AdaBoost bắt đầu bằng cách đào tạo một mô hình cây quyết định và gán một trọng số bằng nhau cho mỗi quan sát. Sau khi cây đầu tiên đã được đánh giá về độ chính xác, các trọng số cho các quan sát khác nhau được điều chỉnh. Các quan sát dễ dàng phân loại có trọng số giảm, trong khi các quan sát khó phân loại có trọng số tăng. Một cây thứ hai được tạo ra bằng cách sử dụng các trọng số điều chỉnh này, với mục tiêu là các dự đoán của cây thứ hai sẽ chính xác hơn các dự đoán của cây đầu tiên.

Mô hình hiện tại bao gồm các dự đoán cho cây gốc và cây mới (hoặc Cây 1 + Cây 2). Độ chính xác phân loại được đánh giá lại dựa trên mô hình mới. Một cây thứ ba được tạo ra dựa trên lỗi tính toán cho mô hình, và các trọng số được điều chỉnh lại. Quá trình này tiếp tục trong một số lần lặp nhất định, và mô hình cuối cùng là một mô hình tập hợp sử dụng tổng trọng số của các dự đoán được thực hiện bởi tất cả các cây trước đó.

Quá trình được mô tả trên sử dụng Cây quyết định và các dự đoán cơ bản/mô hình, nhưng một cách tiếp cận tăng cường có thể được thực hiện với một loạt các mô hình như các mô hình phân loại và hồi quy tiêu chuẩn. Các khái niệm chính để hiểu là các dự đoán tiếp theo học từ các sai lầm của các dự đoán trước và các dự đoán được tạo ra tuần tự.

Ưu điểm chính của các thuật toán tăng cường là chúng mất ít thời gian hơn để tìm các dự đoán hiện tại so với các mô hình học máy khác. Tuy nhiên, cần phải cẩn thận khi sử dụng các thuật toán tăng cường, vì chúng dễ bị quá拟 hợp.

Gradient Boosting

Bây giờ chúng ta sẽ xem xét một trong những thuật toán tăng cường phổ biến nhất. Các mô hình tăng cường gradient (GBM) được biết đến với độ chính xác cao, và chúng tăng cường các nguyên tắc chung được sử dụng trong AdaBoost.

Sự khác biệt chính giữa một mô hình tăng cường gradient và AdaBoost là GBM sử dụng một phương pháp khác để tính toán các học viên nào đang nhận dạng sai dữ liệu. AdaBoost tính toán nơi một mô hình đang dưới biểu diễn bằng cách kiểm tra các điểm dữ liệu có trọng số cao. Trong khi đó, GBM sử dụng gradient để xác định độ chính xác của các học viên, áp dụng một hàm mất mát cho mô hình. Hàm mất mát là một cách để đo độ chính xác của mô hình trên tập dữ liệu, tính toán một lỗi và tối ưu hóa mô hình để giảm lỗi đó. GBM cho phép người dùng tối ưu hóa một hàm mất mát cụ thể dựa trên mục tiêu mong muốn.

Lấy ví dụ về hàm mất mát phổ biến nhất – Sai số bình phương trung bình (MSE) – gradient descent được sử dụng để cập nhật dự đoán dựa trên một tốc độ học được định nghĩa trước, nhằm tìm các giá trị nơi mất mát là tối thiểu.

Để làm rõ hơn:

Các dự đoán mô hình mới = biến đầu ra – dự đoán cũ không hoàn hảo.

Trong một ý nghĩa thống kê hơn, GBM nhằm tìm các mẫu liên quan trong các dư của mô hình, điều chỉnh mô hình để phù hợp với mẫu và đưa các dư đến gần 0 càng nhiều càng tốt. Nếu bạn thực hiện một hồi quy trên dự đoán của mô hình, các dư sẽ được phân bố xung quanh 0 (phù hợp hoàn hảo), và GBM đang tìm các mẫu trong các dư và cập nhật mô hình xung quanh các mẫu này.

Nghĩa là, các dự đoán được cập nhật để tổng của tất cả các dư là gần 0 càng nhiều càng tốt, nghĩa là các giá trị dự đoán sẽ rất gần với các giá trị thực.

Lưu ý rằng nhiều hàm mất mát khác (như mất mát lô-ga-rít) có thể được sử dụng bởi một GBM. MSE được chọn ở trên vì mục đích đơn giản.

Biến thể của Mô hình Tăng cường Gradient

Các mô hình tăng cường gradient là các thuật toán tham lam dễ bị quá拟 hợp trên một tập dữ liệu. Điều này có thể được bảo vệ bằng nhiều phương pháp khác nhau có thể cải thiện hiệu suất của một GBM.

GBM có thể được điều chỉnh với bốn phương pháp khác nhau: Shrinkage, Tree Constraints, Stochastic Gradient Boosting, và Penalized Learning.

Shrinkage

Like đã đề cập trước đó, trong GBM các dự đoán được cộng lại theo trình tự. Trong “Shrinkage”, các bổ sung của mỗi cây vào tổng chung được điều chỉnh. Các trọng số được áp dụng để làm chậm tốc độ học của thuật toán, yêu cầu nhiều cây hơn được thêm vào mô hình, điều này thường cải thiện độ mạnh và hiệu suất của mô hình. Tuy nhiên, sự đánh đổi là mô hình mất nhiều thời gian hơn để đào tạo.

Tree Constraints

Giới hạn cây với các điều chỉnh khác nhau như thêm độ sâu vào cây hoặc tăng số nút hoặc lá trong cây có thể làm cho mô hình khó bị quá拟 hợp. Áp đặt một giới hạn về số quan sát tối thiểu cho mỗi chia cắt có một hiệu ứng tương tự. Một lần nữa, sự đánh đổi là mô hình mất nhiều thời gian hơn để đào tạo.

Random Sampling

Các học viên riêng lẻ có thể được tạo ra thông qua một quá trình ngẫu nhiên, dựa trên các mẫu con ngẫu nhiên của tập dữ liệu đào tạo. Điều này có hiệu ứng giảm tương quan giữa các cây, điều này bảo vệ chống lại quá拟 hợp. Tập dữ liệu có thể được lấy mẫu con trước khi tạo cây hoặc trước khi xem xét một chia cắt trong cây.

Penalized Learning

Beyond giới hạn mô hình thông qua việc giới hạn cấu trúc của cây, có thể sử dụng một cây hồi quy. Các cây hồi quy có các giá trị số được gắn vào mỗi lá, và các giá trị này hoạt động như trọng số và có thể được điều chỉnh với các hàm điều chỉnh thông thường như L1 và L2 điều chỉnh.