Hồi quy tuyến tính là gì?

Linear regression mô hình hóa một biến mục tiêu liên tục như là sự kết hợp tuyến tính của một hoặc nhiều đặc trưng đầu vào. Nó được sử dụng để dự đoán, ước lượng, và như một nền tảng minh bạch để hiểu liệu một mô hình phức tạp hơn có mang lại giá trị đáng kể hay không.

Các từ biến độc lập và biến phụ thuộc mô tả vai trò trong mô hình, không phải là bằng chứng về nguyên nhân và kết quả. Hồi quy có thể xác định một mối liên hệ trong khi các yếu tố gây nhiễu, thiên lệch lựa chọn, quan hệ ngược chiều, hoặc lỗi đo lường giải thích mối quan hệ đó.

Những điểm chính

• Biến mục tiêu y được mô hình hoá từ các đặc trưng đầu vào X; phiên bản cũ của bài viết đã đảo ngược các nhãn này trong một giải thích công thức.
• Phương pháp bình phương tối thiểu (OLS) giảm thiểu tổng các bình phương phần dư.
• Chẩn đoán phần dư và các giả định quan trọng đối với suy luận và độ không chắc.
• Phân chuẩn Ridge và Lasso giúp khi số lượng hoặc sự tương quan giữa các biến dự báo lớn.

Hồi quy tuyến tính đơn

Với một đặc trưng, mô hình là:

ŷ = β₀ + β₁x

β₀ là hệ số chặn và β₁ là độ dốc. Phần dư cho quan sát i là yᵢ - ŷᵢ. Phương pháp bình phương tối thiểu (OLS) chọn các hệ số sao cho tổng các bình phương phần dư được giảm thiểu.

Độ dốc ước tính sự thay đổi kỳ vọng của biến mục tiêu liên quan đến một đơn vị thay đổi của đặc trưng trong mô hình đã khớp. Nó không nên được mô tả là một hiệu ứng nguyên nhân trừ khi thiết kế nghiên cứu và các giả định hỗ trợ việc xác định nguyên nhân.

Hồi quy tuyến tính đa biến

Với p đặc trưng:

ŷ = β₀ + β₁x₁ + β₂x₂ + … + βₚxₚ

Mỗi hệ số được diễn giải có điều kiện dựa trên các đặc trưng khác đã được bao gồm. Hồi quy đa biến có thể kết hợp các biến phân loại thông qua mã hoá, các bậc đa thức, và các tương tác. Nó vẫn được gọi là “tuyến tính” vì nó tuyến tính theo các hệ số, ngay cả khi các đặc trưng đã được biến đổi như x² được đưa vào.

Giả định và chẩn đoán

Đối với dự đoán, câu hỏi cốt lõi là mô hình tổng quát hoá tốt như thế nào. Đối với các kiểm định và khoảng tin cậy của hệ số truyền thống, các giả định bổ sung trở nên quan trọng:

• Độ tuyến tính: trung bình có điều kiện được biểu diễn bằng dạng tuyến tính đã chọn.
• Lỗi độc lập hoặc được mô hình hoá đúng: các quan sát lặp lại, nhóm, không gian, hoặc chuỗi thời gian có thể yêu cầu một cấu trúc lỗi khác.
• Phương sai lỗi không đổi: hiện tượng bất đồng phương sai ảnh hưởng đến sai số chuẩn và ước lượng độ không chắc.
• Đa cộng tuyến hạn chế: các biến dự báo có tương quan mạnh làm cho các hệ số riêng lẻ không ổn định.
• Phân phối phần dư: tính chuẩn thường liên quan đến một số suy luận mẫu nhỏ, không phải là yêu cầu mọi đặc trưng phải có phân phối chuẩn.

Biểu đồ phần dư, các chỉ số leverage và influence, cùng với việc xem xét miền ứng dụng có thể xác định các ngoại lệ, tính phi tuyến, biến đổi phương sai, hoặc các quan sát chi phối quá trình khớp.

Đánh giá dự đoán

• Mean absolute error (MAE) trung bình kích thước phần dư tuyệt đối.
• Mean squared error (MSE) cho các lỗi lớn hơn trọng số cao hơn.
• Root mean squared error (RMSE) đưa sai số bình phương trở lại đơn vị của mục tiêu.
• R² so sánh biến thiên phần dư với một nền tảng hằng số trên dữ liệu được đánh giá.

R² không phải là độ chính xác, không thiết lập nguyên nhân, và có thể âm trên dữ liệu kiểm tra. Việc xác thực nên phù hợp với môi trường dự đoán thực tế, bao gồm việc chia dữ liệu theo thời gian hoặc nhóm khi cần thiết.

Ridge, lasso và elastic net

Ridge regression thêm một hình phạt L2 làm thu nhỏ các hệ số và ổn định các biến dự báo có tương quan. Lasso thêm hình phạt L1 và có thể đưa các hệ số về zero. Elastic net kết hợp cả hai. Các đặc trưng thường cần được chuẩn hoá tương thích trước khi so sánh các hình phạt này.

Chuẩn hoá (regularization) đưa vào độ chệch để đổi lấy phương sai thấp hơn và có thể giảm overfitting. Cường độ hình phạt được chọn thông qua việc xác thực, không phải bằng tập kiểm tra cuối cùng.

Khi hồi quy tuyến tính không phải là công cụ phù hợp

Mô hình tuyến tính có thể thất bại khi các quan hệ mạnh mẽ phi tuyến, lỗi phụ thuộc vào các giá trị quá khứ, phân phối mục tiêu đòi hỏi mô hình chuyên biệt, hoặc một vài ngoại lệ chi phối hàm mất mát bình phương. Cây quyết định, mô hình tuyến tính tổng quát, mô hình chuỗi thời gian, hồi quy bền vững, hoặc các phương pháp phi tuyến có thể phù hợp hơn.

Ngay cả khi một mô hình phức tạp thắng, hồi quy tuyến tính vẫn là một nền tảng có giá trị. Nếu một hệ thống lớn không thể vượt qua nó một cách đáng tin cậy, độ phức tạp bổ sung có thể không được biện minh.

Giả định mô hình, ước lượng và chẩn đoán

Hồi quy tuyến tính mô hình hoá trung bình có điều kiện của một kết quả số như là một hệ số chặn cộng với các biến dự báo có trọng số. Phương pháp bình phương tối thiểu (OLS) chọn các hệ số sao cho phần dư bình phương được giảm thiểu. Các hệ số mô tả sự thay đổi kỳ vọng của kết quả khi biến dự báo thay đổi một đơn vị trong khi các biến khác được giữ cố định, theo mô hình đã chỉ định. Đây là một mối liên hệ trừ khi các giả định về xác định nguyên nhân và thiết kế nghiên cứu biện minh cho việc làm sâu hơn. Đơn vị, mã hoá, biến đổi, tương tác và các nhóm tham chiếu quyết định cách diễn giải, vì vậy các hệ số không có từ điển dữ liệu là không đầy đủ.

Suy luận cổ điển dựa vào các giả định về dạng hàm, lỗi độc lập, phương sai không đổi và phân phối lỗi cho các kiểm định và khoảng tin cậy cụ thể. Biểu đồ phần dư so với giá trị khớp cho thấy tính phi tuyến hoặc bất đồng phương sai; biểu đồ Q–Q đánh giá hành vi đuôi; các chẩn đoán leverage và influence xác định các quan sát ảnh hưởng mạnh đến ước lượng. Các biến dự báo có tương quan làm tăng độ không chắc và khiến các hệ số riêng lẻ không ổn định ngay cả khi dự đoán vẫn đạt yêu cầu. Các sai số chuẩn bền vững, biến đổi, spline, cấu trúc phân cấp, hoặc một mô hình khác có thể cần thiết thay vì xóa các điểm dữ liệu bất tiện.

Chuẩn hoá, đánh giá và sử dụng có trách nhiệm

Ridge regression thu nhỏ các hệ số bằng hình phạt L2, trong khi lasso có thể đưa một số hệ số về zero bằng hình phạt L1; elastic net kết hợp cả hai. Chuẩn hoá các biến dự báo khi thang đo hình phạt cần tương đồng và chọn cường độ bằng việc xác thực hoặc cross‑validation. Đánh giá mean absolute error, root mean squared error, phân phối phần dư, hiệu chuẩn trên các khoảng và độ không chắc, với việc chia dữ liệu theo thời gian hoặc nhóm phản ánh cách sử dụng. So sánh với một nền tảng trung bình và các lựa chọn phi tuyến, nhưng vẫn giữ mô hình tuyến tính khi tính minh bạch và ổn định có giá trị.

Việc ngoại suy ra ngoài phạm vi dự báo đã quan sát sẽ tuân theo đường khớp mà không có bằng chứng và có thể nguy hiểm. Giám sát phạm vi các đặc trưng, dữ liệu thiếu, phần dư và lỗi nhóm phụ trong môi trường sản xuất. Các khoảng dự đoán mô tả độ không chắc của kết quả cá nhân và rộng hơn so với khoảng tin cậy cho trung bình; cả hai đều cần các giả định. Tránh kiểm soát các biến gây ra thiên lệch nguyên nhân khi mục tiêu là ước lượng hiệu ứng. Hồi quy tuyến tính là một công cụ chính xác cho một quan hệ đã định, không phải là bảo đảm toàn diện rằng thế giới là tuyến tính hoặc một hệ số đại diện cho can thiệp.

Ví dụ thực tế: ước tính thời gian giao hàng

Một đội logistics mô hình hoá thời gian giao hàng dựa trên khoảng cách, mức dịch vụ, khu vực, ngày trong tuần và thời tiết đã biết. Nhóm này kiểm tra các mẫu phần dư phi tuyến và thêm các spline và tương tác có lý do thay vì coi một phương trình tuyến tính như là vật lý thuần túy. Các nhóm nhà vận chuyển và tuyến đường xác định các tập xác thực. Mean absolute error, lỗi đuôi, độ bao phủ khoảng và độ lệch hệ thống được báo cáo. Các đơn hàng bị hủy và dữ liệu ghi nhận sau khi giao hàng được loại trừ hoặc mô hình hoá một cách rõ ràng.

Các hệ số được ghi chép kèm đơn vị và kiểm tra tính không ổn định khi các biến dự báo có tương quan. Mô hình từ chối ngoại suy ra ngoài các khoảng cách và khu vực đã được xác thực. Các khoảng dự đoán đi kèm với các ước lượng, và việc lập lịch downstream sử dụng độ không chắc này. Giám sát theo dõi phạm vi các đặc trưng, phần dư, độ bao phủ khoảng và độ lệch sau các thay đổi mạng. Không có tuyên bố nguyên nhân về nhà vận chuyển hay thời tiết dựa trên các hệ số dự đoán; cần các thí nghiệm vận hành hoặc xác định mạnh hơn để hỗ trợ can thiệp.

Bằng chứng triển khai và sẵn sàng vận hành

Một quyết định triển khai cần hơn một buổi trình diễn thành công. Xác định người dùng dự kiến, môi trường vận hành, đầu vào, đầu ra, các phụ thuộc, người chịu trách nhiệm và hậu quả của mỗi lỗi quan trọng. Thiết lập một nền tảng có thể tái tạo và một bộ đánh giá có phiên bản trước khi tinh chỉnh. Kiểm tra các trường hợp thường, điều kiện biên, đầu vào sai định dạng hoặc thiếu, sự dịch chuyển phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị bỏ quên. Đo lường chất lượng nhiệm vụ cùng với hiệu chuẩn hoặc độ không chắc, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi biến đổi và ngưỡng để một người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một nguyên mẫu hấp dẫn.

Trước khi ra mắt, chỉ định quyền lực cho việc phát hành, ngoại lệ, thay đổi, quay lại và ngừng sử dụng. Sử dụng triển khai theo giai đoạn, duy trì một phương án dự phòng an toàn, và xác minh việc giám sát bằng cách cố tình đưa vào các lỗi. Dữ liệu đo lường vận hành nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, tình trạng phụ thuộc, can thiệp của con người, và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Xác định ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau khi triển khai thay vì giả định hiệu năng ngoại tuyến sẽ duy trì. Đánh giá lại mỗi khi nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần có quy trình phục hồi, học hỏi từ sự cố, xóa và lưu trữ dữ liệu, và một điểm rõ ràng khi nó nên bị vô hiệu hoá hoặc thay thế.

Câu hỏi thường gặp

Hồi quy tuyến tính có yêu cầu chỉ một biến đầu vào không?

Không. Hồi quy đơn có một biến dự báo, trong khi hồi quy tuyến tính đa biến có thể sử dụng nhiều đặc trưng số, mã hoá phân loại, biến đổi và tương tác.

Hồi quy tuyến tính có thể chứng minh nguyên nhân không?

Không. Diễn giải nguyên nhân đòi hỏi một thiết kế nghiên cứu có thể biện minh và các giả định về nhiễu, lựa chọn, đo lường và can thiệp. Một hệ số dự đoán đơn lẻ chỉ mô tả một mối liên hệ trong mô hình đã khớp.

Tài liệu tham khảo chính

• scikit-learn: Các mô hình tuyến tính
• NIST/SEMATECH: Hồi quy bình phương tối thiểu tuyến tính