Linear Regression là gì?

Linear Regression là gì?

Linear Regression là một thuật toán được sử dụng để dự đoán hoặc trực quan hóa mối quan hệ giữa hai tính năng/ biến khác nhau. Trong các nhiệm vụ Linear Regression, có hai loại biến được kiểm tra: biến phụ thuộc và biến độc lập. Biến độc lập là biến tự đứng alone, không bị ảnh hưởng bởi biến khác. Khi biến độc lập được điều chỉnh, mức độ của biến phụ thuộc sẽ thay đổi. Biến phụ thuộc là biến được nghiên cứu, và nó là những gì mô hình hồi quy giải quyết/ dự đoán. Trong các nhiệm vụ Linear Regression, mỗi quan sát/ thể hiện bao gồm cả giá trị biến phụ thuộc và giá trị biến độc lập.

Đó là một giải thích nhanh về Linear Regression, nhưng hãy đảm bảo chúng ta hiểu rõ hơn về Linear Regression bằng cách xem xét một ví dụ và kiểm tra công thức mà nó sử dụng.

Hiểu về Linear Regression

Giả sử chúng ta có một tập dữ liệu bao gồm kích thước ổ cứng và chi phí của chúng.

Hãy giả sử rằng tập dữ liệu của chúng tôi bao gồm hai tính năng khác nhau: lượng bộ nhớ và chi phí. Khi chúng ta mua nhiều bộ nhớ hơn cho máy tính, chi phí của mua hàng sẽ tăng lên. Nếu chúng ta vẽ các điểm dữ liệu riêng lẻ trên một biểu đồ phân tán, chúng ta có thể nhận được một biểu đồ trông giống như thế này:

Tỷ lệ chính xác giữa bộ nhớ và chi phí có thể khác nhau giữa các nhà sản xuất và mẫu ổ cứng, nhưng nói chung, xu hướng của dữ liệu là bắt đầu từ góc dưới bên trái (ở đó ổ cứng có giá rẻ hơn và có dung lượng nhỏ hơn) và di chuyển đến góc trên bên phải (ở đó ổ cứng có giá cao hơn và có dung lượng lớn hơn).

Nếu chúng ta có lượng bộ nhớ trên trục X và chi phí trên trục Y, một đường thẳng thể hiện mối quan hệ giữa X và Y sẽ bắt đầu từ góc dưới bên trái và chạy đến góc trên bên phải.

Chức năng của một mô hình hồi quy là xác định một hàm tuyến tính giữa các biến X và Y để mô tả tốt nhất mối quan hệ giữa hai biến. Trong Linear Regression, người ta giả định rằng Y có thể được tính toán từ một sự kết hợp của các biến đầu vào. Mối quan hệ giữa các biến đầu vào (X) và các biến mục tiêu (Y) có thể được thể hiện bằng cách vẽ một đường thẳng qua các điểm trên biểu đồ. Đường thẳng này đại diện cho hàm mà tốt nhất mô tả mối quan hệ giữa X và Y (ví dụ, mỗi khi X tăng 3, Y tăng 2). Mục tiêu là tìm một “đường hồi quy” tối ưu, hoặc đường thẳng mà tốt nhất phù hợp với dữ liệu.

Các đường thẳng thường được biểu diễn bằng phương trình: Y = m * X + b. X đề cập đến biến độc lập trong khi Y là biến phụ thuộc. Trong khi đó, m là độ dốc của đường thẳng, được định nghĩa bởi “độ tăng” trên “độ chạy”. Các nhà thực hành học máy thể hiện phương trình độ dốc nổi tiếng một chút khác, sử dụng phương trình này thay thế:

y(x) = w0 + w1 * x

Trong phương trình trên, y là biến mục tiêu trong khi “w” là tham số của mô hình và đầu vào là “x”. Vì vậy, phương trình được đọc là: “Hàm cho Y, tùy thuộc vào X, bằng tham số của mô hình nhân với các tính năng”. Các tham số của mô hình được điều chỉnh trong quá trình đào tạo để có được đường hồi quy phù hợp nhất.

Multiple Linear Regression

Ảnh: Cbaf qua Wikimedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:2d_multiple_linear_regression.gif)

Quá trình được mô tả ở trên áp dụng cho hồi quy tuyến tính đơn giản, hoặc hồi quy trên các tập dữ liệu có chỉ một biến độc lập. Tuy nhiên, một hồi quy cũng có thể được thực hiện với nhiều biến. Trong trường hợp của “hồi quy tuyến tính đa biến”, phương trình được mở rộng bởi số lượng biến trong tập dữ liệu. Nói cách khác, trong khi phương trình cho hồi quy tuyến tính thông thường là y(x) = w0 + w1 * x, phương trình cho hồi quy tuyến tính đa biến sẽ là y(x) = w0 + w1x1 cộng với trọng số và đầu vào cho các tính năng khác. Nếu chúng ta biểu diễn tổng số trọng số và tính năng là w(n)x(n), thì chúng ta có thể biểu diễn công thức như sau:

y(x) = w0 + w1x1 + w2x2 + … + w(n)x(n)

Sau khi thiết lập công thức cho hồi quy tuyến tính, mô hình học máy sẽ sử dụng các giá trị khác nhau cho trọng số, vẽ các đường thẳng phù hợp khác nhau. Hãy nhớ rằng mục tiêu là tìm đường thẳng phù hợp nhất với dữ liệu để xác định mối quan hệ giữa các biến.

Một hàm chi phí được sử dụng để đo lường mức độ gần giữa các giá trị Y giả định và các giá trị Y thực khi cho một giá trị trọng số nhất định. Hàm chi phí cho hồi quy tuyến tính là sai số bình phương trung bình, chỉ lấy trung bình (sai số bình phương) giữa giá trị dự đoán và giá trị thực cho tất cả các điểm dữ liệu trong tập dữ liệu. Hàm chi phí được sử dụng để tính toán một chi phí,捕获 sự khác biệt giữa giá trị mục tiêu dự đoán và giá trị mục tiêu thực. Nếu đường phù hợp cách xa các điểm dữ liệu, chi phí sẽ cao hơn, trong khi chi phí sẽ trở nên nhỏ hơn khi đường thẳng gần với việc bắt gặp mối quan hệ thực giữa các biến. Các trọng số của mô hình sau đó được điều chỉnh cho đến khi cấu hình trọng số tạo ra lượng lỗi nhỏ nhất được tìm thấy.