Mô hình học máy sáng tạo và phân biệt đối xử

Một số mô hình học máy thuộc loại mô hình “sáng tạo” hoặc “phân biệt đối xử”. Tuy nhiên, cái gì là sự khác biệt giữa hai loại mô hình này? Điều đó có nghĩa gì đối với một mô hình là phân biệt đối xử hoặc tạo ra?

Câu trả lời ngắn gọn là các mô hình tổng quát là những mô hình bao gồm phân phối của tập dữ liệu, trả về xác suất cho một ví dụ nhất định. Các mô hình tổng quát thường được sử dụng để dự đoán điều gì xảy ra tiếp theo trong một trình tự. Trong khi đó, các mô hình phân biệt được sử dụng để phân loại hoặc hồi quy và chúng trả về một dự đoán dựa trên điều kiện xác suất. Hãy khám phá sự khác biệt giữa các mô hình tổng quát và phân biệt đối xử một cách chi tiết hơn để chúng ta có thể thực sự hiểu điều gì phân biệt hai loại mô hình và khi nào nên sử dụng từng loại.

Mô hình sáng tạo và phân biệt đối xử

Có nhiều cách để phân loại mô hình học máy. Một mô hình có thể được phân loại thuộc các loại khác nhau như: mô hình tổng quát, mô hình phân biệt, mô hình tham số, mô hình không tham số, mô hình dựa trên cây, mô hình không dựa trên cây.

Bài viết này sẽ tập trung vào sự khác biệt giữa các mô hình thế hệ và các mô hình phân biệt đối xử. Chúng ta sẽ bắt đầu bằng cách xác định cả mô hình tổng quát và mô hình phân biệt, sau đó chúng ta sẽ khám phá một số ví dụ về từng loại mô hình.

Mô hình tạo

Các mô hình tạo ra là những thứ tập trung vào sự phân bố của các lớp trong tập dữ liệu. Các thuật toán học máy thường mô hình hóa việc phân phối các điểm dữ liệu. Các mô hình tạo dựa trên việc tìm xác suất chung. Tạo các điểm trong đó một tính năng đầu vào nhất định và một đầu ra/nhãn mong muốn tồn tại đồng thời.

Các mô hình tổng quát thường được sử dụng để ước tính xác suất và khả năng xảy ra, mô hình hóa các điểm dữ liệu và phân biệt giữa các lớp dựa trên các xác suất này. Vì mô hình học phân phối xác suất cho tập dữ liệu nên nó có thể tham chiếu phân phối xác suất này để tạo các phiên bản dữ liệu mới. Các mô hình phát sinh thường dựa vào định lý Bayes để tìm xác suất chung, tìm p(x,y). Về cơ bản, các mô hình tổng quát mô hình cách dữ liệu được tạo, hãy trả lời câu hỏi sau:

“Khả năng lớp này hoặc lớp khác tạo ra điểm/thực thể dữ liệu này là bao nhiêu?”

Ví dụ về các mô hình học máy tổng quát bao gồm Phân tích phân biệt tuyến tính (LDA), mô hình Markov ẩn và mạng Bayesian như Naive Bayes.

Mô hình phân biệt đối xử

Trong khi các mô hình tổng quát tìm hiểu về sự phân bố của tập dữ liệu, mô hình phân biệt tìm hiểu về ranh giới giữa các lớp trong tập dữ liệu. Với các mô hình phân biệt, mục tiêu là xác định ranh giới quyết định giữa các lớp để áp dụng các nhãn lớp đáng tin cậy cho các thể hiện dữ liệu. Các mô hình phân biệt phân tách các lớp trong tập dữ liệu bằng cách sử dụng xác suất có điều kiện, không đưa ra bất kỳ giả định nào về các điểm dữ liệu riêng lẻ.

Các mô hình phân biệt đặt ra để trả lời câu hỏi sau:

“Trường hợp này được tìm thấy ở phía nào của ranh giới quyết định?”

Ví dụ về các mô hình phân biệt đối xử trong học máy bao gồm máy vectơ hỗ trợ, hồi quy logistic, cây quyết định và rừng ngẫu nhiên.

Sự khác biệt giữa sáng tạo và phân biệt đối xử

Dưới đây là tóm tắt nhanh về sự khác biệt chính giữa các mô hình tổng quát và phân biệt đối xử.

Các mô hình phát sinh:

• Các mô hình tạo nhằm mục đích nắm bắt sự phân phối thực tế của các lớp trong tập dữ liệu.
• Các mô hình sinh học dự đoán phân bố xác suất chung – p(x,y) – sử dụng Định lý Bayes.
• Các mô hình tổng quát đắt hơn về mặt tính toán so với các mô hình phân biệt đối xử.
• Các mô hình tổng quát rất hữu ích cho các tác vụ học máy không giám sát.
• Các mô hình tổng quát bị ảnh hưởng bởi sự hiện diện của các ngoại lệ nhiều hơn các mô hình phân biệt đối xử.

Các mô hình phân biệt đối xử:

• Các mô hình phân biệt mô hình ranh giới quyết định cho các lớp tập dữ liệu.
• Các mô hình phân biệt tìm hiểu xác suất có điều kiện – p(y|x).
• Các mô hình phân biệt rẻ về mặt tính toán so với các mô hình tổng quát.
• Các mô hình phân biệt rất hữu ích cho các nhiệm vụ học máy được giám sát.
• Các mô hình phân biệt có lợi thế là mạnh mẽ hơn đối với các ngoại lệ, không giống như các mô hình tổng quát.
• Các mô hình phân biệt mạnh mẽ hơn đối với các ngoại lệ so với các mô hình tổng quát.

Bây giờ chúng ta sẽ khám phá ngắn gọn một số ví dụ khác nhau về các mô hình máy học tổng quát và phân biệt đối xử.

Ví dụ về Generative Models

Phân tích phân biệt tuyến tính (LDA)

mô hình LDA chức năng bằng cách ước tính phương sai và giá trị trung bình của dữ liệu cho từng lớp trong tập dữ liệu. Sau khi giá trị trung bình và phương sai cho mỗi lớp đã được tính toán, các dự đoán có thể được đưa ra bằng cách ước tính xác suất mà một tập hợp đầu vào nhất định thuộc về một lớp nhất định.

Mô hình Markov ẩn

Chuỗi Markov có thể được coi là những biểu đồ có xác suất cho biết khả năng chúng ta sẽ di chuyển từ một điểm trong chuỗi, một “trạng thái”, sang một trạng thái khác. Chuỗi Markov được sử dụng để xác định xác suất chuyển từ trạng thái j sang trạng thái i, có thể được ký hiệu là p(i,j). Đây chỉ là xác suất chung được đề cập ở trên. Mô hình Markov ẩn là nơi sử dụng chuỗi Markov vô hình, không quan sát được. Dữ liệu đầu vào được cung cấp cho mô hình và xác suất cho trạng thái hiện tại và trạng thái ngay trước nó được sử dụng để tính toán kết quả có khả năng xảy ra nhất.

Mạng Bayes

Các mạng Bayes là một loại mô hình đồ họa xác suất. Chúng đại diện cho các phụ thuộc có điều kiện giữa các biến, như được biểu thị bằng Đồ thị theo chu kỳ có hướng. Trong mạng Bayesian, mỗi cạnh của biểu đồ biểu thị một phụ thuộc có điều kiện và mỗi nút tương ứng với một biến duy nhất. Tính độc lập có điều kiện của các mối quan hệ duy nhất trong biểu đồ có thể được sử dụng để xác định phân phối chung của các biến và tính xác suất chung. Nói cách khác, một mạng Bayes nắm bắt một tập hợp con của các mối quan hệ độc lập trong một phân phối xác suất chung cụ thể.

Sau khi mạng Bayesian đã được tạo và xác định chính xác, với các Biến ngẫu nhiên, Mối quan hệ có điều kiện và Phân phối xác suất đã biết, nó có thể được sử dụng để ước tính xác suất của các sự kiện hoặc kết quả.

Một trong những loại Mạng Bayes được sử dụng phổ biến nhất là mô hình Naive Bayes. Mô hình Naive Bayes xử lý thách thức tính toán xác suất cho các bộ dữ liệu có nhiều tham số/biến bằng cách coi tất cả các tính năng là độc lập với nhau.

Ví dụ về các mô hình phân biệt đối xử

Hỗ trợ Máy Vector

Hỗ trợ máy vector hoạt động bằng cách vẽ ranh giới quyết định giữa các điểm dữ liệu, tìm ra ranh giới quyết định phân tách tốt nhất các lớp khác nhau trong tập dữ liệu. Thuật toán SVM vẽ các đường hoặc siêu phẳng phân tách các điểm, cho không gian 2 chiều và không gian 3D tương ứng. SVM cố gắng tìm đường/siêu phẳng phân tách tốt nhất các lớp bằng cách cố gắng tối đa hóa lề hoặc khoảng cách giữa đường/siêu phẳng tới các điểm gần nhất. Các mô hình SVM cũng có thể được sử dụng trên các tập dữ liệu không thể phân tách tuyến tính bằng cách sử dụng “thủ thuật hạt nhân” để xác định các ranh giới quyết định phi tuyến tính.

Hồi quy logistic

Hồi quy logistic là một thuật toán sử dụng hàm logit (log-odds) để xác định xác suất của một đầu vào ở một trong hai trạng thái. Một hàm sigmoid được sử dụng để “squish” xác suất về 0 hoặc 1, đúng hoặc sai. Xác suất lớn hơn 0.50 được coi là loại 1, trong khi xác suất 0.49 hoặc thấp hơn được coi là 0. Vì lý do này, hồi quy logistic thường được sử dụng trong các bài toán phân loại nhị phân. Tuy nhiên, hồi quy logistic có thể được áp dụng cho các vấn đề nhiều lớp bằng cách sử dụng phương pháp tiếp cận một so với tất cả, tạo mô hình phân loại nhị phân cho từng lớp và xác định xác suất một ví dụ là lớp mục tiêu hoặc lớp khác trong tập dữ liệu.

Cây quyết định

A cây quyết định các chức năng của mô hình bằng cách chia nhỏ tập dữ liệu thành các phần nhỏ hơn và nhỏ hơn nữa và một khi các tập hợp con không thể chia nhỏ nữa thì kết quả là một cây có các nút và lá. Các nút trong cây quyết định là nơi các quyết định về điểm dữ liệu được thực hiện bằng cách sử dụng các tiêu chí lọc khác nhau. Các lá trong cây quyết định là các điểm dữ liệu đã được phân loại. Các thuật toán cây quyết định có thể xử lý cả dữ liệu số và dữ liệu phân loại, đồng thời việc phân chia trong cây dựa trên các biến/tính năng cụ thể.

Rừng ngẫu nhiên

A mô hình rừng ngẫu nhiên về cơ bản chỉ là một tập hợp các cây quyết định trong đó các dự đoán của từng cây riêng lẻ được tính trung bình để đi đến quyết định cuối cùng. Thuật toán rừng ngẫu nhiên chọn các quan sát và tính năng ngẫu nhiên, xây dựng các cây riêng lẻ dựa trên các lựa chọn này.

Bài viết hướng dẫn này sẽ khám phá cách tạo Box Plot trong Matplotlib. Biểu đồ hộp được sử dụng để trực quan hóa số liệu thống kê tóm tắt của tập dữ liệu, hiển thị các thuộc tính của phân phối như phạm vi và phân phối của dữ liệu.