Confusion Matrix là gì?

Một trong những công cụ phân tích mạnh mẽ nhất trong học máy và khoa học dữ liệu là ma trận nhầm lẫn. Ma trận nhầm lẫn có khả năng cung cấp cho các nhà nghiên cứu thông tin chi tiết về cách một phân loại học máy đã thực hiện so với các lớp mục tiêu trong tập dữ liệu. Ma trận nhầm lẫn sẽ hiển thị các ví dụ đã được phân loại đúng đối với các ví dụ bị phân loại sai. Hãy cùng xem xét kỹ hơn về cách một ma trận nhầm lẫn được cấu trúc và cách nó có thể được giải thích.

Confusion Matrix là gì?

Hãy bắt đầu bằng cách đưa ra một định nghĩa đơn giản về ma trận nhầm lẫn. Ma trận nhầm lẫn là một công cụ phân tích dự đoán. Cụ thể, nó là một bảng hiển thị và so sánh các giá trị thực với các giá trị dự đoán của mô hình. Trong bối cảnh học máy, ma trận nhầm lẫn được sử dụng như một chỉ số để phân tích cách một phân loại học máy đã thực hiện trên một tập dữ liệu. Ma trận nhầm lẫn tạo ra một hình ảnh của các chỉ số như độ chính xác, độ chính xác, độ đặc hiệu và độ nhớ.

Lý do tại sao ma trận nhầm lẫn đặc biệt hữu ích là vì, không giống như các loại chỉ số phân loại khác như độ chính xác đơn giản, ma trận nhầm lẫn tạo ra một hình ảnh hoàn chỉnh hơn về cách một mô hình đã thực hiện. Chỉ sử dụng một chỉ số như độ chính xác có thể dẫn đến một tình huống mà mô hình hoàn toàn và nhất quán nhầm lẫn một lớp, nhưng nó không được chú ý vì hiệu suất trung bình là tốt. Trong khi đó, ma trận nhầm lẫn cung cấp một so sánh của các giá trị khác nhau như False Negatives, True Negatives, False Positives và True Positives.

Hãy định nghĩa các chỉ số khác nhau mà ma trận nhầm lẫn đại diện.

Recall trong Ma trận Nhầm Lẫn

Recall là số ví dụ tích cực thực sự chia cho số ví dụ âm tính giả và tổng số ví dụ tích cực. Nói cách khác, recall là đại diện cho tỷ lệ các ví dụ tích cực thực sự mà một mô hình học máy đã phân loại. Recall được biểu thị như một tỷ lệ phần trăm của các ví dụ tích cực mà mô hình có thể phân loại trong tất cả các ví dụ tích cực trong tập dữ liệu. Giá trị này cũng có thể được gọi là “tỷ lệ trúng” và một giá trị liên quan là “độ nhạy”, mô tả khả năng của recall, hoặc tốc độ dự đoán tích cực thực sự.

Độ Chính Xác trong Ma trận Nhầm Lẫn

Giống như recall, độ chính xác là một giá trị theo dõi hiệu suất của mô hình trong việc phân loại ví dụ tích cực. Không giống như recall, độ chính xác quan tâm đến việc có bao nhiêu ví dụ mà mô hình đã gắn nhãn tích cực thực sự là tích cực. Để tính toán này, số ví dụ tích cực thực sự được chia cho số ví dụ âm tính giả cộng với số ví dụ tích cực thực sự.

Để làm rõ sự khác biệt giữa recall và độ chính xác, độ chính xác nhằm mục đích xác định tỷ lệ phần trăm của tất cả các ví dụ được gắn nhãn tích cực mà thực sự là tích cực, trong khi recall theo dõi tỷ lệ phần trăm của tất cả các ví dụ tích cực thực sự mà mô hình có thể nhận ra.

Độ Đặc Hiệu trong Ma trận Nhầm Lẫn

Trong khi recall và độ chính xác là các giá trị theo dõi các ví dụ tích cực và tỷ lệ tích cực thực sự, độ đặc hiệu lượng hóa tỷ lệ âm tính thực sự hoặc số ví dụ mà mô hình đã xác định là âm tính mà thực sự là âm tính. Điều này được tính bằng cách lấy số ví dụ được phân loại là âm tính và chia cho số ví dụ âm tính giả cộng với số ví dụ âm tính thực sự.

Hiểu Ma trận Nhầm Lẫn

Ảnh: Jackverr qua Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Ví Dụ về Ma trận Nhầm Lẫn

Sau khi định nghĩa các thuật ngữ cần thiết như độ chính xác, recall, độ nhạy và độ đặc hiệu, chúng ta có thể xem xét cách các giá trị khác nhau này được thể hiện trong ma trận nhầm lẫn. Ma trận nhầm lẫn được tạo ra trong các trường hợp phân loại, áp dụng khi có hai hoặc nhiều lớp. Ma trận nhầm lẫn được tạo có thể cao và rộng như cần thiết, chứa bất kỳ số lượng lớp mong muốn, nhưng để đơn giản, chúng ta sẽ xem xét một ma trận nhầm lẫn 2×2 cho một nhiệm vụ phân loại nhị phân.

Lấy ví dụ, giả sử một phân loại được sử dụng để xác định xem một bệnh nhân có bị bệnh hay không. Các tính năng sẽ được đưa vào phân loại, và phân loại sẽ trả về một trong hai phân loại khác nhau – bệnh nhân không bị bệnh hoặc họ bị.

Hãy bắt đầu với phía bên trái của ma trận. Phía bên trái của ma trận nhầm lẫn đại diện cho các dự đoán mà phân loại đã thực hiện cho các lớp riêng lẻ. Một nhiệm vụ phân loại nhị phân sẽ có hai hàng ở đây. Về phần trên cùng của ma trận, nó theo dõi các giá trị thực, các nhãn lớp thực sự, của các trường hợp dữ liệu.

Giải thích ma trận nhầm lẫn có thể được thực hiện bằng cách kiểm tra nơi các hàng và cột giao nhau. Kiểm tra các dự đoán của mô hình so với các nhãn thực sự của mô hình. Trong trường hợp này, giá trị True Positives, số dự đoán tích cực chính xác, nằm ở góc trên bên trái. Các giá trị false positives nằm ở góc trên bên phải, nơi các ví dụ thực sự là âm tính nhưng phân loại đã gắn nhãn là tích cực.

Góc dưới bên trái của lưới hiển thị các trường hợp mà phân loại đã gắn nhãn là âm tính nhưng thực sự là tích cực. Cuối cùng, góc dưới bên phải của ma trận nhầm lẫn là nơi các giá trị True Negative được tìm thấy, hoặc nơi các ví dụ thực sự là giả.

Khi tập dữ liệu chứa hơn hai lớp, ma trận sẽ mở rộng theo số lớp đó. Ví dụ, nếu có ba lớp, ma trận sẽ là một ma trận 3×3. Bất kể kích thước của ma trận nhầm lẫn, phương pháp giải thích chúng là hoàn toàn giống nhau. Phía bên trái chứa các giá trị dự đoán và các nhãn lớp thực sự chạy trên đầu. Các trường hợp mà phân loại đã dự đoán chính xác chạy chéo từ trên bên trái đến dưới bên phải. Bằng cách nhìn vào ma trận, bạn có thể xác định bốn chỉ số dự đoán được thảo luận ở trên.

Ví dụ, bạn có thể tính recall bằng cách lấy true positives và false negatives, cộng chúng lại và chia cho số ví dụ tích cực thực sự. Trong khi đó, độ chính xác có thể được tính bằng cách kết hợp false positives với true positives, sau đó chia giá trị vào tổng số true positives.

Mặc dù bạn có thể dành thời gian để tính toán thủ công các chỉ số như độ chính xác, recall và độ đặc hiệu, những chỉ số này được sử dụng phổ biến đến mức hầu hết các thư viện học máy đều có phương thức hiển thị chúng. Ví dụ, Scikit-learn cho Python có một hàm tạo ra ma trận nhầm lẫn.