Định lý Bayes là gì?

Định lý Bayes mô tả cách cập nhật xác suất của một giả thuyết sau khi quan sát bằng chứng. Nó liên kết xác suất của bằng chứng khi có giả thuyết với xác suất của giả thuyết khi có bằng chứng đó.

Sự khác biệt này là trung tâm của lập luận thống kê và học máy. Một xét nghiệm có thể rất chính xác khi một bệnh tồn tại, trong khi kết quả dương tính vẫn có xác suất khiêm tốn chỉ ra bệnh nếu bệnh hiếm gặp.

Các điểm chính

• Phân phối hậu nghiệm kết hợp niềm tin tiên nghiệm với khả năng của bằng chứng quan sát được.
• Thuật ngữ bằng chứng chuẩn hoá các giả thuyết có thể.
• Tỷ lệ cơ bản có thể chi phối bằng chứng dường như mạnh mẽ.
• Naive Bayes giả định các đặc trưng độc lập có điều kiện khi biết lớp, không phải độc lập trong mọi hoàn cảnh.

Công thức

P(A|B) = P(B|A)P(A) / P(B)

• P(A) là xác suất tiên nghiệm của giả thuyết A.
• P(B|A) là khả năng quan sát bằng chứng B nếu A đúng.
• P(B) là xác suất tổng thể của bằng chứng.
• P(A|B) là xác suất hậu nghiệm của A sau khi quan sát B.

Định lý xuất phát từ hai biểu thức tương đương cho xác suất chung: P(A ∩ B) = P(B|A)P(A) và P(A ∩ B) = P(A|B)P(B).

Ví dụ số liệu về tỷ lệ cơ bản

Giả sử một bệnh ảnh hưởng tới 1% dân số. Một xét nghiệm có độ nhạy 90% và tỷ lệ dương tính giả 5%. Xét 1.000 người:

• Khoảng 10 người có bệnh; xét nghiệm đúng phát hiện 9 người.
• Khoảng 990 người không có; tỷ lệ dương tính giả 5% sẽ phát hiện sai khoảng 50 người.
• Do đó có khoảng 59 kết quả dương tính, trong đó 9 là dương tính thật.

Xác suất có bệnh sau một kết quả dương tính khoảng 9 / 59 ≈ 15%, không phải 90%. Độ nhạy của xét nghiệm trả lời P(positive | condition); người dùng thường muốn P(condition | positive). Định lý Bayes liên kết chúng bằng cách sử dụng tỷ lệ cơ bản.

Cập nhật Bayesian

Khi bằng chứng mới xuất hiện, phân phối hậu nghiệm có thể trở thành phân phối tiên nghiệm cho lần cập nhật tiếp theo. Một mô hình Bayesian đầy đủ xác định các giả thuyết có thể, các phân phối tiên nghiệm, một khả năng (likelihood), và đại lượng cần suy luận. Sự không chắc chắn được biểu diễn bằng một phân phối hậu nghiệm thay vì chỉ một ước lượng điểm.

Tiên nghiệm nên được ghi chép và kiểm tra độ nhạy. Tiên nghiệm yếu thông tin có thể chuẩn hoá các giá trị không hợp lý, trong khi tiên nghiệm mạnh được lựa chọn kém có thể chi phối dữ liệu hạn chế.

Bộ phân loại Naive Bayes

Naive Bayes dự đoán một lớp y từ các đặc trưng x₁ … xₙ bằng cách sử dụng định lý Bayes và giả định:

P(x₁, …, xₙ | y) = Π P(xᵢ | y)

Các đặc trưng được giả định là độc lập có điều kiện khi đã biết lớp. Điều này thường không thực tế, tuy nhiên bộ phân loại vẫn có thể hoạt động tốt khi các điểm lớp thu được vẫn hữu ích.

Các biến thể phổ biến

• Multinomial Naive Bayes mô hình hoá các đặc trưng dạng đếm và thường dùng trong phân loại tài liệu.
• Bernoulli Naive Bayes mô hình hoá sự hiện diện nhị phân của đặc trưng.
• Gaussian Naive Bayes mô hình hoá mỗi đặc trưng liên tục bằng một phân phối Gaussian có điều kiện theo lớp.
• Categorical Naive Bayes mô hình hoá các danh mục rời rạc.

Làm mịn và ổn định số học

Nếu một giá trị đặc trưng không bao giờ xuất hiện cùng một lớp trong quá trình huấn luyện, ước lượng xác suất chưa được làm mịn có thể trở thành 0 và loại bỏ toàn bộ tích. Phương pháp làm mịn cộng thêm hoặc kiểu Laplace ngăn điều này. Các triển khai tính toán log xác suất để việc nhân nhiều giá trị nhỏ trở thành cộng các giá trị log ổn định.

Xác suất, điểm số và hiệu chuẩn

Các đầu ra xác suất của Naive Bayes có thể được hiệu chuẩn kém vì các đặc trưng tương quan bị tính nhiều hơn một lần. Một bộ phân loại có thể xếp hạng các lớp tốt nhưng lại phóng đại độ tin cậy. Hiệu chuẩn nên được đánh giá trên dữ liệu giữ lại khi các xác suất quyết định hành động.

Bayes vượt ra ngoài Naive Bayes

Suy luận Bayesian hỗ trợ các mô hình phân cấp, thử nghiệm A/B, ước lượng tham số khoa học, dự báo, quyết định có nhận thức về bất định, và các mô hình đồ thị xác suất. Các phương pháp xấp xỉ như Markov chain Monte Carlo và suy luận biến đổi được sử dụng khi phân phối hậu nghiệm không thể tính được dưới dạng đóng.

Những sai lầm phổ biến trong lập luận

• Lẫn lộn P(A|B) với P(B|A).
• Bỏ qua tỷ lệ cơ bản hiếm hoặc phổ biến.
• Đối xử với tiên nghiệm như khách quan hoặc không ghi chép.
• Giả định khả năng cao (likelihood) tự động dẫn đến hậu nghiệm cao.
• Diễn giải một mối liên hệ dự đoán như là nguyên nhân.

Xác suất có điều kiện, tỉ lệ cược và bằng chứng

Định lý Bayes liên kết xác suất của một giả thuyết sau khi có bằng chứng với xác suất tiên nghiệm của nó, khả năng quan sát bằng chứng đó dưới giả thuyết, và tổng xác suất của bằng chứng. Dưới dạng tỉ lệ cược, tỉ lệ hậu nghiệm bằng tỉ lệ tiên nghiệm nhân với tỉ lệ khả năng. Điều này tách biệt những gì được tin trước khi xét nghiệm với mức độ mà xét nghiệm phân biệt các giả thuyết. Một xét nghiệm có vẻ rất chính xác vẫn có thể tạo ra nhiều dương tính giả khi bệnh hiếm vì tỷ lệ cơ bản ảnh hưởng đến hậu nghiệm.

Khả năng (likelihood) là một hàm của giả thuyết cho dữ liệu quan sát cố định và không nên nhầm lẫn với xác suất của giả thuyết. Chuẩn hoá bằng chứng thực hiện tổng hoặc tích phân trên các giả thuyết cạnh tranh. Các giả định độc lập có điều kiện có thể đơn giản hoá tính toán, như trong Naive Bayes, nhưng phải được kiểm tra với hậu quả. Nhiều bằng chứng không thể nhân như độc lập khi chúng chia sẻ nguyên nhân hoặc trùng lặp thông tin. Hướng nhân quả cũng quan trọng: P(bằng chứng|giả thuyết) không đồng nghĩa với P(giả thuyết|bằng chứng), lỗi nghịch đảo xác suất cổ điển.

Lựa chọn mô hình, tính toán và việc sử dụng trong quyết định

Phân tích Bayesian xác định một tiên nghiệm, khả năng và phân phối dự đoán hậu nghiệm. Tiên nghiệm có thể mã hoá kiến thức đã có, chuẩn hoá mẫu nhỏ, hoặc yếu thông tin; chúng cần được biện minh và kiểm tra qua phân tích độ nhạy. Các mô hình liên hợp cung cấp cập nhật phân tích, trong khi Markov chain Monte Carlo, suy luận biến đổi và các phương pháp tuần tự xấp xỉ các hậu nghiệm phức tạp. Hãy chẩn đoán hội tụ, kích thước mẫu hiệu quả, lỗi xấp xỉ và tính khả thi của tiên nghiệm dự đoán thay vì báo cáo một con số hậu nghiệm mà không kiểm tra tính toán.

Xác suất hậu nghiệm cung cấp thông tin nhưng không tự động quyết định hành động. Quyết định đòi hỏi các tổn thất, lợi ích, ràng buộc và các lựa chọn khả dụng. Đánh giá các mô hình xác suất bằng hiệu chuẩn, quy tắc chấm điểm thích hợp và kiểm tra dự đoán hậu nghiệm trên dữ liệu mới. Chỉ cập nhật với bằng chứng thu thập dưới quy trình mô hình hoá; thiên lệch lựa chọn và dịch chuyển dữ liệu có thể làm mất hiệu lực của khả năng. Truyền đạt khoảng tin cậy và giả định mà không coi chúng là phạm vi tần suất đảm bảo. Định lý Bayes là đại số xác suất chính xác, trong khi chất lượng của kết luận Bayesian phụ thuộc vào mô hình và bằng chứng cung cấp.

Ví dụ thực tế: giải thích một xét nghiệm chẩn đoán

Một xét nghiệm có độ nhạy 95% và độ đặc hiệu 90%, nhưng bệnh chỉ ảnh hưởng tới 1% dân số được sàng lọc. Đối với 10.000 người, dự kiến có khoảng 95 dương tính thật và 990 dương tính giả, dẫn đến giá trị dự đoán dương tính dưới 9%. Định lý Bayes làm rõ hiệu ứng tỷ lệ cơ bản. Phép tính này nêu rõ dân số, ngưỡng xét nghiệm và bất định thay vì quảng cáo độ nhạy như là khả năng kết quả dương tính đúng. Sự khác biệt này cũng là nền tảng của khoa học dữ liệu cẩn thận.

Các bác sĩ chỉ cập nhật xác suất với bằng chứng bổ sung khi mô hình hoá sự phụ thuộc giữa các xét nghiệm. Ngưỡng quyết định bao gồm thiệt hại của bệnh bỏ lỡ, rủi ro của xét nghiệm xác nhận, chi phí và sở thích của bệnh nhân. Hiệu chuẩn được kiểm tra trong dân số địa phương, và sự thay đổi tỉ lệ mắc bệnh kích hoạt việc xem xét lại. Phân phối hậu nghiệm hỗ trợ thảo luận và các bước tiếp theo; nó không thay thế chẩn đoán xác nhận. Báo cáo sử dụng tần suất tự nhiên và phân tích độ nhạy để bệnh nhân và nhà thực hành có thể thấy cách kết luận thay đổi dưới các giả định hợp lý.

Bằng chứng triển khai và sẵn sàng vận hành

Quyết định triển khai cần nhiều hơn một buổi trình diễn thành công. Xác định người dùng mục tiêu, môi trường vận hành, đầu vào, đầu ra, phụ thuộc, người sở hữu và hậu quả của mỗi lỗi quan trọng. Thiết lập một chuẩn cơ bản có thể tái tạo và một bộ đánh giá có phiên bản trước khi tinh chỉnh. Kiểm tra các trường hợp thường, điều kiện biên, đầu vào sai định dạng hoặc thiếu, dịch chuyển phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị thiếu hỗ trợ. Đo lường chất lượng nhiệm vụ cùng với hiệu chuẩn hoặc bất định, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi chuyển đổi và ngưỡng để người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một nguyên mẫu hấp dẫn.

Trước khi ra mắt, chỉ định quyền chịu trách nhiệm cho việc phát hành, ngoại lệ, thay đổi, quay lại và ngừng sử dụng. Sử dụng triển khai theo giai đoạn, duy trì dự phòng an toàn, và xác minh giám sát bằng các lỗi được chèn cố ý. Dữ liệu đo lường vận hành nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, tình trạng phụ thuộc, can thiệp của con người, và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Định nghĩa ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau khi triển khai thay vì giả định hiệu năng ngoại tuyến sẽ kéo dài. Đánh giá lại mỗi khi nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần có tài liệu phục hồi, học hỏi từ sự cố, quy trình xóa và lưu trữ, và một điểm rõ ràng khi nó nên bị vô hiệu hoá hoặc thay thế.

Câu hỏi thường gặp

Sự khác biệt giữa khả năng (likelihood) và xác suất là gì?

Khi các tham số cố định, mô hình gán xác suất cho dữ liệu có thể. Khi dữ liệu quan sát được cố định, cùng một biểu thức có thể được xem như một hàm khả năng đối với các giá trị tham số có thể. Công thức số học có thể giống nhau trong khi cách diễn giải khác nhau.

Naive Bayes có phải là suy luận Bayesian đầy đủ không?

Nó sử dụng định lý Bayes cho việc phân loại dưới một mô hình độc lập có điều kiện mạnh. Suy luận Bayesian rộng hơn đặt các phân phối lên các đại lượng chưa biết và suy nghĩ dựa trên một phân phối hậu nghiệm.

Tài liệu tham khảo chính

• scikit-learn: Naive Bayes
• NIST/SEMATECH: Phân phối xác suất và xác suất có điều kiện