Bayes Định Lý Là Gì?

Nếu bạn đã từng học về khoa học dữ liệu hoặc học máy, có thể bạn đã nghe về thuật ngữ “Bayes Định Lý” trước đây, hoặc một “phân loại器 Bayes”. Những khái niệm này có thể khá khó hiểu, đặc biệt nếu bạn không quen với việc suy nghĩ về xác suất từ góc độ thống kê truyền thống. Bài viết này sẽ cố gắng giải thích các nguyên tắc đằng sau Bayes Định Lý và cách nó được sử dụng trong học máy.

Bayes Định Lý Là Gì?

Bayes Định Lý là một phương pháp để tính toán xác suất có điều kiện. Phương pháp truyền thống để tính toán xác suất có điều kiện (xác suất của một sự kiện xảy ra khi một sự kiện khác xảy ra) là sử dụng công thức xác suất có điều kiện, tính toán xác suất chung của sự kiện một và sự kiện hai xảy ra cùng lúc, và sau đó chia nó cho xác suất của sự kiện hai xảy ra. Tuy nhiên, xác suất có điều kiện cũng có thể được tính toán theo một cách khác bằng cách sử dụng Bayes Định Lý.

Khi tính toán xác suất có điều kiện với Bayes định lý, bạn sử dụng các bước sau:

• Xác định xác suất của điều kiện B là đúng, giả sử rằng điều kiện A là đúng.
• Xác định xác suất của sự kiện A là đúng.
• Nhân hai xác suất này lại với nhau.
• Chia cho xác suất của sự kiện B xảy ra.

Điều này có nghĩa là công thức cho Bayes Định Lý có thể được biểu diễn như sau:

P(A|B) = P(B|A)*P(A) / P(B)

Tính toán xác suất có điều kiện như này đặc biệt hữu ích khi xác suất có điều kiện ngược lại có thể được tính toán dễ dàng, hoặc khi tính toán xác suất chung sẽ quá khó khăn.

Ví Dụ Về Bayes Định Lý

Điều này có thể dễ hiểu hơn nếu chúng ta dành thời gian để xem xét một ví dụ về cách bạn sẽ áp dụng lý lẽ Bayes và Bayes Định Lý. Hãy giả sử bạn đang chơi một trò chơi đơn giản nơi nhiều người tham gia kể cho bạn một câu chuyện và bạn phải xác định người nào trong số họ đang nói dối với bạn. Hãy điền vào phương trình cho Bayes Định Lý với các biến trong tình huống giả định này.

Chúng ta đang cố gắng dự đoán xem mỗi người trong trò chơi có đang nói dối hay nói thật, vì vậy nếu có ba người chơi khác ngoài bạn, các biến thể loại có thể được biểu diễn là A1, A2 và A3. Bằng chứng về việc họ nói dối/thật là hành vi của họ. Giống như khi chơi poker, bạn sẽ tìm kiếm các “dấu hiệu” rằng một người đang nói dối và sử dụng những thông tin đó để thông báo cho dự đoán của bạn. Hoặc nếu bạn được phép hỏi họ, đó sẽ là bất kỳ bằng chứng nào mà câu chuyện của họ không khớp. Chúng ta có thể biểu diễn bằng chứng rằng một người đang nói dối như B.

Để rõ ràng, chúng ta đang cố gắng dự đoán Xác Suất(A nói dối/nói thật|cho trước bằng chứng về hành vi của họ). Để làm điều này, chúng ta muốn tìm ra xác suất của B cho trước A, hoặc xác suất rằng hành vi của họ sẽ xảy ra cho trước khi người đó thực sự nói dối hoặc nói thật. Bạn đang cố gắng xác định dưới những điều kiện nào hành vi bạn đang thấy sẽ có ý nghĩa nhất. Nếu có ba hành vi bạn đang chứng kiến, bạn sẽ thực hiện tính toán cho mỗi hành vi. Ví dụ, P(B1, B2, B3 * A). Bạn sẽ làm điều này cho mọi lần xuất hiện của A/cho mọi người trong trò chơi ngoài bạn. Đó là phần này của phương trình trên:

P(B1, B2, B3,|A) * P|A

Cuối cùng, chúng ta chỉ cần chia nó cho xác suất của B.

Nếu chúng ta nhận được bất kỳ bằng chứng nào về các xác suất thực sự trong phương trình này, chúng ta sẽ tạo lại mô hình xác suất của mình, tính đến bằng chứng mới. Điều này được gọi là cập nhật các giả định trước, khi bạn cập nhật các giả định của mình về xác suất trước của các sự kiện được quan sát.

Ứng Dụng Học Máy Của Bayes Định Lý

Sử dụng phổ biến nhất của Bayes định lý khi nói đến học máy là dưới dạng thuật toán Naive Bayes.

Naive Bayes được sử dụng để phân loại cả tập dữ liệu nhị phân và đa lớp, Naive Bayes có tên như vậy vì các giá trị được gán cho bằng chứng của các nhân chứng/tính năng – Bs trong P(B1, B2, B3 * A) – được giả định là độc lập với nhau. Giả định rằng những thuộc tính này không ảnh hưởng đến nhau để đơn giản hóa mô hình và làm cho tính toán có thể, thay vì cố gắng tính toán các mối quan hệ giữa từng thuộc tính. Mặc dù mô hình đơn giản hóa này, Naive Bayes thường hoạt động khá tốt như một thuật toán phân loại, ngay cả khi giả định này có thể không đúng (điều này xảy ra hầu hết thời gian).

Cũng có các biến thể của phân loại器 Naive Bayes như Multinomial Naive Bayes, Bernoulli Naive Bayes và Gaussian Naive Bayes.

Multinomial Naive Bayes thường được sử dụng để phân loại tài liệu, vì nó hiệu quả trong việc giải thích tần suất của các từ trong một tài liệu.

Bernoulli Naive Bayes hoạt động tương tự như Multinomial Naive Bayes, nhưng các dự đoán được tạo ra bởi thuật toán là các giá trị boolean. Điều này có nghĩa là khi dự đoán một lớp, các giá trị sẽ là nhị phân, không hoặc có. Trong lĩnh vực phân loại văn bản, một thuật toán Bernoulli Naive Bayes sẽ gán các tham số một giá trị không hoặc có dựa trên việc một từ có được tìm thấy trong tài liệu văn bản hay không.

Nếu giá trị của các dự đoán/tính năng không phải là rời rạc mà là liên tục, Gaussian Naive Bayes có thể được sử dụng. Giả định rằng các giá trị của các tính năng liên tục đã được lấy mẫu từ một phân phối gaussian.