ทฤษฎีบทเบย์สคืออะไร?

หากคุณได้เรียนรู้เกี่ยวกับวิทยาศาสตร์ข้อมูลหรือการเรียนรู้ของเครื่อง ก็มีโอกาสสูงที่คุณจะเคยได้ยินเกี่ยวกับเรื่องนี้ คำศัพท์ "ทฤษฎีบทเบส์" ก่อนหน้าหรือ "ตัวแยกประเภท Bayes" แนวคิดเหล่านี้อาจทำให้เกิดความสับสน โดยเฉพาะอย่างยิ่งหากคุณไม่คุ้นเคยกับการคิดถึงความน่าจะเป็นจากมุมมองทางสถิติแบบดั้งเดิมที่ใช้บ่อย บทความนี้จะพยายามอธิบายหลักการเบื้องหลังทฤษฎีบท Bayes และวิธีการนำไปใช้ในการเรียนรู้ของเครื่อง

ทฤษฎีบทเบย์สคืออะไร?

ทฤษฎีบทเบย์เป็นวิธีการของ การคำนวณความน่าจะเป็นแบบมีเงื่อนไข. วิธีการแบบดั้งเดิมในการคำนวณความน่าจะเป็นแบบมีเงื่อนไข (ความน่าจะเป็นที่เหตุการณ์หนึ่งเกิดขึ้นเมื่อมีการเกิดเหตุการณ์ที่แตกต่างกัน) คือการใช้สูตรความน่าจะเป็นแบบมีเงื่อนไข คำนวณความน่าจะเป็นร่วมกันของเหตุการณ์ที่หนึ่งและเหตุการณ์ที่สองที่เกิดขึ้นในเวลาเดียวกัน แล้วหารมัน โดยความน่าจะเป็นของเหตุการณ์ที่สองที่เกิดขึ้น อย่างไรก็ตาม ความน่าจะเป็นแบบมีเงื่อนไขสามารถคำนวณในรูปแบบที่แตกต่างกันเล็กน้อยได้โดยใช้ทฤษฎีบทเบย์

เมื่อคำนวณความน่าจะเป็นแบบมีเงื่อนไขด้วยทฤษฎีบทเบย์ ให้ใช้ขั้นตอนต่อไปนี้:

• กำหนดความน่าจะเป็นที่เงื่อนไข B เป็นจริง โดยถือว่าเงื่อนไข A เป็นจริง
• กำหนดความน่าจะเป็นที่เหตุการณ์ A เป็นจริง
• คูณความน่าจะเป็นทั้งสองเข้าด้วยกัน
• หารด้วยความน่าจะเป็นที่เหตุการณ์ B จะเกิดขึ้น

ซึ่งหมายความว่า สูตรของ Bayes Theorem สามารถแสดงได้ดังนี้:

P(A|B) = P(B|A)*P(A) / P(B)

การคำนวณความน่าจะเป็นแบบมีเงื่อนไขเช่นนี้มีประโยชน์อย่างยิ่งเมื่อสามารถคำนวณความน่าจะเป็นแบบมีเงื่อนไขแบบย้อนกลับได้อย่างง่ายดาย หรือเมื่อคำนวณความน่าจะเป็นแบบร่วมที่มีความท้าทายเกินไป

ตัวอย่างทฤษฎีบทเบส์

สิ่งนี้อาจตีความได้ง่ายกว่าหากเราใช้เวลาพิจารณา ตัวอย่าง ว่าคุณจะใช้เหตุผลแบบเบย์และทฤษฎีบทแบบเบย์อย่างไร สมมติว่าคุณกำลังเล่นเกมง่ายๆ ที่ผู้เข้าร่วมหลายคนเล่าเรื่องราวให้คุณฟัง และคุณต้องตัดสินว่าผู้เข้าร่วมคนใดโกหกคุณ ลองเติมสมการสำหรับทฤษฎีบทเบย์ด้วยตัวแปรในสถานการณ์สมมตินี้

เรากำลังพยายามทำนายว่าแต่ละคนในเกมโกหกหรือพูดความจริง ดังนั้นหากมีผู้เล่นสามคนนอกเหนือจากคุณ ตัวแปรตามหมวดหมู่สามารถแสดงเป็น A1, A2 และ A3 หลักฐานสำหรับการโกหก/ความจริงคือพฤติกรรมของพวกเขา เช่นเดียวกับเมื่อเล่นโป๊กเกอร์ คุณจะมองหา “คำบอก” บางอย่างว่าคน ๆ หนึ่งกำลังโกหกและใช้ข้อมูลเหล่านั้นเป็นข้อมูลส่วนเล็ก ๆ เพื่อแจ้งการเดาของคุณ หรือหากคุณได้รับอนุญาตให้ซักถามพวกเขา มันก็จะเป็นหลักฐานใดๆ ที่ทำให้เรื่องราวของพวกเขาไม่ถูกรวมเข้าด้วยกัน เราสามารถแสดงหลักฐานว่าบุคคลหนึ่งโกหกเป็น B

เพื่อความชัดเจน เรากำลังตั้งเป้าที่จะทำนายความน่าจะเป็น (A กำลังโกหก/พูดความจริง|โดยได้รับหลักฐานจากพฤติกรรมของพวกเขา) ในการทำเช่นนี้เราต้องการหาความน่าจะเป็นที่ B จะได้รับ A หรือความน่าจะเป็นที่พฤติกรรมของพวกเขาจะเกิดขึ้นหากบุคคลนั้นโกหกหรือพูดความจริงอย่างแท้จริง คุณกำลังพยายามพิจารณาว่าพฤติกรรมที่คุณเห็นจะสมเหตุสมผลที่สุดภายใต้เงื่อนไขใด หากมีสามพฤติกรรมที่คุณเห็น คุณจะทำการคำนวณสำหรับแต่ละพฤติกรรม ตัวอย่างเช่น P(B1, B2, B3 * A) จากนั้นคุณจะทำสิ่งนี้ทุกครั้งที่เกิด A/สำหรับทุกคนในเกม ยกเว้นตัวคุณเอง นั่นคือส่วนหนึ่งของสมการข้างต้น:

P(B1, B2, B3,|A) * P|A

สุดท้าย เราก็แค่หารมันด้วยความน่าจะเป็นของ B

หากเราได้รับหลักฐานเกี่ยวกับความน่าจะเป็นจริงในสมการนี้ เราจะสร้างแบบจำลองความน่าจะเป็นขึ้นใหม่ โดยคำนึงถึงหลักฐานใหม่ สิ่งนี้เรียกว่าการอัปเดตข้อมูลก่อนหน้าของคุณ เมื่อคุณอัปเดตสมมติฐานของคุณเกี่ยวกับความน่าจะเป็นก่อนหน้าของเหตุการณ์ที่สังเกตได้ซึ่งเกิดขึ้น

แอปพลิเคชันการเรียนรู้ของเครื่องสำหรับทฤษฎีบทเบย์

การใช้ทฤษฎีบท Bayes ที่พบบ่อยที่สุดเมื่อพูดถึงการเรียนรู้ด้วยเครื่องจะอยู่ในรูปของอัลกอริทึม Naive Bayes

Naive Bayes ใช้สำหรับการจำแนกประเภทชุดข้อมูลทั้งแบบไบนารีและแบบหลายคลาส Naive Bayes ได้ชื่อนี้มาเนื่องจากค่าที่กำหนดให้กับพยานหลักฐาน/แอตทริบิวต์ – Bs ใน P(B1, B2, B3 * A) – ถือว่าเป็นอิสระต่อกัน ของกันและกัน สันนิษฐานว่าแอตทริบิวต์เหล่านี้ไม่มีผลกระทบซึ่งกันและกัน เพื่อทำให้โมเดลง่ายขึ้นและทำให้การคำนวณเป็นไปได้ แทนที่จะพยายามทำงานที่ซับซ้อนในการคำนวณความสัมพันธ์ระหว่างแอตทริบิวต์แต่ละรายการ แม้จะมีแบบจำลองที่เรียบง่ายนี้ แต่ Naive Bayes ก็มีแนวโน้มที่จะทำงานได้ดีในฐานะอัลกอริทึมการจัดหมวดหมู่ แม้ว่าข้อสันนิษฐานนี้อาจไม่เป็นความจริงก็ตาม (ซึ่งโดยส่วนใหญ่แล้ว)

นอกจากนี้ยังมี ตัวแปรที่ใช้กันทั่วไป ของลักษณนามว่า Naive Bayes เช่น Multinomial Naive Bayes, Bernoulli Naive Bayes และ Gaussian Naive Bayes

พหุนาม Naive Bayes อัลกอริทึมมักใช้เพื่อจำแนกเอกสาร เนื่องจากมีประสิทธิภาพในการตีความความถี่ของคำภายในเอกสาร

แบร์นูลลี นาอิฟ เบเยส ทำงานคล้ายกับ Multinomial Naive Bayes แต่การคาดคะเนที่แสดงโดยอัลกอริทึมนั้นเป็นบูลีน ซึ่งหมายความว่าเมื่อทำนายคลาส ค่าจะเป็นไบนารี ไม่ใช่ หรือใช่ ในขอบเขตของการจำแนกข้อความ อัลกอริทึม Bernoulli Naive Bayes จะกำหนดพารามิเตอร์เป็น ใช่ หรือ ไม่ใช่ ขึ้นอยู่กับว่าพบคำในเอกสารข้อความหรือไม่

หากค่าของตัวทำนาย/คุณสมบัติไม่ต่อเนื่องกัน แต่มีค่าต่อเนื่องกัน เกาส์เซียน ไร้เดียงสา เบย์ส สามารถใช้ได้. สันนิษฐานว่าค่าของคุณลักษณะต่อเนื่องได้รับการสุ่มตัวอย่างจากการแจกแจงแบบเกาส์เซียน