สิ่งที่เป็น KNN (K-Nearest Neighbors)?

สิ่งที่เป็น K-Nearest Neighbors (KNN)?

K-Nearest Neighbors เป็นเทคนิคการเรียนรู้ของเครื่องจักรและอัลกอริทึมที่ สามารถใช้สำหรับทั้งงานการถูกขยายและงานการจำแนกประเภท K-Nearest Neighbors ตรวจสอบป้ายกำกับของจำนวนจุดข้อมูลที่เลือกโดยรอบจุดข้อมูลเป้าหมาย เพื่อทำการคาดเดาเกี่ยวกับชั้นเรียนที่จุดข้อมูลนั้นอยู่ K-Nearest Neighbors (KNN) เป็นอัลกอริทึมที่เรียบง่ายแต่มีประสิทธิภาพสูง และด้วยเหตุผลเหล่านี้ จึงเป็นหนึ่งในอัลกอริทึมการเรียนรู้ของเครื่องจักรที่ได้รับความนิยมมากที่สุด มาทำความเข้าใจกันอย่างลึกซึ้งเกี่ยวกับอัลกอริทึม KNN และดูว่ามันทำงานอย่างไร การมีความเข้าใจที่ดีเกี่ยวกับวิธีการทำงานของ KNN จะช่วยให้คุณเข้าใจถึงกรณีการใช้งานที่ดีที่สุดและไม่ดีที่สุดของ KNN

ภาพรวมของ K-Nearest Neighbors (KNN)

ภาพ: Antti Ajanki AnAj via Wikimedia Commons, CC BY SA 3.0 (https://commons.wikimedia.org/wiki/File:KnnClassification.svg)

มาทำความเข้าใจกับชุดข้อมูลบนระนาบ 2 มิติ กัน Picture จุดข้อมูลหลายจุดบนกราฟที่กระจายอยู่ทั่วกราฟในกลุ่มเล็กๆ KNN ตรวจสอบการกระจายของจุดข้อมูลและขึ้นอยู่กับข้อโต้แย้งให้กับโมเดล มันจะแบ่งจุดข้อมูลออกเป็นกลุ่ม กลุ่มเหล่านี้จะถูกกำหนดให้มีป้ายกำกับ The primary assumption ที่ KNN model makes คือว่าจุดข้อมูล/ตัวอย่างที่มีอยู่ในบริเวณใกล้เคียงกันจะคล้ายคลึงกันมาก ในขณะที่หากจุดข้อมูลอยู่ห่างจากกลุ่มอื่น มันจะแตกต่างจากจุดข้อมูลเหล่านั้น

โมเดล KNN คำนวณความคล้ายคลึงโดยใช้ระยะห่างระหว่างสองจุดบนกราฟ ระยะห่างที่มากขึ้นระหว่างจุดจะทำให้คล้ายคลึงกันน้อยลง มีหลายวิธีในการคำนวณระยะห่างระหว่างจุด แต่ระยะห่างที่ใช้มากที่สุดคือ Euclidean distance (ระยะห่างระหว่างสองจุดในแนวเส้นตรง)

KNN เป็นอัลกอริทึมการเรียนรู้แบบมีคำสอน ซึ่งหมายความว่าตัวอย่างในชุดข้อมูลจะต้องมีป้ายกำกับหรือชั้นเรียนที่ทราบ มีสองสิ่งที่สำคัญที่ต้องทราบเกี่ยวกับ KNN คือ อัลกอริทึมไม่มีพารามิเตอร์ ซึ่งหมายความว่าไม่มีการตั้งค่าใดๆ เกี่ยวกับชุดข้อมูลเมื่อใช้โมเดล อัลกอริทึมถูกสร้างขึ้นจากข้อมูลที่ให้มาเท่านั้น สิ่งที่สองคือ ไม่มีการแบ่งชุดข้อมูลออกเป็นชุดฝึกและชุดทดสอบเมื่อใช้ KNN ไม่มีการสรุประหว่างชุดฝึกและชุดทดสอบ ดังนั้นข้อมูลทั้งหมดจึงถูกใช้เมื่อโมเดลถูกขอให้ทำการคาดเดา

วิธีการทำงานของอัลกอริทึม KNN

อัลกอริทึม KNN ผ่านสามขั้นตอนหลักเมื่อมันถูกดำเนินการ:

1. การตั้งค่า K เป็นจำนวนเพื่อนบ้านที่เลือก
2. การคำนวณระยะห่างระหว่างตัวอย่างที่ให้มา/ทดสอบและตัวอย่างในชุดข้อมูล
3. การเรียงลำดับระยะห่างที่คำนวณ
4. การรับป้ายกำกับของรายการ K อันดับต้นๆ
5. การคืนค่าผลคาดเดาเกี่ยวกับตัวอย่างทดสอบ

ในขั้นตอนแรก K จะถูกเลือกโดยผู้ใช้และบอกอัลกอริทึมว่าควรพิจารณาเพื่อนบ้าน (จุดข้อมูลโดยรอบ) กี่จุดเมื่อตัดสินเกี่ยวกับกลุ่มที่ตัวอย่างเป้าหมายอยู่ ในขั้นตอนที่สอง โปรดทราบว่าโมเดลตรวจสอบระยะห่างระหว่างตัวอย่างเป้าหมายและตัวอย่างทุกจุดในชุดข้อมูล ระยะห่างเหล่านั้นจะถูกบวกเข้ากับรายการและเรียงลำดับ หลังจากนั้น รายการจะถูกตรวจสอบและป้ายกำกับของรายการ K อันดับต้นๆ จะถูกคืน ในอีกคำหนึ่ง หาก K ถูกตั้งค่าเป็น 5 โมเดลจะตรวจสอบป้ายกำกับของจุดข้อมูล 5 จุดที่ใกล้กับตัวอย่างเป้าหมายมากที่สุด เมื่อคาดเดาเกี่ยวกับตัวอย่างเป้าหมาย มันจะส่งผลต่อการทำงานของโมเดลหากเป็นงานการถูกขยายหรือการจำแนกประเภท สำหรับงานการถูกขยาย ค่าเฉลี่ยของป้ายกำกับ K อันดับต้นๆ จะถูกใช้ ในขณะที่โหมดของป้ายกำกับ K อันดับต้นๆ จะถูกใช้ในการจำแนกประเภท

การดำเนินการทางคณิตศาสตร์ที่ใช้ในการดำเนินการ KNN จะแตกต่างกันไปขึ้นอยู่กับระยะห่างที่เลือก หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการคำนวณระยะห่างเหล่านี้ คุณสามารถอ่านเกี่ยวกับระยะห่างที่ใช้มากที่สุด เช่น Euclidean, Manhattan และ Minkowski

ทำไมค่าของ K จึงมีความสำคัญ

ข้อจำกัดหลักเมื่อใช้ KNN คือว่าอาจเลือกค่า K ที่ไม่เหมาะสม (จำนวนเพื่อนบ้านที่จะพิจารณา) หากเกิดขึ้น การคาดเดาที่คืนจะมีข้อผิดพลาดมาก ควรเลือกค่า K ที่เหมาะสมเมื่อใช้อัลกอริทึม KNN คุณต้องการเลือกค่า K ที่เพิ่มความสามารถของโมเดลในการคาดเดาผลลัพธ์บนข้อมูลที่ไม่เคยเห็นมาก่อน ในขณะเดียวกันก็ลดจำนวนข้อผิดพลาดที่เกิดขึ้น

ภาพ: Agor153 via Wikimedia Commons, CC BY SA 3.0 (https://en.wikipedia.org/wiki/File:Map1NN.png)

ค่า K ที่ต่ำกว่าหมายความว่าการคาดเดาที่ทำโดย KNN จะไม่มีเสถียรภาพและเชื่อถือได้น้อยกว่า เพื่อให้เข้าใจว่าทำไมจึงเป็นเช่นนั้น ลองพิจารณากรณีที่เรามีเพื่อนบ้าน 7 จุดโดยรอบจุดเป้าหมาย สมมติว่าโมเดล KNN ทำงานด้วยค่า K เท่ากับ 2 (เราขอให้มันตรวจสอบเพื่อนบ้าน 2 จุดที่ใกล้ที่สุดเพื่อคาดเดา) หากเพื่อนบ้านส่วนใหญ่ (5 ใน 7) เป็นชั้นเรียน Blue แต่เพื่อนบ้าน 2 จุดที่ใกล้ที่สุดเป็น Red โมเดลจะคาดเดาว่าตัวอย่างเป้าหมายเป็น Red แม้ว่าในสถานการณ์เช่นนี้ Blue จะเป็นคาดเดาที่ดีกว่า

หากเป็นเช่นนี้ ทำไมไม่เลือกค่า K ที่สูงที่สุดเท่าที่จะเป็นไปได้? เนื่องจากการบอกโมเดลให้พิจารณาเพื่อนบ้านมากเกินไปจะลดความแม่นยำลงด้วย เมื่อโมเดล KNN พิจารณาเพื่อนบ้านที่อยู่ห่างออกไปมากขึ้น มันจะเริ่มพิจารณาจุดข้อมูลที่ใกล้กับกลุ่มอื่นมากกว่าจุดเป้าหมาย และจะเกิดการจำแนกประเภทที่ไม่ถูกต้อง เมื่อใช้โมเดล KNN ค่า K ที่แตกต่างกันจะถูกทดสอบเพื่อดูว่าค่าใดให้ผลลัพธ์ที่ดีที่สุด

ข้อดีและข้อเสียของ KNN

มาทำความเข้าใจกับข้อดีและข้อเสียของโมเดล KNN

ข้อดี:

KNN สามารถใช้สำหรับทั้งงานการถูกขยายและงานการจำแนกประเภท ไม่เหมือนกับอัลกอริทึมการเรียนรู้แบบมีคำสอนอื่นๆ

KNN มีความแม่นยำสูงและใช้งานง่าย มันง่ายต่อการทำความเข้าใจและตีความ

KNN ไม่ตั้งสมมติฐานใดๆ เกี่ยวกับข้อมูล ซึ่งหมายความว่าสามารถใช้ได้กับปัญหาหลายประเภท

ข้อเสีย:

KNN จัดเก็บข้อมูลส่วนใหญ่หรือทั้งหมด ซึ่งหมายความว่าโมเดลต้องการหน่วยความจำมากและใช้เวลาคำนวณมาก ชุดข้อมูลขนาดใหญ่ยังสามารถทำให้การคาดเดาใช้เวลานาน

KNN มีความไวต่อขนาดของชุดข้อมูลและสามารถถูกขัดขวางได้ง่ายโดยคุณลักษณะที่ไม่เกี่ยวข้องเมื่อเทียบกับโมเดลอื่นๆ

สรุปของ K-Nearest Neighbors (KNN)

K-Nearest Neighbors เป็นอัลกอริทึมการเรียนรู้ของเครื่องจักรที่เรียบง่ายที่สุด แม้ว่าอัลกอริทึม KNN จะเรียบง่าย แต่ก็มีประสิทธิภาพสูงและให้ผลลัพธ์ที่แม่นยำสูงในหลายปัญหา เมื่อใช้ KNN ควรทดลองค่า K ที่แตกต่างกันเพื่อหาค่าที่ให้ผลลัพธ์ที่ดีที่สุด