ความไม่สมดุลของคลาสคืออะไร? เหตุใดความแม่นยำจึงอาจทำให้เข้าใจผิด

ความไม่สมดุลของคลาสเกิดขึ้นเมื่อคลาสเป้าหมายหนึ่งมีจำนวนน้อยกว่าอีกคลาสมาก จนตัวชี้วัดโดยรวมและการฝึกแบบมาตรฐานอาจละเลยกรณีที่สำคัญที่สุด

ความไม่สมดุลของคลาสควรได้รับคำอธิบายที่ชัดเจน เพราะชื่อนี้ระบุถึงการไหลของข้อมูล การเลือกวิธีฝึก กลไกขณะทำงาน หรือขอบเขตด้านการกำกับดูแลอย่างใดอย่างหนึ่งโดยเฉพาะ การใช้คำนี้แทนคำว่า “AI ขั้นสูง” ทำให้ไม่สามารถทดสอบข้อกล่าวอ้างได้ คู่มือนี้จะอธิบายแนวคิดตั้งแต่ข้อมูลนำเข้าและข้อสมมติ ไปจนถึงผลลัพธ์ที่สังเกตได้ จากนั้นจะตรวจสอบทางลัดที่มีแนวโน้มถูกเข้าใจผิดว่าเป็นแนวคิดนี้มากที่สุด

ความไม่สมดุลของคลาสเป้าหมาย: นิยาม ขอบเขต และจุดประสงค์

ความไม่สมดุลของคลาสเกิดขึ้นเมื่อคลาสเป้าหมายหนึ่งมีจำนวนน้อยกว่าอีกคลาสมาก จนตัวชี้วัดโดยรวมและการฝึกแบบมาตรฐานอาจละเลยกรณีที่สำคัญที่สุด นิยามนี้มีองค์ประกอบเชิงปฏิบัติอยู่สามประการ ได้แก่ ข้อมูลนำเข้าที่ระบุได้ การแปลงข้อมูลหรือการตัดสินใจที่เป็นลักษณะเฉพาะของความไม่สมดุลของคลาส และผลลัพธ์ที่ประเมินเทียบกับวัตถุประสงค์ที่ระบุไว้ได้ หากขาดองค์ประกอบข้อใดข้อหนึ่ง คำนี้อาจหมายถึงเพียงสิ่งที่มุ่งหวัง มากกว่าจะเป็นกลไกที่นำมาใช้จริง

การเรียนรู้เชิงสถิตินำตัวอย่างข้อมูลที่มีจำนวนจำกัดมาใช้สร้างข้อสรุปเกี่ยวกับข้อมูลในอนาคต ดังนั้น การแบ่งชุดข้อมูล การหาค่าเหมาะที่สุด การทำให้เป็นปกติ ตัวชี้วัด และการติดตามผล จึงเป็นส่วนหนึ่งของปัญหาการทำให้แบบจำลองใช้ได้กับข้อมูลใหม่ ไม่ใช่เทคนิคจากตำราที่แยกขาดจากกัน สำหรับความไม่สมดุลของคลาส มุมมองเชิงระบบนี้สำคัญ เพราะประสิทธิภาพอาจขึ้นอยู่กับข้อมูลแวดล้อม ส่วนติดต่อ ฮาร์ดแวร์ สิทธิ์การเข้าถึง และผู้คน แม้แบบจำลองพื้นฐานจะไม่เปลี่ยนแปลงก็ตาม ดังนั้น คำอธิบายที่เป็นประโยชน์จึงแยกพฤติกรรมที่แบบจำลองเรียนรู้มาออกจากผลิตภัณฑ์ที่กำหนดว่าจะใช้พฤติกรรมนั้นเมื่อใด ที่ไหน และด้วยอำนาจในระดับใด

ทางลัดที่ชวนให้เข้าใจผิดและใกล้เคียงที่สุดคือการใช้ชุดข้อมูลที่มีสัดส่วนสมดุลสำหรับการเรียนการสอน ซึ่งไม่ตรงกับความชุกที่พบจริง แม้ชุดข้อมูลดังกล่าวอาจมีลักษณะบางอย่างที่มองเห็นได้ร่วมกับความไม่สมดุลของคลาส แต่ก็ทำให้คำอธิบายเชิงเหตุและผลเปลี่ยนไป กล่าวคือ ต้องใช้หลักฐานคนละแบบในการยืนยันความสำเร็จ ทรัพยากรคนละประเภทจะเป็นตัวกำหนดต้นทุน และต้องใช้มาตรการควบคุมคนละอย่างเพื่อป้องกันอันตราย ดังนั้น ขอบเขตนี้จึงเป็นเรื่องของการปฏิบัติงาน ไม่ใช่เรื่องของถ้อยคำ

แผนผังการทำงานของความไม่สมดุลของคลาสเป้าหมายในห้าขั้นตอน

แผนภาพนี้เป็นแผนผังเหตุและผลแบบย่อของความไม่สมดุลของคลาส ไม่ได้หมายความว่าการนำไปใช้ทุกแบบต้องมีองค์ประกอบซอฟต์แวร์ห้าส่วน บางระบบรวมหลายขั้นตอนไว้ด้วยกัน ขณะที่บางระบบทำขั้นตอนเหล่านี้ซ้ำเป็นวงจร แผนผังนี้ยังมีประโยชน์ เพราะกำหนดให้ทุกการเปลี่ยนแปลงด้านข้อมูลหรืออำนาจต้องมีผู้รับผิดชอบ ข้อมูลนำเข้า ผลลัพธ์ และวิธีทดสอบ

1. วัดความชุกในประชากรที่ใช้งานจริง: ข้อมูลนำเข้าและข้อสมมติของความไม่สมดุลของคลาสเป้าหมาย

ในขั้นตอนนี้ของการจัดการความไม่สมดุลของคลาส ระบบต้องวัดความชุกในประชากรที่ใช้งานจริง คำถามที่เป็นประโยชน์ไม่ใช่แค่มีการดำเนินการดังกล่าวหรือไม่ แต่ยังรวมถึงข้อมูลใดที่นำมาใช้ มีการเปลี่ยนสถานะใด และมีหลักฐานอะไรยืนยันว่าการเปลี่ยนแปลงนั้นถูกต้อง ผู้ตรวจสอบควรแยกการดำเนินการนี้ออกจากการใช้ชุดข้อมูลที่มีสัดส่วนสมดุลสำหรับการเรียนการสอน ซึ่งไม่ตรงกับความชุกที่พบจริง และทำซ้ำผลลัพธ์ได้ภายใต้เงื่อนไขเดียวกันตามที่ระบุไว้

การส่งต่องานเข้าสู่ขั้นตอนนี้ของความไม่สมดุลของคลาสเริ่มจากวัตถุประสงค์ที่ระบุไว้ และควรสิ้นสุดด้วยผลลัพธ์ที่นำไปใช้สนับสนุนการแบ่งชุดข้อมูลโดยจัดสัดส่วนให้เหมาะสมโดยไม่ให้ระเบียนที่เกี่ยวข้องรั่วไหลได้ ให้บันทึกความไม่แน่นอน ทางเลือกที่ปฏิเสธไป การใช้ทรัพยากร และการควบคุมใด ๆ ที่มนุษย์หรือซอฟต์แวร์ใช้ ณ จุดส่งต่อ บันทึกดังกล่าวช่วยให้ทีมตรวจพบได้ว่าระบบสามารถมีความแม่นยำสูงด้วยการละเลยคลาสที่พบได้น้อยทั้งหมดหรือไม่ ก่อนที่จุดอ่อนเดียวกันนี้จะส่งผลต่อผลลัพธ์ที่มีนัยสำคัญ

2. แบ่งชุดข้อมูลโดยจัดสัดส่วนให้เหมาะสมโดยไม่ให้ระเบียนที่เกี่ยวข้องรั่วไหล: การนำเสนอข้อมูลหรือการตัดสินใจในความไม่สมดุลของคลาสเป้าหมาย

ในขั้นตอนนี้ของการจัดการความไม่สมดุลของคลาส ระบบต้องแบ่งชุดข้อมูลโดยจัดสัดส่วนให้เหมาะสมโดยไม่ให้ระเบียนที่เกี่ยวข้องรั่วไหล คำถามที่เป็นประโยชน์ไม่ใช่แค่มีการดำเนินการดังกล่าวหรือไม่ แต่ยังรวมถึงข้อมูลใดที่นำมาใช้ มีการเปลี่ยนสถานะใด และมีหลักฐานอะไรยืนยันว่าการเปลี่ยนแปลงนั้นถูกต้อง ผู้ตรวจสอบควรแยกการดำเนินการนี้ออกจากการใช้ชุดข้อมูลที่มีสัดส่วนสมดุลสำหรับการเรียนการสอน ซึ่งไม่ตรงกับความชุกที่พบจริง และทำซ้ำผลลัพธ์ได้ภายใต้เงื่อนไขเดียวกันตามที่ระบุไว้

การส่งต่องานเข้าสู่ขั้นตอนความไม่สมดุลของคลาสนี้เริ่มจากการวัดสัดส่วนการเกิดในประชากรที่ใช้งานจริง และควรจบลงด้วยผลลัพธ์ที่ช่วยให้เลือกตัวชี้วัดและเกณฑ์ตัดสินที่คำนึงถึงความไม่สมดุลได้ ให้บันทึกความไม่แน่นอน ทางเลือกที่ถูกปฏิเสธ การใช้ทรัพยากร และการควบคุมใด ๆ โดยมนุษย์หรือซอฟต์แวร์ที่ใช้ ณ จุดส่งต่อ ร่องรอยดังกล่าวช่วยให้ทีมตรวจพบได้ว่าค่าความแม่นยำสูงเกิดจากการเพิกเฉยต่อคลาสที่พบได้น้อยโดยสิ้นเชิงหรือไม่ ก่อนที่จุดอ่อนเดียวกันนี้จะส่งผลต่อผลลัพธ์ที่มีนัยสำคัญ

3. เลือกตัวชี้วัดและเกณฑ์ตัดสินที่คำนึงถึงความไม่สมดุล: การแปลงข้อมูลที่โดดเด่นในความไม่สมดุลของเป้าหมาย

ในขั้นตอนนี้ของความไม่สมดุลของคลาส ระบบต้องเลือกตัวชี้วัดและเกณฑ์ตัดสินที่คำนึงถึงความไม่สมดุล คำถามสำคัญไม่ได้มีเพียงว่ามีการดำเนินการดังกล่าวหรือไม่ แต่ยังรวมถึงการดำเนินการนั้นใช้ข้อมูลใด เปลี่ยนแปลงสถานะใด และมีหลักฐานอะไรยืนยันว่าการเปลี่ยนแปลงนั้นถูกต้อง ผู้ตรวจสอบควรแยกแยะการดำเนินการนี้ออกจากชุดข้อมูลตัวอย่างในห้องเรียนที่มีความสมดุลแต่ไม่ตรงกับสัดส่วนที่เกิดขึ้นจริง และทำซ้ำผลลัพธ์ได้ภายใต้เงื่อนไขที่ระบุไว้เดียวกัน

การส่งต่องานเข้าสู่ขั้นตอนความไม่สมดุลของคลาสนี้เริ่มจากการแบ่งชุดข้อมูลแบบแบ่งชั้นโดยไม่ให้ระเบียนที่เกี่ยวข้องรั่วไหล และควรจบลงด้วยผลลัพธ์ที่ช่วยให้ปรับน้ำหนัก ปรับจำนวนตัวอย่าง หรือออกแบบการเก็บข้อมูลใหม่ได้ ให้บันทึกความไม่แน่นอน ทางเลือกที่ถูกปฏิเสธ การใช้ทรัพยากร และการควบคุมใด ๆ โดยมนุษย์หรือซอฟต์แวร์ที่ใช้ ณ จุดส่งต่อ ร่องรอยดังกล่าวช่วยให้ทีมตรวจพบได้ว่าค่าความแม่นยำสูงเกิดจากการเพิกเฉยต่อคลาสที่พบได้น้อยโดยสิ้นเชิงหรือไม่ ก่อนที่จุดอ่อนเดียวกันนี้จะส่งผลต่อผลลัพธ์ที่มีนัยสำคัญ

4. ปรับน้ำหนัก ปรับจำนวนตัวอย่าง หรือออกแบบการเก็บข้อมูลใหม่: ข้อจำกัดและขอบเขตการตรวจสอบยืนยันในความไม่สมดุลของเป้าหมาย

ในขั้นตอนนี้ของความไม่สมดุลของคลาส ระบบต้องปรับน้ำหนัก ปรับจำนวนตัวอย่าง หรือออกแบบการเก็บข้อมูลใหม่ คำถามสำคัญไม่ได้มีเพียงว่ามีการดำเนินการดังกล่าวหรือไม่ แต่ยังรวมถึงการดำเนินการนั้นใช้ข้อมูลใด เปลี่ยนแปลงสถานะใด และมีหลักฐานอะไรยืนยันว่าการเปลี่ยนแปลงนั้นถูกต้อง ผู้ตรวจสอบควรแยกแยะการดำเนินการนี้ออกจากชุดข้อมูลตัวอย่างในห้องเรียนที่มีความสมดุลแต่ไม่ตรงกับสัดส่วนที่เกิดขึ้นจริง และทำซ้ำผลลัพธ์ได้ภายใต้เงื่อนไขที่ระบุไว้เดียวกัน

การส่งต่องานเข้าสู่ขั้นตอนความไม่สมดุลของคลาสนี้เริ่มจากการเลือกตัวชี้วัดและเกณฑ์ตัดสินที่คำนึงถึงความไม่สมดุล และควรจบลงด้วยผลลัพธ์ที่ช่วยให้ติดตามประสิทธิภาพของกลุ่มส่วนน้อยหลังนำระบบไปใช้งานได้ ให้บันทึกความไม่แน่นอน ทางเลือกที่ถูกปฏิเสธ การใช้ทรัพยากร และการควบคุมใด ๆ โดยมนุษย์หรือซอฟต์แวร์ที่ใช้ ณ จุดส่งต่อ ร่องรอยดังกล่าวช่วยให้ทีมตรวจพบได้ว่าค่าความแม่นยำสูงเกิดจากการเพิกเฉยต่อคลาสที่พบได้น้อยโดยสิ้นเชิงหรือไม่ ก่อนที่จุดอ่อนเดียวกันนี้จะส่งผลต่อผลลัพธ์ที่มีนัยสำคัญ

5. ติดตามประสิทธิภาพของกลุ่มส่วนน้อยหลังนำระบบไปใช้งาน: ผลลัพธ์ ข้อมูลป้อนกลับ และเกณฑ์ยุติในความไม่สมดุลของเป้าหมาย

ในขั้นตอนนี้ของความไม่สมดุลของคลาส ระบบต้องติดตามประสิทธิภาพของกลุ่มส่วนน้อยหลังนำระบบไปใช้งาน คำถามสำคัญไม่ได้มีเพียงว่ามีการดำเนินการดังกล่าวหรือไม่ แต่ยังรวมถึงการดำเนินการนั้นใช้ข้อมูลใด เปลี่ยนแปลงสถานะใด และมีหลักฐานอะไรยืนยันว่าการเปลี่ยนแปลงนั้นถูกต้อง ผู้ตรวจสอบควรแยกแยะการดำเนินการนี้ออกจากชุดข้อมูลตัวอย่างในห้องเรียนที่มีความสมดุลแต่ไม่ตรงกับสัดส่วนที่เกิดขึ้นจริง และทำซ้ำผลลัพธ์ได้ภายใต้เงื่อนไขที่ระบุไว้เดียวกัน

การส่งต่องานเข้าสู่ขั้นตอนความไม่สมดุลของคลาสนี้เริ่มจากการปรับน้ำหนัก ปรับจำนวนตัวอย่าง หรือออกแบบการเก็บข้อมูลใหม่ และควรจบลงด้วยผลลัพธ์ที่ช่วยให้ติดตามผลหรือใช้ประกอบการตัดสินใจขั้นสุดท้ายได้ ให้บันทึกความไม่แน่นอน ทางเลือกที่ถูกปฏิเสธ การใช้ทรัพยากร และการควบคุมใด ๆ โดยมนุษย์หรือซอฟต์แวร์ที่ใช้ ณ จุดส่งต่อ ร่องรอยดังกล่าวช่วยให้ทีมตรวจพบได้ว่าค่าความแม่นยำสูงเกิดจากการเพิกเฉยต่อคลาสที่พบได้น้อยโดยสิ้นเชิงหรือไม่ ก่อนที่จุดอ่อนเดียวกันนี้จะส่งผลต่อผลลัพธ์ที่มีนัยสำคัญ

อ่านแผนผังความไม่สมดุลของคลาสไปข้างหน้าเพื่อทำความเข้าใจการใช้งานจริง และอ่านย้อนกลับเพื่อวินิจฉัยความล้มเหลว การวิเคราะห์ไปข้างหน้าพิจารณาว่าแต่ละขั้นตอนส่งต่อข้อมูลให้ขั้นตอนถัดไปอย่างไร ส่วนการวิเคราะห์ย้อนกลับเริ่มจากผลลัพธ์ที่ไม่ถูกต้อง ล่าช้า มีค่าใช้จ่ายสูง หรือไม่ปลอดภัย แล้วไล่ย้อนดูว่าสมมติฐานก่อนหน้าใดเป็นเหตุให้เกิดผลเช่นนั้น บ่อยครั้งเส้นทางย้อนกลับช่วยให้ทีมพบว่าข้อผิดพลาดชี้ขาดเกิดขึ้นก่อนที่โมเดลจะสร้างผลลัพธ์ใด ๆ เสียอีก

ตัวอย่างความไม่สมดุลของเป้าหมายที่ลงรายละเอียด

โมเดลตรวจจับการฉ้อโกงที่ระบุว่าทุกรายการธุรกรรมถูกต้องตามกฎหมายอาจมีค่าความแม่นยำสูงกว่า 99 เปอร์เซ็นต์ แต่กลับตรวจจับการฉ้อโกงไม่ได้เลย

ตัวอย่างนี้ให้ข้อคิด เพราะสามารถเชื่อมโยงความไม่สมดุลของคลาสเข้ากับข้อมูลนำเข้า สถานะระหว่างทาง และผลลัพธ์ที่สังเกตได้ แทนที่จะประเมินจากการสาธิตที่จัดฉากไว้อย่างสวยงาม การทดสอบอย่างเข้มงวดควรสร้างกรณีทั่วไป กรณียาก และกรณีที่จงใจทำให้เข้าใจผิดจากสถานการณ์นี้ โดยเก็บค่าพื้นฐานที่ไม่มีการใช้เทคนิคดังกล่าวไว้ และบันทึกทั้งประสิทธิภาพโดยเฉลี่ยกับความรุนแรงของความล้มเหลวแต่ละกรณี

เปลี่ยนสมมติฐานหนึ่งข้อในตัวอย่างความไม่สมดุลของคลาส แล้ววิเคราะห์ซ้ำ โดยตัดข้อมูลนำเข้าที่จำเป็นออก เพิ่มสัญญาณที่ขัดแย้งกัน จำกัดทรัพยากรประมวลผล เปลี่ยนประชากรผู้ใช้ หรือบังคับให้ระบบงดให้คำตอบ กลไกที่ได้ผลเฉพาะในการสาธิตที่จัดเตรียมไว้อย่างรอบคอบเพียงกรณีเดียว ยังไม่ได้แสดงให้เห็นว่ากลไกนั้นใช้ได้กับสภาพแวดล้อมการทำงานจริง

ความไม่สมดุลของเป้าหมายเทียบกับทางลัดที่พบบ่อยที่สุด

ความไม่สมดุลของคลาสมักถูกลดทอนให้เหลือเพียงชุดข้อมูลตัวอย่างในห้องเรียนที่มีความสมดุลแต่ไม่ตรงกับสัดส่วนที่เกิดขึ้นจริง การลดทอนเช่นนี้ตัดขอบเขตที่เป็นหัวใจของแนวคิดนี้ออกไป และอาจทำให้ผู้ซื้อนำผลิตภัณฑ์ที่แตกต่างกันมาเปรียบเทียบกัน นักวิจัยกล่าวอ้างเกินกว่าที่ผลการทดลองจะแสดงให้เห็น และผู้ปฏิบัติงานติดตามสัญญาณผิดตัวหลังนำระบบไปใช้งาน

การเปรียบเทียบควรระบุหน่วยที่ใช้ในการวิเคราะห์ด้วย งานวิจัยเกี่ยวกับความไม่สมดุลของคลาสอาจแยกศึกษาเฉพาะโมเดลหรืออัลกอริทึม ขณะที่บริการที่นำไปใช้งานจริงยังประกอบด้วยการดึงข้อมูล การกำหนดเส้นทาง การแคช นโยบาย การระบุตัวตน ส่วนติดต่อผู้ใช้ และการติดตามตรวจสอบ ผลิตภัณฑ์สองรายการอาจใช้คำพาดหัวเดียวกัน แต่ทำงานคนละส่วนของระบบดังกล่าว ควรถามว่าส่วนประกอบใดทำหน้าที่แปลงข้อมูลตามนิยาม และส่วนประกอบอื่นใดจำเป็นต่อผลลัพธ์ที่รายงาน

เหตุใดความไม่สมดุลของคลาสเป้าหมายจึงสำคัญต่อระบบ AI ในปัจจุบัน

ความไม่สมดุลของคลาสมีความสำคัญในขณะนี้ เพราะระบบ AI ได้รับบริบทที่ใหญ่ขึ้น รองรับรูปแบบข้อมูลที่หลากหลายขึ้น ใช้ทรัพยากรประมวลผลขณะทำงานมากขึ้น เข้าถึงเครื่องมือได้กว้างขึ้น และเชื่อมโยงกับการตัดสินใจในองค์กรอย่างลึกซึ้งยิ่งขึ้น ในเงื่อนไขเช่นนี้ สิ่งที่เคยดูเหมือนรายละเอียดในการวิจัยอาจเป็นตัวกำหนดเวลาแฝง ความปลอดภัย การเข้าถึง ต้นทุนด้านสิ่งแวดล้อม คุณภาพผลิตภัณฑ์ หรือความรับผิดรับชอบทางกฎหมาย

สิ่งที่ควรวัดไม่ใช่ว่าความไม่สมดุลของคลาสจะให้ผลลัพธ์ที่น่าประทับใจได้สักครั้งหรือไม่ แต่คือเทคนิคดังกล่าวช่วยปรับปรุงผลลัพธ์ที่สำคัญภายใต้เงื่อนไขที่เป็นตัวแทนได้หรือไม่ และทำได้มีประสิทธิภาพกว่าวิธีพื้นฐานที่เรียบง่ายกว่าหรือไม่ ควรรายงานการกระจายตัว ประเภทความล้มเหลว เวลาแฝงช่วงหาง การใช้ทรัพยากร และกลุ่มย่อยที่ได้รับผลกระทบ แทนที่จะสรุปผลทุกอย่างเป็นค่าเฉลี่ยเพียงค่าเดียว

เลือกวิธีดำเนินการให้สอดคล้องกับโครงสร้างของข้อมูลและต้นทุนของการตัดสินใจ รักษาการแบ่งกลุ่มและลำดับเวลา ประเมินความไม่แน่นอน ตรวจสอบผลแยกตามส่วน ล็อกชุดทดสอบขั้นสุดท้าย และยืนยันว่าผลที่ดีขึ้นจากการทดสอบแบบออฟไลน์ยังคงอยู่เมื่อนำไปใช้งานจริง เมื่อนำหลักปฏิบัตินี้มาใช้กับความไม่สมดุลของคลาสโดยเฉพาะ หลักฐานที่ได้จะนำไปใช้ต่อได้ ทีมอื่นจึงสามารถประเมินได้ว่าผลลัพธ์ที่อ้างว่าน่าจะยังคงอยู่หรือไม่ เมื่อเปลี่ยนโมเดล ภาษา แพลตฟอร์มฮาร์ดแวร์ ชุดข้อมูล กลุ่มผู้ใช้ หรือระดับความเสี่ยงที่ยอมรับได้

ประโยชน์ที่ความไม่สมดุลของคลาสเป้าหมายมอบให้ได้

เหตุผลที่หนักแน่นที่สุดในการจัดการความไม่สมดุลของคลาสคือ วิธีนี้ช่วยแก้คอขวดที่ตั้งใจแก้ได้โดยตรง ทั้งนี้ขึ้นอยู่กับวิธีนำไปใช้ ประโยชน์ที่ได้อาจปรากฏในรูปของการยึดโยงกับข้อมูลที่ดีขึ้น การแทนข้อมูลที่ตรงตามจริงมากขึ้น ความสามารถในการอนุมานกับข้อมูลใหม่ที่ดีขึ้น เวลาแฝงที่ลดลง การเคลื่อนย้ายข้อมูลในหน่วยความจำที่ลดลง ความรับผิดรับชอบที่ชัดเจนขึ้น หรือการกำหนดขอบเขตระหว่างข้อเสนอของโมเดลกับการลงมือทำจริงที่ปลอดภัยยิ่งขึ้น

ควรระบุประโยชน์ในรูปของการตัดสินใจและการวัดผล คำว่า “ฉลาดขึ้น” ไม่ใช่เกณฑ์การยอมรับสำหรับการจัดการความไม่สมดุลของคลาส เป้าหมายที่มีประโยชน์อาจระบุอัตราความผิดพลาดในกรณียาก การกู้คืนผลลัพธ์เมื่อมีหลักฐานขัดแย้งกัน ต้นทุนที่เปอร์เซ็นไทล์หนึ่งของปริมาณการใช้งาน เวลาที่ใช้ในการตรวจทานโดยมนุษย์ การปรับเทียบ หรือสัดส่วนของการดำเนินการที่อยู่ภายในขอบเขตอำนาจที่กำหนด

รูปแบบความล้มเหลวที่เป็นหัวใจของความไม่สมดุลของคลาสเป้าหมาย

ข้อจำกัดสำคัญคือ สามารถทำคะแนนความแม่นยำสูงได้ด้วยการละเลยคลาสที่พบได้น้อยโดยสิ้นเชิง ความล้มเหลวนี้ไม่ใช่เรื่องเล็กน้อยที่จะค่อยกล่าวถึงหลังพัฒนาระบบเสร็จแล้ว แต่ควรเป็นปัจจัยกำหนดการเก็บข้อมูล สถาปัตยกรรม สิทธิ์การเข้าถึง การประเมินผล เกณฑ์ก่อนเผยแพร่ และการติดตามตรวจสอบความไม่สมดุลของคลาสตั้งแต่เริ่มต้น

ตัวควบคุมสำหรับความไม่สมดุลของคลาสจะมีประโยชน์ก็ต่อเมื่อเริ่มทำงานก่อนเกิดผลกระทบที่มีค่าใช้จ่ายสูงหรือไม่อาจแก้ไขได้ ให้ระบุสัญญาณเริ่มต้นของความล้มเหลวที่สังเกตเห็นได้ กำหนดเกณฑ์หรือกฎ มอบหมายผู้รับผิดชอบที่ชัดเจน และทดสอบการกู้คืน ทั้งนี้ การกู้คืนอาจหมายถึงการงดให้ผลลัพธ์ การเปลี่ยนไปใช้ระบบที่เรียบง่ายกว่า การขอหลักฐานเพิ่มเติม การส่งต่อให้บุคคลพิจารณา การย้อนกลับโมเดล หรือการหยุดการดำเนินการทั้งหมด ทั้งนี้ขึ้นอยู่กับกรณีใช้งาน

แผนประเมินความไม่สมดุลของคลาสเป้าหมาย

เริ่มประเมินความไม่สมดุลของคลาสด้วยการเขียนให้ชัดว่าหลักฐานต้องรองรับการตัดสินใจเรื่องใด กำหนดประชากรที่จะใช้งาน ผลที่จะเกิดขึ้นหากได้ผลลัพธ์ผิด ข้อมูลที่มีอยู่จริง ณ เวลาตัดสินใจ และทางเลือกที่น่าเชื่อถือซึ่งเรียบง่ายที่สุด วิธีนี้ช่วยป้องกันไม่ให้เกณฑ์มาตรฐานกลายเป็นเป้าหมาย เพียงเพราะดำเนินการได้ง่าย

ใช้ชุดทดสอบที่ไม่เคยนำไปใช้มาก่อนเพื่อเปรียบเทียบอย่างมีการควบคุม จากนั้นตรวจสอบความไม่สมดุลของคลาสในสภาพแวดล้อมการทำงานแบบเป็นขั้นตอน การประเมินแบบออฟไลน์ช่วยให้เปรียบเทียบรูปแบบต่าง ๆ ได้ ส่วนการทำงานในโหมดเงา การทดลองกับผู้ใช้หรือระบบเพียงบางส่วน การจำกัดอัตราการใช้งาน หรือการกำหนดขั้นตอนอนุมัติ จะช่วยให้เห็นว่าปริมาณการใช้งานจริง วงจรป้อนกลับ และผู้คนเปลี่ยนพฤติกรรมอย่างไร ขั้นตอนการนำไปใช้งานควรกำหนดเงื่อนไขหยุดไว้อย่างชัดเจน แทนที่จะทึกทักว่าการปรับปรุงทุกอย่างควรนำไปใช้อย่างเต็มรูปแบบ

กำหนดเวอร์ชันของข้อมูลนำเข้าที่จำเป็นต่อการทำซ้ำผลลัพธ์จากความไม่สมดุลของคลาส ได้แก่ ข้อมูลต้นทาง ขั้นตอนเตรียมข้อมูล ตัวตัดคำหรือโค้ดเดอร์ น้ำหนักโมเดล การกำหนดค่า พรอมป์ต์หรือนโยบาย ดัชนีสำหรับดึงข้อมูล ชุดประเมิน สมมติฐานเกี่ยวกับฮาร์ดแวร์ และโค้ดที่ใช้ให้บริการ ตามความเหมาะสม หากไม่มีข้อมูลลำดับที่มาที่ตรวจสอบย้อนกลับได้ ทีมจะไม่สามารถระบุได้ว่าผลลัพธ์ที่เปลี่ยนไปเกิดจากเทคนิค สภาพแวดล้อม หรือการแก้ไขขั้นตอนประมวลผลที่ไม่มีใครสังเกตเห็น

ท้ายที่สุด ให้ถามว่าผลการค้นพบแบบใดจะหักล้างข้อกล่าวอ้างที่ว่าความไม่สมดุลของคลาสให้ผลดี หากไม่มีผลลัพธ์ใดที่ทำให้ต้องเปลี่ยนการตัดสินใจนำไปใช้ การประเมินนั้นก็เป็นเพียงการตลาด การกำหนดเกณฑ์ยอมรับไว้ล่วงหน้าและเก็บชุดข้อมูลยืนยันผลไว้โดยไม่แตะต้อง จะทำให้การประเมินนี้กลายเป็นหลักฐาน

คำถามที่ควรถามก่อนนำความไม่สมดุลของคลาสเป้าหมายมาใช้

• วัตถุประสงค์: ความไม่สมดุลของคลาสมีเป้าหมายเพื่อแก้ปัญหาคอขวดที่วัดผลได้ข้อใด?
• กลไก: การเปลี่ยนแปลงที่เป็นลักษณะเฉพาะเกิดขึ้นในขั้นตอนใดจากทั้งหมดห้าขั้น?
• ค่าพื้นฐาน: ผลลัพธ์เปรียบเทียบกับชุดข้อมูลที่ปรับสมดุลคลาสแต่ไม่สะท้อนความชุกจริง หรือทางเลือกอื่นที่เรียบง่ายกว่าอย่างไร?
• หลักฐาน: มีการทดสอบกรณีทั่วไป กรณียาก กรณีที่เป็นปฏิปักษ์ และกรณีของกลุ่มย่อยใดบ้าง?
• การปฏิบัติงาน: เมื่อใช้งานในวงกว้าง มีต้นทุนด้านเวลาแฝง หน่วยความจำ การประมวลผล พลังงาน การบำรุงรักษา และการตรวจทานอย่างไรบ้าง?
• ความเสี่ยง: ทีมจะตรวจจับได้อย่างไรว่าระบบอาจมีความแม่นยำโดยรวมสูงได้ด้วยการละเลยคลาสที่พบได้น้อยทั้งหมด?
• การกู้คืน: ระบบสามารถงดให้ผลลัพธ์ เปลี่ยนไปใช้ทางเลือกอื่น ย้อนกลับ หรือส่งต่อให้ผู้รับผิดชอบก่อนเกิดอันตรายได้หรือไม่?

แหล่งข้อมูลหลักสำหรับศึกษาความไม่สมดุลของคลาสเป้าหมาย

แหล่งข้อมูลตั้งต้นที่เชื่อถือได้สำหรับส่วนต่าง ๆ ของระบบ AI ที่เกี่ยวข้องกับความไม่สมดุลของคลาส ได้แก่ คู่มือการเลือกโมเดลของ scikit-learn, กฎการเรียนรู้ของเครื่องของ Google และ NIST AI RMF อ่านแหล่งข้อมูลเหล่านี้ควบคู่กับเอกสารประกอบของโมเดล ชุดข้อมูล ฮาร์ดแวร์ และเขตอำนาจศาลที่เกี่ยวข้องโดยเฉพาะ แหล่งข้อมูลทั่วไปอาจอธิบายกลไกได้ แต่มีเพียงหลักฐานจากการนำไปใช้ในบริบทจริงเท่านั้นที่จะยืนยันได้ว่าการติดตั้งใช้งานแบบใดแบบหนึ่งเหมาะสม

สิ่งที่ควรจดจำเกี่ยวกับความไม่สมดุลของคลาสเป้าหมาย

ความไม่สมดุลของคลาสเป็นกลไกที่มีนิยามชัดเจนภายในระบบสังคมและเทคนิคที่ใหญ่กว่า คุณค่าของกลไกนี้มาจากการช่วยให้ผลลัพธ์เฉพาะด้านดีขึ้นภายใต้เงื่อนไขที่ระบุไว้อย่างชัดเจน ไม่ใช่จากชื่อเรียกของมัน แผนผังห้าขั้นช่วยให้เห็นการไหลของข้อมูล การเปรียบเทียบช่วยระบุว่าสิ่งนี้ไม่ใช่อะไร และแนวทางควบคุมแสดงให้เห็นว่าผู้ปฏิบัติงานที่รับผิดชอบสามารถเข้ามาแทรกแซงได้ตรงจุดใด

แนวทางปฏิบัติสำหรับความไม่สมดุลของคลาสคือ กำหนดวัตถุประสงค์ เปรียบเทียบกับค่าพื้นฐานที่น่าเชื่อถือ ทดสอบความล้มเหลวที่สำคัญที่สุด และเก็บรักษาหลักฐานที่จำเป็นต่อการติดตามความเปลี่ยนแปลง เมื่อมีองค์ประกอบเหล่านี้ครบ แนวคิดดังกล่าวจะกลายเป็นทางเลือกด้านวิศวกรรมและธรรมาภิบาลที่สามารถประเมินได้ หากขาดองค์ประกอบเหล่านี้ ก็จะเหลือเพียงชื่อที่ฟังดูมีอนาคตแต่ผูกติดอยู่กับความเสี่ยงในการใช้งานที่ยังไม่ทราบแน่ชัด