ความทนทานมากกว่าความแม่นยำ: ทำไม ‘ความทนทานของแบบจำลอง’ ควรเป็นมาตรฐานที่แท้จริงสำหรับการนำแบบจำลองไปใช้

โดย Ingo Mierswa ผู้ก่อตั้ง ประธาน และ Chief Data Scientist ที่ RapidMiner.

วิทยาศาสตร์ข้อมูลได้ทำความก้าวหน้าอย่างมากในช่วงสองสามปีที่ผ่านมา และหลายองค์กรใช้การวิเคราะห์ที่ซับซ้อนหรือแบบจำลองการเรียนรู้ของเครื่องจักรเพื่อให้ได้ข้อมูลเชิงลึกที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับกระบวนการและในบางกรณีแม้กระทั่งเพื่อคาดการณ์ผลลัพธ์ที่อาจเกิดขึ้นในอนาคต สำหรับ “วิทยาศาสตร์” อื่นๆ มักไม่ชัดเจนว่าโครงการจะสำเร็จหรือไม่ และมีรายงานว่า มากถึง 87% ของโครงการวิทยาศาสตร์ข้อมูลไม่เคยเข้าสู่การผลิต ในขณะที่อัตราความสำเร็จ 100% ไม่สามารถคาดหวังได้ แต่มีรูปแบบบางอย่างในโครงการวิทยาศาสตร์ข้อมูลที่นำไปสู่อัตราความสำเร็จที่สูงกว่าที่ควรในภาคส่วนนี้ รูปแบบที่มีปัญหาเหล่านี้ดูเหมือนจะดำรงอยู่โดยไม่ขึ้นอยู่กับอุตสาหกรรมหรือกรณีการใช้งานใดๆ ซึ่งบ่งบอกว่ามีปัญหาระดับโลกในด้านวิทยาศาสตร์ข้อมูลที่ต้องได้รับการแก้ไข

การวัดความสำเร็จของการเรียนรู้ของเครื่องจักร

นักวิทยาศาสตร์ข้อมูลที่สร้างแบบจำลองการเรียนรู้ของเครื่องจักร (ML) พึ่งพาเกณฑ์ทางคณิตศาสตร์ที่กำหนดไว้อย่างดีเพื่อวัดว่าแบบจำลองเหล่านั้นทำงานได้ดีเพียงใด เกณฑ์เหล่านั้นขึ้นอยู่กับประเภทของแบบจำลอง ลองสมมติว่าแบบจำลองควรทำนายประเภทหรือหมวดหมู่สำหรับสถานการณ์ใหม่ๆ — ตัวอย่างเช่น หากลูกค้าจะหยุดใช้บริการหรือไม่ ในสถานการณ์เหล่านี้ นักวิทยาศาสตร์ข้อมูลจะใช้การวัดเช่น ความแม่นยำ (แบบจำลองถูกต้องบ่อยเพียงใด) หรือ ความแม่นยำ (ลูกค้าแท้จริงจะหยุดใช้บริการหากเราคาดการณ์ว่าจะหยุดใช้บริการ)

นักวิทยาศาสตร์ข้อมูลต้องการเกณฑ์เชิงวัตถุเช่นนี้ เนื่องจากส่วนหนึ่งของงานของพวกเขาคือการเพิ่มประสิทธิภาพเกณฑ์เหล่านั้นเพื่อสร้างแบบจำลองที่ดีที่สุด ในความเป็นจริง นอกเหนือจากการเตรียมข้อมูลให้พร้อมสำหรับการสร้างแบบจำลอง การสร้างและปรับแต่งแบบจำลองเหล่านั้น เป็นสิ่งที่นักวิทยาศาสตร์ข้อมูลใช้เวลาส่วนใหญ่

ด้านลบของสิ่งนี้คือนักวิทยาศาสตร์ข้อมูลไม่ได้ให้ความสนใจมากนักในการนำแบบจำลองเหล่านั้นไปใช้ ซึ่งเป็นปัญหาในหลายๆ ด้าน ประการแรกและสำคัญที่สุด คือ แบบจำลองที่ไม่ได้ผลลัพธ์ที่สำเร็จไม่สามารถนำไปใช้เพื่อสร้างผลกระทบทางธุรกิจให้กับองค์กรที่นำไปใช้ ประการที่สอง เนื่องจากองค์กรเหล่านั้นใช้เวลาและเงินในการพัฒนา ฝึกอบรม และนำแบบจำลองไปใช้ ซึ่งไม่ได้ผลลัพธ์ที่สำเร็จเมื่อเทียบกับ “ข้อมูลโลกแห่งความเป็นจริง” จึงมีแนวโน้มที่จะพิจารณาว่า ML และเครื่องมือวิทยาศาสตร์ข้อมูลอื่นๆ เป็นของไร้ประโยชน์ต่อองค์กร และไม่ดำเนินการต่อด้วยการริเริ่มวิทยาศาสตร์ข้อมูลในอนาคต

ความจริงคือนักวิทยาศาสตร์ข้อมูลชอบการปรับแต่งแบบจำลองและใช้เวลามากในการทำเช่นนี้ แต่หากไม่มีผลกระทบทางธุรกิจ การใช้เวลานี้ไม่ใช่การลงทุนที่ชาญฉลาด ซึ่งเป็นสิ่งที่เจ็บปวดอย่างยิ่ง โดยเฉพาะอย่างยิ่งเมื่อพิจารณาว่านักวิทยาศาสตร์ข้อมูลเป็นทรัพยากรที่หายากในโลกปัจจุบัน

รางวัล Netflix และความล้มเหลวในการผลิต

เรามองเห็นปรากฏการณ์นี้ของการลงทุนมากเกินไปในการสร้างแบบจำลองและไม่ได้ลงทุนในการนำแบบจำลองไปใช้ในช่วงหลายปีที่ผ่านมา รางวัล Netflix (NFLX ) เป็นการแข่งขันที่เปิดให้เข้าร่วมสำหรับอัลกอริธึมการกรองร่วมที่ดีที่สุดในการทำนายคะแนนของผู้ใช้สำหรับภาพยนตร์ หากคุณให้คะแนนภาพยนตร์ใหม่สูง คุณอาจชอบภาพยนตร์นั้น — ดังนั้น โดยใช้ระบบการให้คะแนนนี้ Netflix จะแนะนำชื่อเรื่องให้คุณ และหากคุณชอบเนื้อหาที่แนะนำ คุณมีแนวโน้มที่จะอยู่กับ Netflix นานขึ้น รางวัลใหญ่คือเงิน 1 ล้านเหรียญสหรัฐ ซึ่งมอบให้กับทีมที่สามารถปรับปรุงอัลกอริธึมของ Netflix ได้ไม่ต่ำกว่า 10%

การแข่งขันเริ่มต้นในปี 2006 และในช่วงสามปีต่อมา การมีส่วนร่วมของทีมวิทยาศาสตร์ข้อมูลมากกว่า 40,000 ทีมทั่วโลกนำไปสู่การปรับปรุงที่น่าประทับใจมากกว่า 10% สำหรับการแนะนำชื่อเรื่อง อย่างไรก็ตาม แบบจำลองของทีมที่ชนะ ไม่เคยถูกนำไปใช้ Netflix ระบุว่า “การเพิ่มขึ้นของความแม่นยำไม่ดูเหมือนจะคุ้มค่ากับความพยายามที่ต้องใช้ในการนำแบบจำลองเหล่านั้นไปใช้”

ทำไมความเหมาะสมไม่ใช่ความเหมาะสมเสมอไป

ความแม่นยำของแบบจำลองและเกณฑ์วิทยาศาสตร์ข้อมูลอื่นๆ ได้ถูกใช้เป็นมาตรฐานในการวัดความสำเร็จของแบบจำลองก่อนที่จะนำไปใช้ในการผลิต ตามที่เราได้เห็น มีแบบจำลองหลายแบบที่ไม่เคยเข้าสู่ขั้นตอนนี้ — ซึ่งเป็นการ浪費ทรัพยากร ทั้งในด้านพลังงานและเวลาที่ใช้

แต่มีปัญหาเพิ่มเติมเกี่ยวกับวัฒนธรรมการลงทุนมากเกินไปในการปรับแต่งแบบจำลอง ประการแรก คือ การปรับแต่งแบบจำลองให้เข้ากับข้อมูลทดสอบโดยไม่ตั้งใจ ซึ่งจะส่งผลให้แบบจำลองดูเหมือนดีสำหรับนักวิทยาศาสตร์ข้อมูลที่ดูแล แต่จริงๆ แล้วทำงานไม่ดีเมื่ออยู่ในการผลิต — และในบางกรณีอาจก่อให้เกิดอันตรายได้ สิ่งนี้เกิดขึ้นจากสองเหตุผล:

1. มีความแตกต่างที่รู้จักกันดีระหว่างข้อผิดพลาดในการทดสอบและข้อผิดพลาดที่คุณจะเห็นในการผลิต
2. ผลกระทบทางธุรกิจและเกณฑ์ประสิทธิภาพวิทยาศาสตร์ข้อมูลมักเกี่ยวข้องกัน แต่แบบจำลอง “เหมาะสม” ไม่ได้สร้างผลกระทบมากที่สุดเสมอไป

ประเด็นแรกข้างต้นเรียกว่า “การปรับแต่งแบบจำลองให้เข้ากับชุดข้อมูลทดสอบ” เป็นปรากฏการณ์ที่รู้จักกันดี โดยเฉพาะอย่างยิ่ง средиผู้เข้าร่วมการแข่งขันวิทยาศาสตร์ข้อมูล เช่น Kaggle สำหรับการแข่งขันเหล่านี้ คุณสามารถเห็นรูปแบบที่เข้มข้นกว่านี้แล้วระหว่างตารางผู้นำสาธารณะและตารางผู้นำส่วนตัว ในความเป็นจริง ผู้เข้าร่วมการแข่งขันอาจชนะตารางผู้นำสาธารณะในการแข่งขัน Kaggle โดยไม่ต้อง อ่านข้อมูลเลย ในทำนองเดียวกัน ผู้ชนะตารางผู้นำส่วนตัวและผู้ชนะการแข่งขันโดยรวมอาจไม่ได้สร้างแบบจำลองที่สามารถรักษาความสามารถในการทำงานได้บนชุดข้อมูลอื่นๆ นอกเหนือจากชุดที่ใช้ในการประเมิน

ความแม่นยำไม่เท่ากับผลกระทบทางธุรกิจ

เรายอมรับการปฏิบัตินี้มานานแล้ว ซึ่งนำไปสู่การปรับแบบจำลองให้เข้ากับชุดข้อมูลทดสอบช้าๆ ดังนั้น สิ่งที่ดูเหมือนจะเป็นแบบจำลองที่ดีที่สุดจึงกลายเป็นแบบจำลองที่ดีที่สุดในระดับกลาง:

• การวัดเช่นความแม่นยำในการทำนายไม่เสมอไปเท่ากับผลกระทบทางธุรกิจ
• การปรับปรุงความแม่นยำ 1% ไม่สามารถแปลเป็นผลลัพธ์ทางธุรกิจที่ดีขึ้น 1% ได้
• มีกรณีที่แบบจำลองที่มีประสิทธิภาพต่ำกว่าแบบจำลองอื่นๆ ในด้านผลกระทบทางธุรกิจ
• ปัจจัยอื่นๆ เช่น การบำรุงรักษา ความเร็วในการให้คะแนน และความแข็งแกร่งในการต่อต้านการเปลี่ยนแปลงเมื่อเวลาผ่านไป (เรียกว่า “ความทนทาน”) ต้องถูกพิจารณาด้วย

ประเด็นสุดท้ายนี้มีความสำคัญอย่างยิ่ง แบบจำลองที่ดีที่สุดจะไม่เพียงแต่ชนะการแข่งขันหรือดูเหมือนดีในห้องปฏิบัติการวิทยาศาสตร์ข้อมูล แต่ยังสามารถทำงานได้ดีในการผลิตและทำงานได้ดีบนชุดข้อมูลทดสอบหลายๆ ชุด แบบจำลองเหล่านี้คือแบบจำลองที่เรียกว่า “แบบจำลองที่ทนทาน”

การเปลี่ยนแปลงและความสำคัญของความทนทาน

แบบจำลองทั้งหมดเสื่อมลงเมื่อเวลาผ่านไป ประเด็นเดียวที่ต้องคำนึงถึงคือความเร็วที่สิ่งนี้เกิดขึ้นและแบบจำลองยังคงทำงานได้ดีเพียงใดภายใต้สภาพแวดล้อมที่เปลี่ยนแปลงไป สาเหตุของการเสื่อมลงนี้คือโลกไม่ใช่สิ่งที่คงที่ ดังนั้นข้อมูลที่ใช้กับแบบจำลองจึงเปลี่ยนแปลงไปเมื่อเวลาผ่านไป หากการเปลี่ยนแปลงเหล่านี้เกิดขึ้นอย่างช้าๆ เราจะเรียกสิ่งนี้ว่า “การเปลี่ยนแปลงแนวคิด” หากการเปลี่ยนแปลงเกิดขึ้นอย่างรวดเร็ว เราจะเรียกสิ่งนี้ว่า “การเปลี่ยนแปลงแนวคิดอย่างรวดเร็ว” ตัวอย่างเช่น ลูกค้าอาจเปลี่ยนพฤติกรรมในการบริโภคอย่างช้าๆ เมื่อเวลาผ่านไป โดยได้รับอิทธิพลจากกระแสและ/หรือการตลาด แบบจำลองความน่าจะเป็นอาจไม่ทำงานอีกต่อไปในบางจุด การเปลี่ยนแปลงเหล่านี้สามารถเร่งความเร็วได้อย่างมากในบางสถานการณ์ COVID-19 ตัวอย่างเช่น ได้ขับเคลื่อนการขายสินค้าเช่นกระดาษทิชชูและยาฆ่าเชื้อ — การเพิ่มขึ้นอย่างรวดเร็วและไม่คาดคิดในผลิตภัณฑ์บางอย่าง ซึ่งสามารถทำให้แบบจำลองดังกล่าวผิดปกติได้

แบบจำลองที่ทนทานอาจไม่ใช่แบบจำลองที่ดีที่สุดตามมาตรการเช่นความแม่นยำหรือความแม่นยำ แต่จะทำงานได้ดีบนชุดข้อมูลที่หลากหลาย ด้วยเหตุนี้ จึงจะทำงานได้ดีขึ้นในช่วงเวลานานขึ้น และสามารถสร้างผลกระทบทางธุรกิจที่ยั่งยืนได้

แบบจำลองเชิงเส้นและแบบจำลองที่ซับซ้อนน้อยกว่า thườngมีความทนทานมากกว่า เนื่องจากยากที่จะปรับแต่งให้เข้ากับชุดข้อมูลทดสอบหรือช่วงเวลาหนึ่งๆ ได้ แบบจำลองที่มีพลังมากกว่าสามารถและควรใช้เป็น “ผู้ท้าทาย” สำหรับแบบจำลองที่ง่ายกว่า โดยให้นักวิทยาศาสตร์ข้อมูลเห็นว่าแบบจำลองนั้นสามารถทนทานได้หรือไม่เมื่อเวลาผ่านไป แต่สิ่งนี้ควรใช้ ณ จุดสิ้นสุด ไม่ใช่ตอนเริ่มต้นของการเดินทางในการสร้างแบบจำลอง

แม้ว่า KPI อย่างเป็นทางการสำหรับการวัดความทนทานยังไม่ได้ถูกนำมาใช้ในด้านวิทยาศาสตร์ข้อมูล แต่มีหลายวิธีที่นักวิทยาศาสตร์ข้อมูลสามารถประเมินความทนทานของแบบจำลองได้:

• ค่าความเบี่ยงเบนมาตรฐานที่น้อยกว่าในการใช้การตรวจสอบข้ามหมายถึงว่าประสิทธิภาพของแบบจำลองขึ้นอยู่กับรายละเอียดของชุดข้อมูลทดสอบน้อยกว่า
• แม้ว่านักวิทยาศาสตร์ข้อมูลจะไม่ได้ทำการตรวจสอบข้ามอย่างสมบูรณ์ แต่อาจใช้ชุดข้อมูลที่แตกต่างกันสองชุดสำหรับการทดสอบและตรวจสอบ ความแตกต่างที่น้อยกว่าระหว่างอัตราความผิดพลาดสำหรับชุดข้อมูลทดสอบและชุดข้อมูลตรวจสอบบ่งบอกถึงความทนทานที่สูงกว่า
• หากแบบจำลองได้รับการติดตามอย่างเหมาะสมในการผลิต อัตราความผิดพลาดสามารถมองเห็นได้เมื่อเวลาผ่านไป ความสม่ำเสมอของอัตราความผิดพลาดเมื่อเวลาผ่านไปเป็นเครื่องบ่งชี้ที่ดีสำหรับความทนทานของแบบจำลอง
• หากโซลูชันการตรวจสอบแบบจำลองที่เลือกคำนึงถึงการเปลี่ยนแปลง นักวิทยาศาสตร์ข้อมูลควรให้ความสนใจกับว่าแบบจำลองได้รับผลกระทบจากการเปลี่ยนแปลงนั้นอย่างไร

การเปลี่ยนแปลงวัฒนธรรมของวิทยาศาสตร์ข้อมูล

หลังจากที่แบบจำลองถูกนำไปใช้ในการผลิตแล้ว ยังมีอันตรายต่อความแม่นยำของแบบจำลองอยู่ ประเด็นที่สองที่กล่าวถึงความทนทานของแบบจำลองข้างต้นต้องการการตรวจสอบแบบจำลองที่เหมาะสมในการผลิตเป็นจุดเริ่มต้นสำหรับการเปลี่ยนแปลงวัฒนธรรมในวิทยาศาสตร์ข้อมูล องค์กรควรลงทุนในการตรวจสอบแบบจำลองที่เหมาะสมและเริ่มให้นักวิทยาศาสตร์ข้อมูลรับผิดชอบต่อการขาดประสิทธิภาพหลังจากที่แบบจำลองถูกนำไปใช้ในการผลิต สิ่งนี้จะเปลี่ยนแปลงวัฒนธรรมทันทีจากวัฒนธรรมการสร้างแบบจำลองเป็นวัฒนธรรมที่สร้างและรักษาคุณค่าให้กับภาควิทยาศาสตร์ข้อมูล

เหตุการณ์โลกที่ผ่านมาแสดงให้เราเห็นว่าโลกเปลี่ยนแปลงอย่างรวดเร็ว ตอนนี้มากกว่าที่เคย เราต้องสร้างแบบจำลองที่ทนทาน — ไม่ใช่แบบจำลองที่แม่นยำเพียงอย่างเดียว — เพื่อจับผลกระทบทางธุรกิจที่มีความหมายเมื่อเวลาผ่านไป ตัวอย่างเช่น Kaggle จัดท้าทายเพื่อกระตุ้นนักวิทยาศาสตร์ข้อมูลทั่วโลกให้ช่วยสร้างโซลูชันแบบจำลองเพื่อใช้ในการต่อสู้กับ COVID-19 ทั่วโลก ฉันคาดว่าแบบจำลองที่ประสบความสำเร็จที่สุดซึ่งผลิตขึ้นจากท้าทายนี้จะเป็นแบบจำลองที่ทนทานที่สุด — ไม่ใช่แบบจำลองที่แม่นยำที่สุด — เนื่องจากเราได้เห็นว่าข้อมูล COVID-19 สามารถเปลี่ยนแปลงได้ภายในหนึ่งวัน วิทยาศาสตร์ข้อมูลควรเป็นเรื่องของการค้นหาความจริง ไม่ใช่การผลิต “แบบจำลองที่ดีที่สุด” โดยการยึดมั่นในมาตรฐานที่สูงกว่าของความทนทานมากกว่าความแม่นยำ นักวิทยาศาสตร์ข้อมูลจะสามารถสร้างผลกระทบทางธุรกิจที่มากกว่าให้กับองค์กรของเราและช่วย塑造อนาคตในเชิงบวก