แอนดรูว์ เอ็นจี วิจารณ์วัฒนธรรมการเรียนรู้ของเครื่องจักรที่มีการปรับแต่งมากเกินไป

แอนดรูว์ เอ็นจี หนึ่งในเสียงที่มีอิทธิพลที่สุดในด้านการเรียนรู้ของเครื่องจักรในช่วงสิบปีที่ผ่านมา ปัจจุบันกำลังแสดงความกังวลเกี่ยวกับระดับที่ภาคส่วนนี้เน้นนวัตกรรมในด้านสถาปัตยกรรมแบบจำลองมากกว่าข้อมูล – และโดยเฉพาะอย่างยิ่ง ระดับที่ภาคส่วนนี้อนุญาตให้ผลลัพธ์ที่ “ปรับแต่งมากเกินไป” ถูกนำเสนอเป็นวิธีแก้ปัญหาหรือความก้าวหน้าโดยทั่วไป

นี่เป็นการวิจารณ์ที่กว้างขวางเกี่ยวกับวัฒนธรรมการเรียนรู้ของเครื่องจักรในปัจจุบัน ซึ่งมาจากหนึ่งในผู้นำที่มีอำนาจมากที่สุดในภาคส่วนนี้ และมีผลกระทบต่อความเชื่อมั่นในภาคส่วนที่ถูกครอบงำโดยความกลัวเกี่ยวกับการล่มสลายครั้งที่สามของความเชื่อมั่นในธุรกิจในการพัฒนา AI ในช่วงหกสิบปี

เอ็นจี เป็นศาสตราจารย์ที่มหาวิทยาลัยสแตนฟอร์ด และเป็นหนึ่งในผู้ก่อตั้ง deeplearning.ai และในเดือนมีนาคมได้ตีพิมพ์ บทความ บนเว็บไซต์ขององค์กรที่สรุป การกล่าวสุนทรพจน์ ของเขาให้เหลือเพียงคำแนะนำหลักสองประการ

ประการแรก คือชุมชนการวิจัยควรหยุดพูดถึงปัญหาที่ว่าการทำความสะอาดข้อมูลคิดเป็น 80% ของความท้าทายในด้านการเรียนรู้ของเครื่องจักร และเริ่มพัฒนาแนวทางปฏิบัติและวิธีการ MLOps ที่มีความแข็งแกร่ง

ประการที่สอง คือควรเลื่อนออกจาก “ชัยชนะที่ง่าย” ที่สามารถทำได้โดยการปรับแต่งข้อมูลให้เข้ากับแบบจำลองการเรียนรู้ของเครื่องจักร เพื่อให้แบบจำลองนั้นสามารถทำงานได้ดี แต่ไม่สามารถนำไปใช้ได้ในทั่วไปหรือสร้างแบบจำลองที่สามารถใช้งานได้จริง

การยอมรับความท้าทายของสถาปัตยกรรมและคัดเลือกข้อมูล

“มุมมองของฉัน” เอ็นจีเขียน “คือหาก 80% ของงานของเราคือขั้นตอนการเตรียมข้อมูล ดังนั้นการรับรองคุณภาพของข้อมูลจึงเป็นงานที่สำคัญของทีมการเรียนรู้ของเครื่องจักร”

เขายังคงพูดต่อไป

‘แทนที่จะพึ่งพาวิศวกรที่จะพบวิธีที่ดีที่สุดในการปรับปรุงชุดข้อมูล ฉันหวังว่าเราจะสามารถพัฒนาเครื่องมือ MLOps ที่ช่วยให้การสร้างระบบ AI รวมถึงการสร้างชุดข้อมูลที่มีคุณภาพสูงเป็นกระบวนการที่สามารถทำซ้ำและเป็นระบบได้

‘MLOps เป็นสนามที่ยังใหม่ และคนต่างๆ นิยามมันแตกต่างกัน แต่ฉันคิดว่าหลักการสำคัญที่สุดของทีมและเครื่องมือ MLOps ควรเป็นการรับรองการไหลของข้อมูลที่สม่ำเสมอและคุณภาพสูงตลอดทุกขั้นตอนของโครงการ ซึ่งจะช่วยให้หลายโครงการดำเนินไปได้อย่างราบรื่น’

เมื่อพูดผ่าน Zoom ในการประชุม Q&A ที่ถ่ายทอดสด เมื่อสิ้นเดือนเมษายน เอ็นจีกล่าวถึงปัญหาการใช้งานที่ไม่เพียงพอของระบบวิเคราะห์ภาพถ่ายรังสี

“เมื่อเรารวบรวมข้อมูลจากโรงพยาบาลสแตนฟอร์ด แล้วเราทดสอบและฝึกอบรมบนข้อมูลจากโรงพยาบาลเดียวกัน เราสามารถตีพิมพ์งานวิจัยที่แสดงให้เห็นว่า [อัลกอริทึม] เหมือนกับแพทย์ผู้เชี่ยวชาญด้านรังสีวิทยาในการตรวจจับอาการบางอย่าง

“…[เมื่อ] คุณนำแบบจำลองเดียวกันนั้นไปใช้กับโรงพยาบาลเก่าในถนนเดียวกัน โดยใช้เครื่องมือเก่าและผู้เทคนิคใช้โพรโทคอลการถ่ายภาพที่แตกต่างกันเล็กน้อย ข้อมูลจะเปลี่ยนแปลงไปและทำให้ประสิทธิภาพของระบบ AI ลดลงอย่างมาก ในทางตรงกันข้าม แพทย์ผู้เชี่ยวชาญด้านรังสีวิทยาสามารถเดินไปที่โรงพยาบาลเก่าและทำงานได้ดี”

การกำหนดค่าที่ไม่เพียงพอไม่ใช่วิธีแก้ปัญหา

การปรับแต่งมากเกินไปเกิดขึ้นเมื่อแบบจำลองการเรียนรู้ของเครื่องจักรถูกออกแบบมาเพื่อให้เข้ากับข้อมูลที่เฉพาะเจาะจง (หรือรูปแบบที่ข้อมูลถูกจัดรูปแบบ) ซึ่งอาจเกี่ยวข้องกับการกำหนดค่าน้ำหนักที่จะให้ผลลัพธ์ที่ดีจากชุดข้อมูลนั้น แต่ไม่สามารถ “ทั่วไป” ได้บนข้อมูลอื่น

ในหลายกรณี พารามิเตอร์ดังกล่าวถูกกำหนดบน “非ข้อมูล” ของชุดข้อมูลฝึกอบรม เช่น ความละเอียดเฉพาะของข้อมูลที่รวบรวม หรืออาการเฉพาะอื่นๆ ที่ไม่ได้รับประกันว่าจะเกิดขึ้นอีกในข้อมูลที่ตามมา

แม้ว่ามันจะดี แต่การปรับแต่งมากเกินไปไม่ใช่ปัญหาที่สามารถแก้ไขได้โดยการขยายขอบเขตหรือความยืดหยุ่นของสถาปัตยกรรมข้อมูลหรือการออกแบบแบบจำลองเมื่อใดก็ตามที่ต้องการคุณลักษณะที่มีผลกระทบและทั่วไปที่จะทำงานได้ดีในหลายๆ สภาพแวดล้อม – ซึ่งเป็นความท้าทายที่ยากขึ้น

โดยทั่วไป การกำหนดค่าที่ไม่เพียงพอจะนำไปสู่ปัญหาที่เอ็นจีได้กล่าวถึงเมื่อเร็วๆ นี้ ซึ่งแบบจำลองการเรียนรู้ของเครื่องจักรล้มเหลวบนข้อมูลที่ไม่เคยเห็นมาก่อน ปัญหาในกรณีนี้คือแบบจำลองล้มเหลวไม่ใช่เพราะข้อมูลหรือรูปแบบข้อมูลแตกต่างจากชุดข้อมูลฝึกอบรมที่ปรับแต่งมากเกินไป แต่เพราะแบบจำลองนั้นยืดหยุ่นเกินไปมากกว่าที่จะแข็งแกร่ง

ปลายปี 2020 งานวิจัย การกำหนดค่าที่ไม่เพียงพอนำไปสู่ความท้าทายสำหรับความน่าเชื่อถือในด้านการเรียนรู้ของเครื่องจักรสมัยใหม่ ได้วิพากษ์วิจารณ์แนวปฏิบัตินี้อย่างรุนแรง และมีนักวิจัยและนักวิทยาศาสตร์จาก Google และ MIT รวมถึงสถาบันอื่นๆ มากกว่า 40 คน

งานวิจัยนี้วิพากษ์วิจารณ์ “การเรียนรู้ทางลัด” และสังเกตว่าแบบจำลองที่กำหนดค่าไม่เพียงพอสามารถเปลี่ยนแปลงไปในทางที่ไม่คาดคิดตามจุดเริ่มต้นการสุ่มของการฝึกอบรมแบบจำลอง ผู้เขียนงานวิจัยสังเกตเห็นว่า

‘เราพบว่าการกำหนดค่าที่ไม่เพียงพอเป็นเรื่องปกติในกระบวนการเรียนรู้ของเครื่องจักรที่ใช้จริงในหลายๆ ด้าน แท้จริงแล้ว เนื่องจากการกำหนดค่าที่ไม่เพียงพอ ด้านที่สำคัญของการตัดสินใจจึงถูกกำหนดโดยการตัดสินใจที่ไม่จำเป็น เช่น การสุ่มค่าสำหรับการเริ่มต้นพารามิเตอร์’

ผลกระทบทางเศรษฐกิจจากการเปลี่ยนแปลงวัฒนธรรม

尽管เอ็นจีมีเครดิตเชิงวิชาการ แต่เขาก็ไม่ใช่นักวิชาการที่ไม่มีประสบการณ์ในอุตสาหกรรม แต่มีประสบการณ์ระดับสูงในอุตสาหกรรมในฐานะผู้ร่วมก่อตั้ง Google Brain และ Coursera อดีตหัวหน้านักวิทยาศาสตร์ด้านข้อมูลขนาดใหญ่และ AI ที่ Baidu และผู้ก่อตั้ง Landing AI ซึ่งบริหารเงินทุน 175 ล้านเหรียญสหรัฐฯ สำหรับสตาร์ทอัพใหม่ๆ ในภาคส่วนนี้

เมื่อเขาพูดว่า “ทั้ง AI ไม่ใช่แค่ด้านสุขภาพ มีช่องว่างระหว่างการแสดงผลกับการผลิต” มันถูกตั้งใจให้เป็นเสียงเตือนภาคส่วนที่มีระดับการตลาดที่สูงและประวัติที่ไม่แน่นอน ซึ่งทำให้ภาคส่วนนี้กลายเป็นการลงทุนที่ไม่แน่นอนในระยะยาว มีปัญหา ของการกำหนดและขอบเขต

อย่างไรก็ตาม ระบบการเรียนรู้ของเครื่องจักรที่เป็นกรรมสิทธิ์ซึ่งทำงานได้ดีในสถานที่และล้มเหลวในสถานที่อื่นแสดงถึงการครอบงำตลาดที่สามารถให้ผลตอบแทนจากการลงทุนในอุตสาหกรรมได้ การนำเสนอ “ปัญหาปรับแต่งมากเกินไป” ในบริบทของอันตรายทางอาชีพเป็นวิธีการที่ไม่ซื่อสัตย์ในการ สร้างรายได้ จากการลงทุนขององค์กรในงานวิจัยโอเพ่นซอร์ส และเพื่อผลิตระบบที่มีประสิทธิภาพ แต่ไม่สามารถทำซ้ำได้โดยคู่แข่ง

ไม่ว่าแนวทางนี้จะทำงานในระยะยาวหรือไม่นั้นขึ้นอยู่กับระดับที่ความก้าวหน้าที่แท้จริงในด้านการเรียนรู้ของเครื่องจักรต้องการการลงทุนที่สูงขึ้นเรื่อยๆ และไม่ว่าความคิดริเริ่มที่มีประสิทธิผลทั้งหมดจะย้ายไปที่ FAANG บ้างหรือไม่ เนื่องจากต้องใช้ทรัพยากรจำนวนมากสำหรับการโฮสต์และการดำเนินงาน