การวิจัยของ Google ระบุถึงปัญหาอุดตันในแนวทาง Hyperscale ที่ใช้ AI

งานวิจัยใหม่จาก Google Research ชี้ให้เห็นว่าแนวโน้มปัจจุบันในการสร้างชุดข้อมูลขนาดใหญ่มากอาจเป็นอุปสรรคต่อการพัฒนาระบบปัญญาประดิษฐ์ที่มีประสิทธิภาพ ในความเป็นจริง การวิจัยพบว่าผลิตภัณฑ์เครื่องมือการเรียนรู้ของเครื่องจักรที่ดีกว่าอาจเกิดขึ้นจากการฝึกอบรมบนชุดข้อมูลที่มีความแม่นยำน้อยกว่า (หรือเทคนิค “แย่กว่า”)

หากหลักการของนักวิจัยมีความถูกต้อง จะหมายความว่าชุดข้อมูล ‘hyperscale’ เช่น LAION-400M (ซึ่งมีคู่ข้อความ/รูปภาพ 400 ล้านรายการ) และข้อมูลที่อยู่เบื้องหลังเครื่องมือภาษา GPT-3 (ซึ่งมีพารามิเตอร์ 175 พันล้านรายการ) อาจมีปัญหา ‘อุปสรรคความร้อน’ ในสถาปัตยกรรมและวิธีการเรียนรู้ของเครื่องจักรแบบดั้งเดิมและเป็นที่นิยม ซึ่งปริมาณข้อมูลที่มากเกินไป ‘อิ่มตัว’ การใช้งานลง游และป้องกันไม่ให้สามารถทั่วไปได้อย่างมีประโยชน์

นักวิจัยยังเสนอวิธีการทางเลือกในการออกแบบชุดข้อมูลขนาดใหญ่ใหม่เพื่อแก้ไขปัญหาความไม่สมดุล

เอกสารวิจัยระบุว่า:

‘การสำรวจลึกเพื่อทำความเข้าใจสาเหตุของปรากฏการณ์เหล่านี้ เราพบว่าพฤติกรรมอิ่มตัวที่เราเห็นเกี่ยวข้องกับวิธีการที่การแสดงผลเปลี่ยนแปลงไปตามชั้นของแบบจำลอง เราแสดงให้เห็นว่ามีกรณีที่รุนแรงกว่าซึ่งประสิทธิภาพของการฝึกอบรมขึ้นและลง游ไม่สอดคล้องกัน นั่นคือ เพื่อให้ได้ประสิทธิภาพที่ดีกว่าในการใช้งานลง游 เราต้องลดความแม่นยำของการฝึกอบรมขึ้น’

การศึกษา เรื่องนี้ มีชื่อเรื่องว่า การสำรวจขอบเขตของการฝึกอบรมขนาดใหญ่ และมาจากนักวิจัยสี่คนจาก Google Research

การตรวจสอบ ‘อิ่มตัว’

นักวิจัยท้าทายสมมติฐานที่มีอยู่เกี่ยวกับความสัมพันธ์ระหว่างเครื่องจักรเรียนรู้และข้อมูลในยุคข้อมูลขนาดใหญ่: การปรับขนาดแบบจำลองและขนาดข้อมูลที่ชัดเจนจะปรับปรุงประสิทธิภาพ (ความเชื่อที่ได้รับการยืนยันในเรื่องราวเกี่ยวกับ GPT-3 ตั้งแต่การเปิดตัว); และประสิทธิภาพที่ดีขึ้นนี้ ‘ส่งผ่าน’ ไปยังงานลง游ในลักษณะเชิงเส้น (หรือที่ต้องการ) เพื่อให้อัลกอริทึมที่ใช้งานบนอุปกรณ์ ซึ่งได้รับการปล่อยออกสู่ตลาดในที่สุดจากชุดข้อมูลขนาดใหญ่และแบบจำลองที่ฝึกอบรมอย่างไม่มีการแยกออก จะได้รับประโยชน์อย่างเต็มที่จากข้อมูลเชิงลึกของสถาปัตยกรรมขึ้นและลง游

‘มุมมองเหล่านี้’ นักวิจัยสังเกตว่า ‘ชี้ให้เห็นว่าการใช้ทรัพยากรการคำนวณและความพยายามในการวิจัยเพื่อปรับปรุงประสิทธิภาพของชุดข้อมูลขนาดใหญ่จะคุ้มค่า เนื่องจากจะช่วยให้เราแก้ปัญหาหลายงานลง游ได้โดยไม่ต้องเสียค่าใช้จ่ายมากนัก’

แต่เอกสารวิจัยระบุว่าการขาดทรัพยากรการคำนวณและวิธีการประเมินแบบจำลอง ‘เศรษฐกิจ’ ที่ตามมาเป็นสาเหตุของการให้ความเข้าใจที่ผิดเกี่ยวกับพลวัตของความสัมพันธ์ระหว่างปริมาณข้อมูลและระบบ AI ที่มีประโยชน์ นักวิจัยระบุว่านิสัยนี้เป็น ‘ข้อบกพร่องหลัก’ เนื่องจากชุมชนการวิจัยมักจะสมมติว่าผลลัพธ์เชิงบวกในพื้นที่จะส่งผลให้เกิดการนำไปใช้งานที่มีประโยชน์ในภายหลัง:

‘[เนื่องจาก] ข้อจำกัดของทรัพยากรการคำนวณ ประสิทธิภาพสำหรับตัวเลือกค่าพารามิเตอร์ที่แตกต่างกันจะไม่ได้รับการรายงาน กราฟการปรับขนาดดูเหมือนจะดีกว่าหากพารามิเตอร์ที่เลือกสำหรับการปรับขนาดที่กำหนดจะถูกกำหนดไว้หรือกำหนดโดยฟังก์ชันการปรับขนาดที่ง่าย’

นักวิจัยระบุเพิ่มเติมว่าการศึกษาการปรับขนาดหลายอย่างวัดไม่เทียบกับมาตราส่วนสัมบูรณ์ แต่เป็นการปรับปรุงที่เพิ่มขึ้นเทียบกับสถานะของสิ่งที่ดีที่สุด (SotA) โดยสังเกตว่า ‘ไม่มีเหตุผลที่จะคาดหวังว่าการปรับขนาดจะคงอยู่นอกเหนือจากช่วงที่ศึกษา’

การฝึกอบรมก่อน

เอกสารวิจัยกล่าวถึงการปฏิบัติ ‘การฝึกอบรมก่อน’ ซึ่งเป็นวิธีการที่ออกแบบมาเพื่อประหยัดทรัพยากรการคำนวณและลดระยะเวลาที่ต้องใช้ในการฝึกอบรมแบบจำลองจากศูนย์ การฝึกอบรมก่อนจะจัดการ ‘ABC’ ของวิธีการที่ข้อมูลภายในโดเมนหนึ่งจะถูกสร้างขึ้นระหว่างการฝึกอบรม และมักใช้ในหลายสาขาของการเรียนรู้ของเครื่องจักร ตั้งแต่การประมวลผลภาษาธรรมชาติ (NLP) ไปจนถึงการสร้างภาพลวงตา

การวิจัยทางวิชาการก่อนหน้านี้พบว่า การฝึกอบรมก่อน สามารถปรับปรุงความแข็งแกร่งและความแม่นยำของแบบจำลองได้อย่างมาก แต่เอกสารวิจัยใหม่ชี้ให้เห็นว่าความซับซ้อนของคุณลักษณะ แม้กระทั่งในแบบจำลองการฝึกอบรมก่อนที่ฝึกอบรมไม่นาน อาจมีประโยชน์มากกว่าหากส่งต่อไปยังกระบวนการในภายหลังของการประมวลผล

อย่างไรก็ตาม สิ่งนี้ไม่สามารถเกิดขึ้นได้หากนักวิจัยยังคงพึ่งพาแบบจำลองที่ฝึกอบรมก่อนซึ่งใช้แนวปฏิบัติที่ดีที่สุดในปัจจุบันในการใช้อัตราการเรียนรู้ ซึ่งการวิจัยสรุปว่าสามารถส่งผลกระทบอย่างมีนัยสำคัญต่อความแม่นยำสุดท้ายของการนำไปใช้งาน ในด้านนี้ นักวิจัยสังเกตว่า ‘ไม่สามารถคาดหวังที่จะพบจุดตรวจสอบการฝึกอบรมก่อนที่ทำงานได้ดีในทุกงานลง游ที่เป็นไปได้’

การศึกษา

เพื่อสร้างผลกระทบของการอิ่มตัว นักวิจัยได้ทำการทดลอง 4800 ครั้งโดยใช้ Vision Transformers, ResNets และ MLP-Mixers แต่ละตัวมีพารามิเตอร์ตั้งแต่ 10 ล้านถึง 10 พันล้าน และฝึกอบรมบนชุดข้อมูลขนาดใหญ่ที่สุดที่มีอยู่ในแต่ละสาขา รวมถึง ImageNet21K และ JFT-300M ของ Google

ผลลัพธ์ตามที่เอกสารวิจัยระบุว่า ความหลากหลายของข้อมูล ควรพิจารณาเป็นแกนเพิ่มเติมเมื่อพยายาม ‘ปรับขนาดขึ้น’ ข้อมูล พารามิเตอร์ของแบบจำลอง และเวลาในการคำนวณ ในปัจจุบัน การมุ่งเน้นทรัพยากรการฝึกอบรมอย่างหนักในตอนต้นของการประมวลผล AI ทำให้การนำไปใช้งานลง游ถูก ‘อิ่มตัว’ ด้วยพารามิเตอร์จนถึงจุดที่ลดความสามารถของอัลกอริทึมที่ใช้งานในการนำทางคุณลักษณะและดำเนินการอนุมานหรือการเปลี่ยนแปลง

เอกสารวิจัยสรุปว่า:

‘ผ่านการศึกษาที่ครอบคลุม เราพบว่าเมื่อเรับปรับปรุงประสิทธิภาพของงานขึ้นโดยการปรับขนาดหรือเลือกพารามิเตอร์และสถาปัตยกรรม การใช้งานลง游แสดงพฤติกรรมที่อิ่มตัว นอกจากนี้ เรายังให้หลักฐานเชิงประจักษ์ที่แข็งแกร่งว่า ไม่เหมือนกับเรื่องราวที่พบบ่อย การปรับขนาดไม่นำไปสู่วิธีแก้ปัญหาแบบ ‘แบบจำลองหนึ่งใช้ได้กับทุกงาน’