Google ลดความต้องการการฝึกอบรม AI ได้ถึง 10,000 เท่า

อุตสาหกรรมปัญญาประดิษฐ์กำลังเผชิญกับปัญหาที่ขัดแย้งกัน ในขณะที่เครื่องจักรสามารถประมวลผลข้อมูลในระดับใหญ่ แต่การเรียนรู้ยังคงไม่มีประสิทธิภาพและเผชิญกับความท้าทายของผลตอบแทนที่ลดลง วิธีการเรียนรู้ของเครื่องจักรแบบดั้งเดิมต้องการชุดข้อมูลที่มีขนาดใหญ่และต้องใช้เวลาและเงินจำนวนมากในการสร้าง ชุดข้อมูลเหล่านี้มักจะถูกสร้างขึ้นโดยใช้ข้อมูลที่มีอยู่แล้วและไม่ได้ถูกออกแบบมาเพื่อการเรียนรู้ของเครื่องจักร นักวิจัยของ Google (GOOGL ) ได้แนะนำวิธีการเรียนรู้ที่เป็นนวัตกรรมใหม่ ซึ่งสามารถลดความต้องการข้อมูลการฝึกอบรมได้ถึง 10,000 เท่า และสามารถบรรลุผลลัพธ์ที่ดีเท่ากับการใช้ข้อมูลการฝึกอบรมที่มีขนาดใหญ่

ความท้าทายของข้อมูลขนาดใหญ่ใน AI

ในหลายทศวรรษที่ผ่านมา อุตสาหกรรม AI ได้ถูกขับเคลื่อนด้วยความเชื่อที่ว่า “ข้อมูลมากขึ้นหมายถึง AI ที่ดีขึ้น” โมเดลภาษาที่มีขนาดใหญ่ เช่น GPT-4 ต้องการข้อมูลที่มีขนาดใหญ่มากในการฝึกอบรม วิธีการนี้สร้างข้อจำกัดที่สำคัญสำหรับองค์กรที่ไม่มีทรัพยากรมากนักหรือไม่มีชุดข้อมูลที่เฉพาะเจาะจง ขั้นแรก ค่าใช้จ่ายในการให้ข้อมูลที่มีคุณภาพสูงค่อนข้างสูง ผู้เชี่ยวชาญด้านการให้ข้อมูลมีค่าใช้จ่ายสูง และปริมาณข้อมูลที่ต้องการทำให้โครงการมีค่าใช้จ่ายสูง ที่สอง ข้อมูลส่วนใหญ่ที่เก็บเกี่ยวมักจะซ้ำซ้อนและไม่ได้เล่นบทบาทที่สำคัญในการเรียนรู้ของเครื่องจักร วิธีการดั้งเดิมยังต้องเผชิญกับความท้าทายในการเปลี่ยนแปลงข้อกำหนด เมื่อนโยบายเปลี่ยนแปลงหรือเนื้อหาที่เป็นปัญหาที่เกิดขึ้นใหม่ บริษัทต่างๆ ต้องเริ่มต้นกระบวนการให้ข้อมูลใหม่จากจุดเริ่มต้น ซึ่งสร้างวงจรที่ไม่มีวันสิ้นสุดของการเก็บเกี่ยวข้อมูลและการฝึกอบรมแบบใหม่

การแก้ไขความท้าทายของข้อมูลขนาดใหญ่ด้วยการเรียนรู้แบบกระตือรือร้น

หนึ่งในวิธีการที่ทราบกันดีในการแก้ไขความท้าทายของข้อมูลคือการเรียนรู้แบบกระตือรือร้น วิธีการนี้ขึ้นอยู่กับการคัดเลือกข้อมูลการฝึกอบรมที่มีคุณภาพสูงและเป็นประโยชน์มากที่สุดสำหรับการให้ข้อมูลโดยผู้เชี่ยวชาญ ความคิดพื้นฐานคือโมเดลเรียนรู้ได้ดีที่สุดจากตัวอย่างที่พวกมันพบว่า混乱ที่สุด ไม่ใช่การบริโภคข้อมูลที่มีอยู่ทั้งหมดในลักษณะที่ไม่กระตือรือร้น ไม่เหมือนกับวิธีการ AI แบบดั้งเดิมที่ต้องการชุดข้อมูลขนาดใหญ่ การเรียนรู้แบบกระตือรือร้นใช้วิธีการที่มีกลยุทธ์มากขึ้นโดยการรวบรวมเฉพาะตัวอย่างที่ให้ข้อมูลมากที่สุดเท่านั้น วิธีการนี้ช่วยหลีกเลี่ยงความไร้ประสิทธิภาพของการให้ข้อมูลที่ชัดเจนหรือซ้ำซ้อนซึ่งให้ประโยชน์น้อยมากต่อโมเดล

โดยการมุ่งเน้นความพยายามของผู้เชี่ยวชาญในตัวอย่างสำคัญเหล่านี้ การเรียนรู้แบบกระตือรือร้นช่วยให้โมเดลเรียนรู้ได้เร็วขึ้นและมีประสิทธิภาพมากขึ้นด้วยจุดข้อมูลที่น้อยกว่ามาก วิธีการนี้มีศักยภาพในการแก้ไขทั้งปัญหาการขาดแคลนข้อมูลและความไร้ประสิทธิภาพของวิธีการเรียนรู้ของเครื่องจักรแบบดั้งเดิม

วิธีการเรียนรู้แบบกระตือรือร้นของ Google

ทีมวิจัยของ Google ได้ใช้วิธีการนี้แล้ว โดยแสดงให้เห็นว่าตัวอย่างที่คัดเลือกและให้ข้อมูลที่มีคุณภาพสูงสามารถแทนที่ปริมาณข้อมูลที่มีขนาดใหญ่ได้ ตัวอย่างเช่น พวกเขาแสดงให้เห็นว่าโมเดลที่ฝึกอบรมด้วยตัวอย่างที่มีจำนวนไม่ถึง 500 ตัวอย่างสามารถมีประสิทธิภาพเทียบเท่ากับระบบที่ฝึกอบรมด้วยตัวอย่างที่มีจำนวน 100,000 ตัวอย่าง

กระบวนการทำงานผ่านระบบที่ Google เรียกว่า “LLM-as-Scout” โมเดลภาษาขนาดใหญ่จะสแกนข้อมูลที่ไม่มีการให้ข้อมูลจำนวนมากเพื่อระบุกรณีที่มันรู้สึกไม่แน่นอน ตัวอย่างเหล่านี้แสดงถึงสถานการณ์ที่โมเดลต้องการคำแนะนำจากผู้เชี่ยวชาญเพื่อปรับปรุงการตัดสินใจของมัน กระบวนการเริ่มต้นด้วยโมเดลเริ่มต้นที่ให้ข้อมูลชุดข้อมูลขนาดใหญ่โดยใช้คำสั่งพื้นฐาน ระบบจะจัดกลุ่มตัวอย่างตามการจำแนกประเภทที่คาดการณ์ไว้และระบุพื้นที่ที่โมเดลแสดงความสับสนระหว่างหมวดหมู่ต่างๆ กลุ่มที่ทับซ้อนกันเหล่านี้แสดงถึงจุดที่คำตัดสินของผู้เชี่ยวชาญสามารถมีคุณค่ามากที่สุด

วิธีการนี้มุ่งเป้าไปที่คู่ตัวอย่างที่อยู่ใกล้กันแต่มีการให้ข้อมูลที่แตกต่างกัน ตัวอย่างเหล่านี้แสดงถึงสถานการณ์ที่ความเชี่ยวชาญของผู้เชี่ยวชาญมีความสำคัญมากที่สุด โดยการมุ่งเน้นความพยายามของผู้เชี่ยวชาญในการให้ข้อมูลในตัวอย่างที่สับสนเหล่านี้ ระบบสามารถบรรลุผลลัพธ์ที่มีประสิทธิภาพสูง

คุณภาพมากกว่าปริมาณ

การวิจัยนี้แสดงให้เห็นถึงการค้นพบหลักเกี่ยวกับคุณภาพของข้อมูลที่ท้าทายสมมติฐานทั่วไปใน AI ซึ่งแสดงให้เห็นว่าการให้ข้อมูลโดยผู้เชี่ยวชาญที่มีคุณภาพสูงสามารถมีประสิทธิภาพมากกว่าการให้ข้อมูลขนาดใหญ่โดยผู้ให้ข้อมูลทั่วไป พวกเขาใช้เครื่องมือทางสถิติที่เรียกว่า Cohen’s Kappa เพื่อประเมินว่าผลลัพธ์ของโมเดลสอดคล้องกับคำตัดสินของผู้เชี่ยวชาญหรือไม่ ในการทดลองของ Google ผู้ให้ข้อมูลโดยผู้เชี่ยวชาญสามารถบรรลุคะแนน Cohen’s Kappa ที่สูงกว่า 0.8 ซึ่งแสดงให้เห็นว่ามีคุณภาพสูงกว่าการให้ข้อมูลโดยผู้ให้ข้อมูลทั่วไป

คุณภาพที่สูงกว่านี้ช่วยให้โมเดลเรียนรู้ได้จากตัวอย่างที่น้อยกว่ามาก ในการทดลองที่ใช้ Gemini Nano-1 และ Nano-2 โมเดลสามารถบรรลุผลลัพธ์ที่ดีเท่ากับการให้ข้อมูลโดยผู้เชี่ยวชาญโดยใช้ตัวอย่างที่มีจำนวน 250-450 ตัวอย่างเท่านั้น ซึ่งแสดงถึงการลดลงของสามถึงสี่อันดับของขนาดของข้อมูลที่ต้องการ

เหตุใดการ突破นี้จึงมีความสำคัญในขณะนี้

การวิจัยนี้มาในเวลาที่สำคัญสำหรับอุตสาหกรรม AI เนื่องจากโมเดลมีขนาดใหญ่และซับซ้อนมากขึ้น วิธีการดั้งเดิมในการเพิ่มขนาดของข้อมูลการฝึกอบรมได้กลายเป็นไม่ยั่งยืน ค่าใช้จ่ายด้านสิ่งแวดล้อมในการฝึกอบรมโมเดลขนาดใหญ่กำลังเพิ่มขึ้นอย่างต่อเนื่อง และอุปสรรคทางเศรษฐกิจในการเข้าสู่อุตสาหกรรมยังคงสูงสำหรับหลายองค์กร

วิธีการของ Google มีศักยภาพในการแก้ไขความท้าทายหลายประการของอุตสาหกรรมในขณะเดียวกัน การลดค่าใช้จ่ายในการให้ข้อมูลทำให้การพัฒนา AI มีความเข้าถึงได้มากขึ้นสำหรับองค์กรขนาดเล็กและทีมวิจัย การวนรอบที่เร็วขึ้นช่วยให้สามารถปรับตัวให้เข้ากับการเปลี่ยนแปลงข้อกำหนดได้อย่างรวดเร็ว ซึ่งเป็นสิ่งจำเป็นในด้านที่มีการเปลี่ยนแปลงอย่างรวดเร็ว เช่น การดูแลเนื้อหาที่มีปัญหาหรือความมั่นคงทางไซเบอร์

วิธีการนี้ยังมีผลกระทบต่อความปลอดภัยและความน่าเชื่อถือของ AI โดยการมุ่งเน้นไปที่กรณีที่โมเดลไม่แน่นอน วิธีการนี้ช่วยให้ระบุโหมดการล้มเหลวและกรณีเชิงขอบที่อาจเกิดขึ้นได้ ซึ่งทำให้ระบบมีความแข็งแรงและเข้าใจข้อจำกัดของมันเองได้ดีขึ้น

ผลกระทบที่กว้างขึ้นสำหรับการพัฒนา AI

การวิจัยนี้ชี้ให้เห็นว่าเราอาจกำลังเข้าสู่ช่วงใหม่ของการพัฒนา AI ที่ความสามารถในการทำงานมีความสำคัญมากกว่าการเพิ่มขนาดของข้อมูล วิธีการ “ใหญ่กว่าดีกว่า” ในการฝึกอบรมข้อมูลอาจถูกแทนที่ด้วยวิธีการที่ซับซ้อนกว่าซึ่งให้ความสำคัญกับคุณภาพของข้อมูลและการเลือกข้อมูลที่มีกลยุทธ์

ผลกระทบต่อสิ่งแวดล้อมนั้นสำคัญ การฝึกอบรมโมเดล AI ขนาดใหญ่ในปัจจุบันต้องการทรัพยากรการคำนวณและพลังงานที่มาก หากสามารถบรรลุผลลัพธ์ที่ดีเท่ากับการใช้ข้อมูลที่น้อยกว่ามาก ค่าใช้จ่ายด้านสิ่งแวดล้อมในการพัฒนา AI ก็อาจลดลงได้อย่างมาก

ผลกระทบต่อการเปิดกว้างของนวัตกรรมอาจมีความสำคัญเท่ากัน ทีมวิจัยและองค์กรขนาดเล็กที่ไม่สามารถเข้าถึงการเก็บเกี่ยวข้อมูลขนาดใหญ่ในอดีตได้ ตอนนี้มีทางเลือกในการพัฒนา AI ที่แข่งขันได้ การพัฒนานี้อาจเร่งการสร้างสรรค์นวัตกรรมและเพิ่มมุมมองความหลากหลายในการพัฒนา AI

ข้อจำกัดและข้อพิจารณา

尽管วิธีการนี้มีผลลัพธ์ที่น่าสนใจ แต่ก็ยังมีข้อจำกัดและข้อพิจารณาที่ต้องคำนึงถึง การต้องการผู้ให้ข้อมูลโดยผู้เชี่ยวชาญที่มีคุณภาพสูงอาจจำกัดความสามารถในการใช้งานในโดเมนที่ไม่มีความเชี่ยวชาญหรือเกณฑ์การประเมินที่ชัดเจน การวิจัยนี้มุ่งเน้นไปที่งานจำแนกประเภทและงานด้านความปลอดภัยของเนื้อหา ไม่ทราบว่าผลลัพธ์ที่ดีเท่ากันจะสามารถบรรลุได้หรือไม่สำหรับงาน AI อื่นๆ เช่น การสร้างภาษาหรือการให้เหตุผล

การวนรอบที่ต่อเนื่องกันของการเรียนรู้แบบกระตือรือร้นยังแนะนำความซับซ้อนเมื่อเทียบกับการประมวลผลแบบแบตช์แบบดั้งเดิม องค์กรจะต้องพัฒนากระบวนการทำงานและโครงสร้างพื้นฐานใหม่เพื่อสนับสนุนการวนรอบคำถามและคำตอบที่ช่วยให้โมเดลปรับปรุงอย่างต่อเนื่อง

การวิจัยในอนาคตอาจสำรวจวิธีการอัตโนมัติในการรักษาคุณภาพการให้ข้อมูลที่สูงและพัฒนาวิธีการเฉพาะโดเมนของวิธีการหลัก การบูรณาการหลักการเรียนรู้แบบกระตือรือร้นกับเทคนิคการเพิ่มประสิทธิภาพอื่นๆ เช่น การปรับให้เหมาะสมแบบพารามิเตอร์อาจให้ผลลัพธ์ที่ดีขึ้นได้

ข้อสรุป

การวิจัยของ Google แสดงให้เห็นว่าข้อมูลที่มีคุณภาพสูงสามารถมีประสิทธิภาพมากกว่าข้อมูลที่มีขนาดใหญ่ โดยการมุ่งเน้นไปที่การให้ข้อมูลเฉพาะตัวอย่างที่มีค่ามากที่สุด พวกเขาลดความต้องการการฝึกอบรมได้ถึง 10,000 เท่า ในขณะเดียวกันก็ปรับปรุงประสิทธิภาพของโมเดล วิธีการนี้ช่วยลดค่าใช้จ่าย เพิ่มความเร็วในการพัฒนา ลดผลกระทบต่อสิ่งแวดล้อม และทำให้ AI ที่มีความสามารถสูงสามารถเข้าถึงได้มากขึ้น นี่เป็นการเปลี่ยนแปลงที่สำคัญต่อการพัฒนา AI ที่มีประสิทธิภาพและยั่งยืน