ไจแอนต์ที่ถูกกลั่น: ทำไมเราต้องคิดใหม่เกี่ยวกับการพัฒนา Small AI

ในช่วงไม่กี่ปีที่ผ่านมา การแข่งขันในการพัฒนาโมเดล AI ที่มีขนาดใหญ่ขึ้นเรื่อยๆ ได้ครอบงำอุตสาหกรรมเทคโนโลยี โมเดลเหล่านี้ที่มีพารามิเตอร์หลายพันล้านมีแนวโน้มที่จะนำไปสู่ความก้าวหน้าในด้านต่างๆ ตั้งแต่การประมวลผลภาษาที่เป็นธรรมชาติไปจนถึงการรับรู้ภาพ อย่างไรก็ตาม การไล่ตามขนาดนี้อย่างไม่หยุดยั้งทำให้เกิดข้อเสียที่สำคัญในรูปแบบของต้นทุนสูงและผลกระทบต่อสิ่งแวดล้อมที่สำคัญ ในขณะที่ Small AI เสนอทางเลือกที่มีแนวโน้ม โดยให้ประสิทธิภาพและใช้พลังงานน้อยกว่า วิธีการสร้าง Small AI ในปัจจุบันยังคงต้องใช้ทรัพยากรจำนวนมาก ในการแสวงหาสมอล AI ที่ยั่งยืนและใช้งานได้จริง การสำรวจกลยุทธ์ใหม่ที่แก้ไขข้อจำกัดเหล่านี้ได้อย่างมีประสิทธิภาพจึงเป็นสิ่งสำคัญ

Small AI: วิธีแก้ปัญหาที่ยั่งยืนสำหรับต้นทุนสูงและความต้องการพลังงาน

การพัฒนาและบำรุงรักษาโมเดล AI ขนาดใหญ่เป็นงานที่มีค่าใช้จ่ายสูง การประมาณการ ชี้ให้เห็นว่าการฝึกอบรม GPT-3 มีค่าใช้จ่ายมากกว่า 4 ล้านเหรียญสหรัฐ โดยมีโมเดลที่ทันสมัยกว่าอาจมีค่าใช้จ่ายหลายล้านเหรียญ ต้นทุนเหล่านี้ รวมถึงฮาร์ดแวร์ที่จำเป็น การจัดเก็บพลังงานการคำนวณ และทรัพยากรบุคคล เป็นอุปสรรคสำหรับหลายองค์กร โดยเฉพาะองค์กรขนาดเล็กและสถาบันวิจัย สิ่งนี้สร้างสนามแข่งขันที่ไม่เท่าเทียมกัน ทำให้เข้าถึงเทคโนโลยี AI ที่ทันสมัยได้ยาก และขัดขวางนวัตกรรม

นอกจากนี้ ความต้องการพลังงานที่เกี่ยวข้องกับการฝึกอบรมโมเดล AI ขนาดใหญ่นั้นน่าประหลาดใจ ตัวอย่างเช่น การฝึกอบรมโมเดลภาษาขนาดใหญ่เช่น GPT-3 มีการประมาณการ ว่าจะใช้พลังงานไฟฟ้าประมาณ 1,300 เมกะวัตต์ชั่วโมง (MWh) ซึ่งเทียบเท่ากับการบริโภคพลังงานไฟฟ้าประจำปีของบ้านในอเมริกาทั้งหมด 130 หลัง แม้ว่าจะมีค่าใช้จ่ายในการฝึกอบรมที่สูง แต่การร้องขอ ChatGPT แต่ละครั้งจะทำให้เกิดค่าใช้จ่ายในการอนุมาน (inference cost) 2.9 วัตต์ชั่วโมง องค์การพลังงานระหว่างประเทศ (IEA) ประมาณการว่าการใช้พลังงานรวมของ AI ห้องข้อมูล และการเงินคริปโตเคอร์เรนซี่คิดเป็นเกือบ 2% ของความต้องการพลังงานทั่วโลก ซึ่งคาดว่าจะเพิ่มขึ้นสองเท่าภายในปี 2026 โดยเข้าใกล้การบริโภคไฟฟ้าทั้งหมดของญี่ปุ่น การใช้พลังงานสูงไม่เพียงแต่เพิ่มต้นทุนการดำเนินงานเท่านั้น แต่ยังช่วยเพิ่มรอยเท้าของคาร์บอน ทำให้วิกฤตสิ่งแวดล้อมเลวร้ายลง เพื่อให้เห็นภาพที่ชัดเจน นักวิจัยประมาณการว่าการฝึกอบรมโมเดล AI ขนาดใหญ่เพียงครั้งเดียวสามารถปล่อยก๊าซคาร์บอนไดออกไซด์มากกว่า 626,000 ปอนด์ ซึ่งเทียบเท่ากับการปล่อยก๊าซคาร์บอนของรถยนต์ 5 คันตลอดอายุการใช้งาน

ท่ามกลางความท้าทายเหล่านี้ Small AI เสนอทางออกที่เป็นไปได้ มันถูกออกแบบมาให้มีประสิทธิภาพและปรับขนาดได้ โดยต้องการข้อมูลและพลังงานการคำนวณน้อยกว่ามาก ซึ่งจะลดต้นทุนโดยรวมและทำให้เทคโนโลยี AI ที่ทันสมัยเข้าถึงได้สำหรับองค์กรขนาดเล็กและทีมวิจัยมากขึ้น นอกจากนี้ โมเดล Small AI ยังมีความต้องการพลังงานที่ต่ำกว่า ซึ่งช่วยลดต้นทุนการดำเนินงานและลดผลกระทบต่อสิ่งแวดล้อมด้วย โดยใช้อัลกอริทึมและวิธีการที่ได้รับการปรับให้เหมาะสม เช่น การเรียนรู้แบบถ่ายทอด (transfer learning) Small AI สามารถบรรลุประสิทธิภาพสูงด้วยทรัพยากรที่น้อยกว่า วิธีการนี้ไม่เพียงแต่ทำให้ AI มีราคาไม่แพงเท่านั้น แต่ยังสนับสนุนความยั่งยืนโดยการลดการบริโภคพลังงานและก๊าซคาร์บอนให้เหลือน้อยที่สุด

วิธีการสร้างโมเดล Small AI ในปัจจุบัน

การรับรู้ถึงข้อดีของ Small AI บริษัทเทคโนโลยีรายใหญ่ๆ เช่น Google (GOOGL ), OpenAI และ Meta ได้ให้ความสนใจในการพัฒนาโมเดลที่กะทัดรัดมากขึ้น การเปลี่ยนแปลงนี้นำไปสู่การพัฒนาโมเดล เช่น Gemini Flash, GPT-4o Mini และ Llama 7B โมเดลขนาดเล็กเหล่านี้ส่วนใหญ่ถูกพัฒนาโดยใช้เทคนิคที่เรียกว่า การกลั่นความรู้ (knowledge distillation)

ในแก่นกลาง การกลั่นความรู้เกี่ยวข้องกับการถ่ายทอดความรู้จากโมเดลขนาดใหญ่ที่ซับซ้อนไปยังโมเดลขนาดเล็กที่มีประสิทธิภาพมากกว่า ในกระบวนการนี้ โมเดล “ครู” (teacher model) ซึ่งเป็นโมเดล AI ขนาดใหญ่ จะถูกฝึกอบรมบนเซตข้อมูลที่กว้างขวางเพื่อเรียนรู้รูปแบบและความแตกต่างที่ซับซ้อน โมเดลนี้จะสร้างการคาดเดาหรือ “ป้ายกำกับอ่อน” (soft labels) ที่ครอบคลุมความเข้าใจที่ลึกซึ้ง

โมเดล “นักเรียน” (student model) ซึ่งเป็นโมเดล Small AI จะถูกฝึกอบรมให้จำลองป้ายกำกับอ่อนเหล่านี้ โดยการจำลองพฤติกรรมของครู โมเดลนักเรียนจะจับภาพความรู้และประสิทธิภาพของครูได้มากโดยใช้พารามิเตอร์ที่น้อยกว่าอย่างมีนัยสำคัญ

ทำไมเราต้องไปไกลกว่าการกลั่นโมเดล AI ขนาดใหญ่

แม้ว่าการกลั่นโมเดล AI ขนาดใหญ่จะกลายเป็นวิธีการที่ได้รับความนิยมในการสร้าง Small AI แต่ก็มีเหตุผลที่น่าสนใจหลายประการว่าทำไมวิธีการนี้อาจไม่ใช่วิธีแก้ปัญหาสำหรับทุกความท้าทายในการพัฒนา AI ขนาดใหญ่

• การอาศัยโมเดลขนาดใหญ่: แม้ว่าการกลั่นจะสร้างโมเดล AI ที่เล็กลงและใช้พลังงานน้อยกว่า แต่ก็ยังคงต้องอาศัยการฝึกอบรมโมเดล AI ขนาดใหญ่ในตอนแรก ซึ่งหมายความว่าการสร้างโมเดล Small AI ยังคงต้องใช้ทรัพยากรการคำนวณและพลังงานที่สำคัญ นำไปสู่ต้นทุนสูงและผลกระทบต่อสิ่งแวดล้อม แม้ว่าการกลั่นจะพยายามลดขนาดและค่าใช้จ่ายของโมเดล AI แต่ก็ไม่ได้ขจัดต้นทุนเริ่มต้นที่สำคัญที่เกี่ยวข้องกับการฝึกอบรมโมเดล “ครู” ขนาดใหญ่ ค่าใช้จ่ายเหล่านี้อาจเป็นเรื่องที่ท้าทายอย่างยิ่งสำหรับองค์กรขนาดเล็กและกลุ่มวิจัย นอกจากนี้ ผลกระทบต่อสิ่งแวดล้อมจากการฝึกอบรมโมเดลขนาดใหญ่เหล่านี้สามารถหักล้างบางส่วนของประโยชน์ของการใช้โมเดลที่เล็กลงและใช้พลังงานน้อยกว่า
• ขอบเขตนวัตกรรมที่จำกัด: การพึ่งพาการกลั่นอาจจำกัดนวัตกรรมโดยเน้นไปที่การจำลองโมเดลขนาดใหญ่ที่มีอยู่แทนการสำรวจแนวทางใหม่ๆ ซึ่งสามารถชะลอการพัฒนาโครงสร้าง AI ใหม่ๆ หรือวิธีการที่อาจให้คำตอบที่ดีกว่าสำหรับปัญหาเฉพาะ การพึ่งพาโมเดล AI ขนาดใหญ่จะจำกัดการพัฒนา Small AI ในมือของบริษัทที่มีทรัพยากรมาก ซึ่งนำไปสู่การกระจายประโยชน์ของ Small AI ที่ไม่เท่าเทียมกัน ซึ่งสามารถขัดขวางความก้าวหน้าทางเทคโนโลยีในวงกว้างและจำกัดโอกาสในการนวัตกรรม
• ความท้าทายในการทั่วไปและปรับใช้: โมเดล Small AI ที่สร้างขึ้นผ่านการกลั่น thườngพบปัญหากับข้อมูลใหม่ที่ไม่เคยเห็นมาก่อน เนื่องจากกระบวนการกลั่นอาจไม่ได้จับความรู้ของโมเดลขนาดใหญ่ในการทั่วไปได้อย่างสมบูรณ์แบบ ในขณะที่โมเดลขนาดเล็กเหล่านี้อาจทำงานได้ดีในงานที่คุ้นเคย แต่พวกเขามักจะพบปัญหาเมื่อเผชิญกับสถานการณ์ใหม่ นอกจากนี้ การปรับโมเดลที่กลั่นแล้วให้เข้ากับโหมดหรือเซตข้อมูลใหม่ๆ มักต้องมีการฝึกอบรมหรือปรับโมเดลขนาดใหญ่ใหม่ ซึ่งอาจซับซ้อนและต้องใช้ทรัพยากรมาก ทำให้ยากที่จะปรับโมเดล Small AI ให้เข้ากับความต้องการทางเทคโนโลยีที่เปลี่ยนแปลงอย่างรวดเร็วหรือการประยุกต์ใช้ใหม่ๆ

สรุป

แม้ว่าการกลั่นโมเดล AI ขนาดใหญ่จะดูเหมือนเป็นวิธีแก้ปัญหาที่ใช้ได้ แต่ก็ยังคงต้องอาศัยต้นทุนสูงในการฝึกอบรมโมเดลขนาดใหญ่ เพื่อที่จะก้าวหน้าอย่างแท้จริงใน Small AI เราต้องสำรวจแนวทางที่สร้างสรรค์และยั่งยืนมากขึ้น ซึ่งหมายถึงการสร้างโมเดลที่ออกแบบมาเพื่อการประยุกต์ใช้เฉพาะ การปรับปรุงวิธีการฝึกอบรมให้มีประสิทธิภาพและเป็นมิตรต่อสิ่งแวดล้อมมากขึ้น และเน้นย้ำถึงความยั่งยืนของสิ่งแวดล้อม โดยการดำเนินกลยุทธ์เหล่านี้ เราสามารถพัฒนา AI ไปข้างหน้าได้อย่างมีความรับผิดชอบและเป็นประโยชน์ต่ออุตสาหกรรมและสิ่งแวดล้อม