ทำไม Orca-2 AI Model ของ Microsoft จึงเป็นก้าวสำคัญในการพัฒนา AI ที่ยั่งยืน?

尽管ใน thập kỷที่ผ่านมาได้เห็นการพัฒนาที่สำคัญของปัญญาประดิษฐ์ ซึ่งรวมถึงการเอาชนะแชมป์มนุษย์ในเกมเช่น หมากรุกและโก และ การคาดการณ์结构 3 มิติของโปรตีน การใช้ โมเดลภาษาขนาดใหญ่ (LLMs) เป็นการเปลี่ยนแปลงแนวคิดที่สำคัญ โมเดลเหล่านี้มีศักยภาพในการปฏิวัติวิธีการโต้ตอบระหว่างมนุษย์และคอมพิวเตอร์ และกลายเป็นสิ่งจำเป็นในหลายภาคส่วน รวมถึงการศึกษา บริการลูกค้า การค้นหาข้อมูล การพัฒนาซอฟต์แวร์ สื่อ และการดูแลสุขภาพ ในขณะที่ความก้าวหน้าทางเทคโนโลยีเหล่านี้เปิดเผยการผ่านพื้นที่ทางวิทยาศาสตร์และการเติบโตทางอุตสาหกรรม แต่ก็มีผลเสียต่อสิ่งแวดล้อม

กระบวนการฝึกอบรมและการใช้ LLMs ต้องการพลังงานจำนวนมาก ซึ่งส่งผลให้เกิดผลกระทบต่อสิ่งแวดล้อมที่สำคัญ โดยมีการเพิ่มขึ้นของการปล่อยก๊าซคาร์บอนและก๊าซเรือนกระจก การศึกษาล่าสุดจาก College of Information and Computer Sciences tại University of Massachusetts Amherst พบว่าการฝึกอบรม LLMs สามารถปล่อยก๊าซคาร์บอนไดออกไซด์มากกว่า 626,000 ปอนด์ ซึ่งเทียบเท่ากับการปล่อยก๊าซคาร์บอนไดออกไซด์ของรถยนต์ 5 คันตลอดอายุการใช้งาน Hugging Face ซึ่งเป็นสตาร์ทอัพ AI พบว่าการฝึกอบรม BLOOM โมเดลภาษาขนาดใหญ่ที่เปิดตัวต้นปีนี้ ส่งผลให้เกิดการปล่อยก๊าซคาร์บอนไดออกไซด์ 25 ตัน ในทำนองเดียวกัน โมเดล AI ของ Facebook Meena มีการปล่อยก๊าซคาร์บอนไดออกไซด์เทียบเท่ากับการขับรถยนต์ มากกว่า 240,000 ไมล์ ในระหว่างกระบวนการฝึกอบรม

การฝึกอบรม LLMs ส่งผลให้เกิดความต้องการคอมพิวเตอร์คลาวด์ที่เพิ่มขึ้น ซึ่งเป็นสิ่งจำเป็นสำหรับ LLMs และขณะนี้มีการปล่อยก๊าซเรือนกระจกมากกว่าอุตสาหกรรมการบิน การศึกษาอื่น ๆ เน้นย้ำว่าการฝึกอบรมโมเดลภาษาขนาดใหญ่เพียงครั้งเดียวสามารถปล่อยก๊าซคาร์บอนไดออกไซด์เทียบเท่ากับการปล่อยก๊าซคาร์บอนไดออกไซด์ของรถยนต์ 5 คันตลอดอายุการใช้งาน การคาดการณ์แสดงให้เห็นว่าการปล่อยก๊าซคาร์บอนไดออกไซด์ของ AI จะเพิ่มขึ้น 300% ภายในปี 2025 ซึ่งเน้นย้ำถึงความจำเป็นในการสร้างสมดุลระหว่างความก้าวหน้าทาง AI และความรับผิดชอบต่อสิ่งแวดล้อม และกระตุ้นให้เกิดการดำเนินการที่จะทำให้ AI มีความเป็นมิตรต่อสิ่งแวดล้อมมากขึ้น เพื่อจัดการกับผลกระทบต่อสิ่งแวดล้อมที่ไม่พึงประสงค์ของความก้าวหน้า AI ที่เพิ่มขึ้น AI ที่ยั่งยืนจึงเกิดขึ้นเป็นสาขาวิชาที่สำคัญ

AI ที่ยั่งยืน

AI ที่ยั่งยืนเป็นการเปลี่ยนแปลงแนวคิดที่สำคัญในการพัฒนาและใช้งานระบบ AI โดยมุ่งเน้นไปที่การลดผลกระทบต่อสิ่งแวดล้อม การพิจารณาด้านจริยธรรม และผลประโยชน์ต่อสังคมในระยะยาว แนวทางนี้มีเป้าหมายที่จะสร้างระบบ AI ที่มีประสิทธิภาพด้านพลังงาน มีความรับผิดชอบต่อสิ่งแวดล้อม และสอดคล้องกับค่านิยมของมนุษย์ AI ที่ยั่งยืนมุ่งเน้นไปที่การใช้พลังงานสะอาดสำหรับคอมพิวเตอร์ อัลกอริทึมที่ฉลาดซึ่งใช้พลังงานน้อยลง และการปฏิบัติตามแนวทางด้านจริยธรรมเพื่อให้แน่ใจว่าการตัดสินใจที่ยุติธรรมและโปร่งใส

จาก LLMs ไปสู่ Small Language Models (SLMs)

ในความพยายามที่จะพัฒนา AI ที่ยั่งยืน Microsoft (MSFT ) กำลังทำงานในการพัฒนา Small Language Models (SLMs) เพื่อให้สอดคล้องกับความสามารถของ LLMs ในความพยายามนี้พวกเขาทำการแนะนำ Orca-2 ซึ่งออกแบบมาเพื่อใช้เหตุผลเหมือน GPT-4 ไม่เหมือนกับ Orca-1 ที่มีพารามิเตอร์ 13 พันล้าน Orca-2 มีพารามิเตอร์ 7 พันล้านโดยใช้เทคนิคหลักสองประการ

1. การปรับให้เหมาะสมด้วยคำแนะนำ: Orca-2 ได้รับการปรับปรุงโดยการเรียนรู้จากตัวอย่าง ซึ่งช่วยปรับปรุงคุณภาพเนื้อหา ความสามารถในการใช้งานแบบ zero-shot และทักษะการใช้เหตุผลทั่ว ๆ ไป
2. การปรับให้เหมาะสมด้วยคำอธิบาย: การตระหนักถึงข้อจำกัดในการปรับให้เหมาะสมด้วยคำแนะนำ Orca-2 นำเสนอการปรับให้เหมาะสมด้วยคำอธิบาย ซึ่งเกี่ยวข้องกับการสร้างคำอธิบายที่มีรายละเอียดสำหรับโมเดลครู การเพิ่มสัญญาณการใช้เหตุผล และการปรับปรุงความเข้าใจโดยรวม

Orca-2 ใช้เทคนิคเหล่านี้เพื่อให้ได้ผลลัพธ์ที่มีประสิทธิภาพสูงในการใช้เหตุผล ซึ่งเทียบเท่ากับ LLMs ที่มีพารามิเตอร์จำนวนมาก hơn แนวคิดหลักคือการทำให้โมเดลสามารถหาวิธีที่ดีที่สุดในการแก้ปัญหา ไม่ว่าจะเป็นการให้คำตอบที่รวดเร็วหรือการคิดอย่างรอบคอบ Microsoft เรียกว่า “การใช้เหตุผลอย่างระมัดระวัง”

ในการฝึกอบรม Orca-2 Microsoft สร้างชุดข้อมูลฝึกอบรมใหม่โดยใช้ FLAN annotations Orca-1 และชุดข้อมูล Orca-2 พวกเขาเริ่มต้นด้วยคำถามที่ง่าย ๆ เพิ่มคำถามที่ยากขึ้น และใช้ข้อมูลจากโมเดลที่พูดเพื่อให้สมาร์ทมากขึ้น

Orca-2 ผ่านการประเมินที่ครอบคลุม ซึ่งรวมถึงการใช้เหตุผล การเติมข้อความ การยึดหลักจริง ความจริงใจ และความปลอดภัย ผลลัพธ์แสดงให้เห็นถึงศักยภาพในการปรับปรุงการใช้เหตุผลของ SLMs ผ่านการฝึกอบรมแบบสังเคราะห์บนข้อมูลสังเคราะห์ แม้ว่าจะมีข้อจำกัดบางประการ แต่ Orca-2 แสดงให้เห็นถึงความหวังสำหรับการปรับปรุงในอนาคตในการใช้เหตุผล การควบคุม และความปลอดภัย โดยพิสูจน์ถึงประสิทธิผลของการนำข้อมูลสังเคราะห์มาใช้อย่างมีกลยุทธ์ในการปรับปรุงโมเดลหลังการฝึกอบรม

ความสำคัญของ Orca-2 ในการนำ AI ที่ยั่งยืนมาใช้

Orca-2 เป็นตัวอย่างที่สำคัญของการนำ AI ที่ยั่งยืนมาใช้ โดยท้าทายความเชื่อที่ว่าเฉพาะโมเดลขนาดใหญ่เท่านั้นที่สามารถพัฒนา AI ได้ โมเดลภาษาขนาดเล็กนี้นำเสนอมุมมองที่แตกต่าง โดยเสนอว่าการบรรลุความเป็นเลิศในโมเดลภาษาไม่จำเป็นต้องต้องใช้ข้อมูลจำนวนมากและพลังการประมวลผลที่กว้างขวาง แต่เน้นย้ำถึงความสำคัญของการออกแบบที่ฉลาดและการบูรณาการที่มีประสิทธิภาพ

การเปิดตัวครั้งนี้เปิดโอกาสใหม่ ๆ โดยการเปลี่ยนจุดสนใจจากการจัดขนาด AI ที่ใหญ่ขึ้นไปสู่การเน้นย้ำถึงวิธีการออกแบบ AI การเปลี่ยนแปลงครั้งนี้เป็นขั้นตอนที่สำคัญในการทำให้ AI ที่ทันสมัยเข้าถึงกลุ่มคนและองค์กรได้กว้างขึ้น โดยรับประกันว่าการสร้างสรรค์นวัตกรรมจะครอบคลุมและเข้าถึงคนและองค์กรได้มากขึ้น

Orca-2 มีศักยภาพที่จะส่งผลกระทบอย่างมีนัยสำคัญต่อการพัฒนาโมเดลภาษาในอนาคต ไม่ว่าจะเป็นการปรับปรุงงานที่เกี่ยวข้องกับการประมวลผลภาษาที่เป็นธรรมชาติหรือการเปิดใช้งานแอปพลิเคชัน AI ที่ซับซ้อนมากขึ้นในอุตสาหกรรมต่าง ๆ โมเดลขนาดเล็กเหล่านี้พร้อมที่จะนำมาซึ่งการเปลี่ยนแปลงเชิงบวกที่สำคัญ นอกจากนี้ยังเป็นตัวบ่งชี้ในการส่งเสริมแนวปฏิบัติ AI ที่ยั่งยืนมากขึ้น โดยจัดตำแหน่งความก้าวหน้าทางเทคโนโลยีพร้อมกับความมุ่งมั่นต่อสิ่งแวดล้อม

สรุป

Orca-2 ของ Microsoft เป็นการเคลื่อนไหวที่สำคัญในการนำ AI ที่ยั่งยืนมาใช้ โดยท้าทายความเชื่อที่ว่าเฉพาะโมเดลขนาดใหญ่เท่านั้นที่สามารถพัฒนา AI ได้ โดยการจัดลำดับความสำคัญของการออกแบบที่ฉลาดมากกว่าขนาด Orca-2 เปิดโอกาสใหม่ ๆ โดยนำเสนอแนวทางที่ครอบคลุมและรับผิดชอบต่อสิ่งแวดล้อมมากขึ้นในการพัฒนา AI ที่ทันสมัย การเปลี่ยนแปลงครั้งนี้เป็นขั้นตอนที่สำคัญในการสร้างพาราไดม์ใหม่ในการออกแบบระบบอัจฉริยะ