ปัญญาประดิษฐ์

DeepMind เปิดตัวอัลกอริทึม JEST: ทำให้การฝึกอบรมโมเดล AI เร็วขึ้น ราคาถูกกว่า และเป็นมิตรกับสิ่งแวดล้อมมากขึ้น

mm
เผยแพร่
อัปเดต

AI ที่สร้างขึ้นได้สร้างความก้าวหน้าที่น่าเหลือเชื่อ โดยเปลี่ยนแปลงพื้นที่ต่างๆ เช่น การแพทย์ การศึกษา การเงิน ศิลปะ กีฬา ฯลฯ ความก้าวหน้านี้ส่วนใหญ่มาจากการปรับปรุงความสามารถของ AI ในการเรียนรู้จากชุดข้อมูลขนาดใหญ่และสร้างโมเดลที่ซับซ้อนกว่าด้วยพารามิเตอร์หลายพันล้าน แม้ว่าการพัฒนานี้จะนำไปสู่การค้นพบทางวิทยาศาสตร์ที่สำคัญ การสร้างโอกาสทางธุรกิจใหม่ๆ และการเติบโตทางอุตสาหกรรม แต่ก็มีค่าใช้จ่ายสูง โดยเฉพาะอย่างยิ่งเมื่อพิจารณาถึงผลกระทบทางการเงินและสิ่งแวดล้อมจากการฝึกอบรมโมเดลขนาดใหญ่เหล่านี้ อัลกอริทึมการเรียนรู้ต้องการพลังการคำนวณที่สำคัญในการฝึกอบรมโมเดล AI ที่สร้างขึ้นโดยใช้ชุดข้อมูลขนาดใหญ่ ซึ่งนำไปสู่การบริโภคพลังงานสูงและผลกระทบต่อสิ่งแวดล้อมที่สำคัญ

ในขณะที่ความพยายามก่อนหน้านี้ในการทำให้ AI ที่สร้างขึ้นยั่งยืนได้เน้นไปที่การปรับปรุงประสิทธิภาพของฮาร์ดแวร์สำหรับการฝึกอบรม AI และพัฒนามอเดลที่เล็กกว่าด้วยพารามิเตอร์ที่น้อยลง Google DeepMind ได้ใช้แนวทางใหม่ โดยมุ่งเน้นไปที่การปรับปรุงประสิทธิภาพของอัลกอริทึมการฝึกอบรม AI พวกเขาได้พัฒนาอัลกอริทึมใหม่ คือ JEST (Joint Example Selection) ซึ่งทำงานเร็วขึ้น 13 เท่าและใช้พลังงานน้อยกว่าเทคนิคปัจจุบัน 10 เท่า

ในบทความนี้ เราจะสำรวจความท้าทายของการฝึกอบรม AI และวิธีที่ JEST จัดการกับปัญหาเหล่านี้ นอกจากนี้เรายังพิจารณาผลกระทบในวงกว้างและทิศทางการวิจัยในอนาคตสำหรับอัลกอริทึม JEST โดยมองเห็นถึงผลกระทบที่อาจเกิดขึ้นมากกว่าการเพิ่มความเร็ว ความคุ้มค่า และความเป็นมิตรกับสิ่งแวดล้อมในการฝึกอบรม AI

ความท้าทายของการฝึกอบรม AI: ต้นทุนสูงและผลกระทบต่อสิ่งแวดล้อม

การฝึกอบรมโมเดล AI ที่สร้างขึ้นเป็นเรื่องที่ท้าทายเนื่องจากต้นทุนสูงและผลกระทบต่อสิ่งแวดล้อมที่สำคัญ

  • ต้นทุนทางการเงิน: การฝึกอบรมโมเดล AI ที่สร้างขึ้นเป็นเรื่องที่มีค่าใช้จ่ายสูง การประมาณการล่าสุดแสดงว่าการฝึกอบรมโมเดลขนาดใหญ่เพียงหนึ่งโมเดล เช่น OpenAI’s GPT-3 ที่มีพารามิเตอร์ 175 พันล้าน สามารถมีค่าใช้จ่าย ประมาณ 4.6 ล้านดอลลาร์สหรัฐฯ การฝึกอบรม ChatGPT-4 มีค่าใช้จ่าย OpenAI ประมาณ 100 ล้านดอลลาร์สหรัฐฯ ค่าใช้จ่ายเหล่านี้ส่วนใหญ่เกิดจากทรัพยากรการคำนวณขนาดใหญ่ การประมวลผลข้อมูลอย่างกว้างขวาง และเวลาการฝึกอบรมที่ยาวนาน
  • การบริโภคพลังงาน: การฝึกอบรม AI ที่สร้างขึ้นเป็นกระบวนการที่ใช้พลังงานสูง การฝึกอบรมโมเดลเหล่านี้เกี่ยวข้องกับ GPU หลายพันเครื่องและบริโภคพลังงานหลายกิกะวัตต์ชั่วโมง ทำให้กระบวนการนี้ใช้พลังงานสูงมาก ศูนย์ข้อมูลซึ่งเป็นที่อยู่ของโครงสร้างพื้นฐานการคำนวณสำหรับการฝึกอบรม AI บริโภคพลังงานประมาณ 200 เทอระวัตต์ชั่วโมง (TWh) ต่อปี ซึ่งเท่ากับ 1% ของความต้องการไฟฟ้าทั่วโลก รายงานของ McKinsey คาดการณ์ว่าการบริโภคพลังงานของศูนย์ข้อมูลในสหรัฐฯ อาจเพิ่มขึ้นจาก 17 กิกะวัตต์ (GW) ในปี 2017 เป็น 35 GW ในปี 2030 ซึ่งจำเป็นต้องมีการผลิตไฟฟ้าที่เทียบเท่ากับอ่างเก็บน้ำ 9 อ่างเพื่อตอบสนองความต้องการเพิ่มเติมนี้
  • รอยเท้าของคาร์บอน: การบริโภคพลังงานสูงของการฝึกอบรม AI ที่สร้างขึ้นเป็นผลกระทบต่อสิ่งแวดล้อมที่สำคัญ การศึกษาของมหาวิทยาลัยแมสซาชูเซตส์ แอมเฮิร์สต์ พบว่าการฝึกอบรมโมเดล AI ขนาดใหญ่หนึ่งโมเดลสามารถปล่อยก๊าซคาร์บอนไดออกไซด์เท่ากับรถยนต์ 5 คันตลอดอายุการใช้งาน โดยเฉพาะอย่างยิ่ง การฝึกอบรมโมเดล AI เพียงหนึ่งครั้งสามารถปล่อยก๊าซคาร์บอนไดออกไซด์ได้มากกว่า 626,000 ปอนด์ เทียบเท่ากับรอยเท้าของคาร์บอนของเที่ยวบินข้ามทวีป 315 เที่ยว

ความท้าทายเหล่านี้เกิดจากสองแหล่งหลัก: การพึ่งพาโครงสร้างพื้นฐานการคำนวณที่ใช้พลังงานสูงและการไม่มีประสิทธิภาพของอัลกอริทึมการฝึกอบรมในปัจจุบัน แม้ว่าชุมชน AI จะได้สร้างความก้าวหน้าในการพัฒนาฮาร์ดแวร์ที่ใช้พลังงานน้อยลง แต่ก็จำเป็นต้องมีการเน้นไปที่การสร้างอัลกอริทึมที่ฉลาดขึ้นซึ่งสามารถเพิ่มประสิทธิภาพการใช้ข้อมูลและลดเวลาการฝึกอบรม อัลกอริทึม JEST ของ Google เป็นการวิจัยที่มีนวัตกรรมเพื่อทำให้อัลกอริทึมการฝึกอบรม AI ฉลาดขึ้น โดยการเลือกข้อมูลที่สำคัญ JEST เพิ่มประสิทธิภาพการฝึกอบรม AI อย่างมาก ทำให้การฝึกอบรมโมเดล AI ที่สร้างขึ้นยั่งยืนและคุ้มค่ามากขึ้น

การทำความเข้าใจอัลกอริทึม JEST

JEST เป็นอัลกอริทึมการเรียนรู้ที่ออกแบบมาเพื่อฝึกอบรมโมเดล AI ที่สร้างขึ้นแบบหลายรูปแบบได้อย่างมีประสิทธิภาพมากขึ้น เพื่อทำความเข้าใจว่า JEST ทำงานอย่างไร ให้คิดถึงการฝึกอบรม AI เป็นการแก้ปัญหาที่ซับซ้อน โดยแต่ละชิ้น (ข้อมูล) ช่วยสร้างภาพที่สมบูรณ์ (โมเดล AI) JEST ทำงานเหมือนผู้แก้ปัญหาที่มีประสบการณ์ ทำให้กระบวนการนี้มีประสิทธิภาพมากขึ้น เช่นเดียวกับผู้แก้ปัญหาที่เลือกชิ้นที่สำคัญและแตกต่าง JEST ระบุและเลือกชุดข้อมูลที่มีค่าที่สุดจากชุดข้อมูล โดยรับประกันว่าแต่ละชุดมีบทบาทสำคัญในการพัฒนา AI

JEST ใช้โมเดล AI ที่เล็กลงในการประเมินคุณภาพของชุดข้อมูล ชุดข้อมูลเหล่านี้จึงถูกจัดอันดับตามความมีประสิทธิผลในการฝึกอบรมโมเดล โดยใช้ชุดข้อมูลที่เลือกอย่างรอบคอบ JEST จัดเรียงชุดข้อมูลเหล่านี้เพื่อฝึกอบรมโมเดล โดยทำหน้าที่เหมือนผู้แก้ปัญหาที่จัดเรียงชิ้นปuzzle เพื่อเพิ่มประสิทธิภาพและความสอดคล้อง JEST เพิ่มความเร็วในการฝึกอบรมอย่างมากโดยการจัดลำดับความสำคัญและเลือกชุดข้อมูลที่ให้ข้อมูลมากที่สุด

ส่วนสำคัญของแนวทาง JEST คือการเรียนรู้แบบสอดคล้องหลายรูปแบบ (multimodal contrastive learning) เทคนิคนี้มุ่งเน้นไปที่การเรียนรู้ความสัมพันธ์ระหว่างประเภทข้อมูลต่างๆ เช่น ข้อความและภาพ JEST ใช้วิธีการเรียนรู้แบบสอดคล้องหลายรูปแบบเพื่อประเมินประสิทธิผลของตัวอย่างข้อมูลหลายรูปแบบในการฝึกอบรมโมเดล นอกเหนือจากประสิทธิผลของตัวอย่างข้อมูลแต่ละตัวอย่าง JEST ยังประเมินความสามารถในการเรียนรู้ร่วมกันของตัวอย่างข้อมูลเพื่อเลือกชุดข้อมูลขนาดเล็กจาก “ซูเปอร์แบตช์” ขนาดใหญ่ กระบวนการนี้ช่วยให้ JEST เลือกและจัดลำดับความสำคัญของชุดข้อมูลที่ให้ความท้าทายและโอกาสในการเรียนรู้ที่ดี

มองไปข้างหน้า: JEST นอกเหนือจากการฝึกอบรม AI ที่เร็วขึ้น ราคาถูกกว่า และเป็นมิตรกับสิ่งแวดล้อมมากขึ้น

เมื่อเราสำรวจผลกระทบในอนาคตของ JEST (Joint Example Selection) มันชัดเจนว่าสิ่งที่ JEST มีส่วนร่วมนั้นมากกว่าการเพิ่มความเร็วในการฝึกอบรม AI การลดต้นทุน และการส่งเสริมความยั่งยืนของสิ่งแวดล้อม เราจะพิจารณาว่า JEST สามารถปรับปรุงและเปลี่ยนแปลงสาขา AI ที่สร้างขึ้นได้อย่างไร:

  • การปรับปรุงประสิทธิภาพและความแม่นยำของโมเดล: แนวทางใหม่ของ JEST ในการเลือกและจัดลำดับความสำคัญของข้อมูลนำไปสู่การฝึกอบรมที่เร็วขึ้นและประสิทธิภาพของโมเดลที่ดีขึ้น โดยการเน้นไปที่ชุดข้อมูลที่ให้ข้อมูลมากที่สุด JEST รับประกันว่าโมเดล AI จะได้รับการฝึกอบรมจากข้อมูลที่มีคุณภาพสูง ซึ่งปรับปรุงความแม่นยำและความแข็งแกร่งของโมเดล นี่เป็นข้อได้เปรียบที่สำคัญในแอปพลิเคชันที่ความแม่นยำและความน่าเชื่อถือเป็นสิ่งสำคัญ เช่น การวินิจฉัยทางการแพทย์ การคาดการณ์ทางการเงิน และระบบอัตโนมัติ
  • การระบุและบรรเทาผลกระทบของข้อมูลที่มีอคติ: AI มีความเสี่ยงต่อชุดข้อมูลที่มีอคติ โดยที่บางกลุ่มหรือมุมมองไม่ได้รับการแสดงถึงหรือแสดงถึงไม่ถูกต้อง แนวทางของ JEST ในการเลือกข้อมูลเกี่ยวข้องกับการประเมินคุณภาพและความให้ข้อมูลของชุดข้อมูล โดยการจัดลำดับความสำคัญของตัวอย่างข้อมูลที่หลากหลายและเป็นตัวแทน JEST สามารถช่วยให้ระบบ AI เรียนรู้จากชุดข้อมูลที่สมดุลมากขึ้น ลดอคติในการฝึกอบรมข้อมูล ตัวอย่างเช่น ในแอปพลิเคชัน AI ด้านสุขภาพ JEST สามารถเลือกชุดข้อมูลที่ครอบคลุมปัจจัยประชากรศาสตร์ต่างๆ ทำให้แน่ใจว่าโมเดลการวินิจฉัยทางการแพทย์จะได้รับการฝึกอบรมจากชุดข้อมูลผู้ป่วยที่หลากหลาย นี่จะลดความเสี่ยงของอคติที่อาจส่งผลกระทบต่อบางกลุ่มโดยไม่สมส่วนตามเชื้อชาติ เพศ หรือสถานะทางเศรษฐกิจและสังคม
  • การส่งเสริมนวัตกรรมและการวิจัย: โดยการลดทรัพยากรการคำนวณและเวลาที่จำเป็นสำหรับการฝึกอบรมโมเดล AI JEST ลดความยากลำบากในการเข้าสู่ระบบสำหรับนักวิจัยและผู้สร้างนวัตกรรม ทำให้เกิดระบบนิเวศที่มีชีวิตชีวาในการพัฒนา AI มากขึ้น โดยทีมงานขนาดเล็กและองค์กรสามารถทดลองและใช้โซลูชัน AI ที่ซับซ้อนได้ นอกจากนี้ ความสามารถในการทำงานที่เพิ่มขึ้นของ JEST ยังช่วยให้สามารถมุ่งเน้นไปที่การสำรวจขอบเขตใหม่ๆ ของ AI เช่น โครงสร้างใหม่ๆ อัลกอริทึมที่ซับซ้อน และกรอบการทำงานด้านจริยธรรม
  • การส่งเสริมการพัฒนา AI ที่ครอบคลุม: การพัฒนา AI ควรเกี่ยวข้องกับมุมมองและข้อมูลที่หลากหลายเพื่อลดอคติและข้อกังวลด้านจริยธรรม ความสามารถของ JEST ในการเลือกข้อมูลตามคุณค่าและความเป็นตัวแทนของข้อมูลส่งเสริมแนวปฏิบัติที่ครอบคลุมในการดูแลชุดข้อมูล นักพัฒนา AI สามารถรับประกันว่า JEST จัดการกับอคติและข้อกังวลด้านจริยธรรมได้อย่างมีประสิทธิภาพโดยการมีส่วนร่วมของทีมงานที่มีความหลากหลายในการกำหนดเกณฑ์การเลือกข้อมูล รวมถึงผู้เชี่ยวชาญด้านจริยธรรม วิทยาศาสตร์สังคม และสาขาวิชาที่เกี่ยวข้อง แนวทางนี้ส่งเสริมการพัฒนาเทคโนโลยี AI ที่มีความรับผิดชอบและครอบคลุมมากขึ้น

สรุป

การเปิดตัวอัลกอริทึม JEST ของ DeepMind เป็นก้าวสำคัญในการฝึกอบรม AI ที่สร้างขึ้น โดยการเพิ่มความเร็วในการฝึกอบรม ลดการบริโภคพลังงาน และลดต้นทุน JEST ไม่เพียงแต่ช่วยให้การฝึกอบรม AI มีประสิทธิภาพและยั่งยืนมากขึ้น แต่ยังมีศักยภาพในการปรับปรุงความแม่นยำของโมเดล ลดอคติในการฝึกอบรมข้อมูล ส่งเสริมนวัตกรรม และส่งเสริมการพัฒนา AI ที่ครอบคลุม การปรับปรุงและประยุกต์ใช้ JEST อย่างต่อเนื่องมีแนวโน้มที่จะเปลี่ยนแปลงอนาคตของ AI โดยก้าวไปสู่โซลูชัน AI ที่มีประสิทธิภาพ มีความรับผิดชอบ และยั่งยืนมากขึ้น

mm

ดร. Tehseen Zia เป็น Professor ที่ COMSATS University Islamabad โดยได้รับ PhD ใน AI จาก Vienna University of Technology, Austria มีเชี่ยวชาญด้าน Artificial Intelligence, Machine Learning, Data Science, และ Computer Vision โดยมีส่วนร่วมที่สำคัญด้วยการเผยแพร่ในวารสารวิทยาศาสตร์ที่มีชื่อเสียง ดร. Tehseen ยังได้ดำเนินโครงการอุตสาหกรรมต่างๆ ในฐานะ Principal Investigator และให้บริการเป็นที่ปรึกษาด้าน AI