Gemma: Google นำเสนอความสามารถ AI ขั้นสูงผ่านโอเพ่นซอร์ส

สาขาวิชาเรียนรู้ของเครื่อง (AI) ได้เห็นความก้าวหน้าอย่างมากในช่วงไม่กี่ปีที่ผ่านมา ซึ่งได้รับแรงผลักดันจากการพัฒนาที่สำคัญในด้าน การเรียนรู้ลึก และ การประมวลผลภาษาธรรมชาติ (NLP)

ที่แนวหน้าของความก้าวหน้าเหล่านี้คือ โมเดลภาษาขนาดใหญ่ (LLMs) – ระบบ AI ที่ได้รับการฝึกฝนบนข้อมูลข้อความจำนวนมากที่สามารถสร้างข้อความที่เหมือนมนุษย์และมีส่วนร่วมในการสนทนา

LLMs เช่น PaLM ของ Google (GOOGL ), Claude ของ Anthropic และ Gopher ของ DeepMind ได้แสดงให้เห็นถึงความสามารถที่น่าประทับใจ ตั้งแต่การเขียนโค้ดไปจนถึงการให้เหตุผลทั่วไป อย่างไรก็ตาม โมเดลส่วนใหญ่เหล่านี้ไม่ได้รับการเผยแพร่สาธารณะ ซึ่งจำกัดการเข้าถึงสำหรับการวิจัย การพัฒนา และการประยุกต์ใช้ที่เป็นประโยชน์

ภาพรวมของ Gemma

ในเดือนกุมภาพันธ์ 2023 DeepMind เผยแพร่ Gemma ซึ่งเป็นโมเดล LLM ขนาดใหญ่สองรุ่น – รุ่น 2 พันล้านพารามิเตอร์ที่ได้รับการปรับให้เหมาะสมสำหรับการใช้งานบนอุปกรณ์ และรุ่น 7 พันล้านพารามิเตอร์ที่ได้รับการออกแบบสำหรับการใช้งาน GPU/TPU

Gemma ใช้โครงสร้างแบบทรานส์ฟอร์เมอร์และวิธีการฝึกที่คล้ายกับโมเดล Gemini ของ DeepMind ได้รับการฝึกฝนบนข้อมูลข้อความจำนวนมากถึง 6 ล้านล้านตัวอักษร รวมถึงเอกสารเว็บ ข้อความทางคณิตศาสตร์ และโค้ด

DeepMind เผยแพร่เช็คพอยต์ที่ได้รับการฝึกฝนแบบดิบของ Gemma รวมถึงรุ่นที่ได้รับการปรับให้เหมาะสมด้วยการเรียนรู้แบบมีคำแนะนำและข้อเสนอแนะจากมนุษย์สำหรับการเพิ่มความสามารถในด้านต่างๆ เช่น การสนทนา การปฏิบัติตามคำแนะนำ และการเขียนโค้ด

การเริ่มต้นใช้งาน Gemma

การเผยแพร่ Gemma ทำให้ความสามารถ AI ขั้นสูงของมันสามารถเข้าถึงได้สำหรับนักพัฒนา นักวิจัย และนักสนใจทั่วไป นี่คือคำแนะนำในการเริ่มต้น:

การปรับใช้แบบอิสระจากแพลตฟอร์ม

จุดแข็งหลักของ Gemma คือความยืดหยุ่น – คุณสามารถรัน Gemma บน CPU, GPU หรือ TPU สำหรับ CPU คุณสามารถใช้ TensorFlow Lite หรือ HuggingFace Transformers สำหรับการเพิ่มประสิทธิภาพบน GPU/TPU คุณสามารถใช้ TensorFlow ได้ บริการคลาวด์ เช่น Vertex AI ของ Google Cloud ยังให้การปรับขนาดที่ราบรื่น

การเข้าถึงโมเดลที่ได้รับการฝึกฝนแล้ว

Gemma มีหลายรุ่นที่ได้รับการฝึกฝนแล้วขึ้นอยู่กับความต้องการของคุณ โมเดล 2B และ 7B มีความสามารถในการสร้างข้อความที่แข็งแกร่งโดยไม่ต้องมีการฝึกฝนเพิ่มเติม สำหรับการปรับให้เหมาะสมแบบกำหนดเอง โมเดล 2B-FT และ 7B-FT เป็นจุดเริ่มต้นที่เหมาะสม

การสร้างแอปพลิเคชันที่น่าตื่นเต้น

คุณสามารถสร้างแอปพลิเคชันต่างๆ ได้มากมายด้วย Gemma เช่น การสร้างเรื่องราว การแปลภาษา การตอบคำถาม และการผลิตเนื้อหาที่สร้างสรรค์ กุญแจสำคัญคือการใช้ความสามารถของ Gemma ผ่านการฝึกฝนบนเซตข้อมูลของคุณเอง

สถาปัตยกรรม

Gemma ใช้สถาปัตยกรรมทรานส์ฟอร์เมอร์แบบดีเคอเดอร์เท่านั้น โดยสร้างขึ้นจากความก้าวหน้าเช่น การให้ความสนใจแบบหลายคำถามและการฝังตำแหน่งแบบโรตารี่:

• ทรานส์ฟอร์เมอร์: สถาปัตยกรรมทรานส์ฟอร์เมอร์ที่อาศัยกลไกการให้ความสนใจเพียงอย่างเดียวซึ่งได้รับการแนะนำในปี 2017 ได้กลายเป็นสิ่งที่พบเห็นได้ทั่วไปใน NLP Gemma สืบทอดความสามารถของทรานส์ฟอร์เมอร์ในการสร้างแบบจำลองความสัมพันธ์ระยะไกลในข้อความ
• ดีเคอเดอร์เท่านั้น: Gemma ใช้เพียงสแต็คดีเคอเดอร์ของทรานส์ฟอร์เมอร์ ไม่เหมือนกับโมเดลแบบอินโคเดอร์-ดีเคอเดอร์ เช่น BART หรือ T5 ซึ่งให้ความสามารถในการสร้างข้อความที่แข็งแกร่งสำหรับงานเช่นการสร้างข้อความ
• การให้ความสนใจแบบหลายคำถาม: Gemma ใช้การให้ความสนใจแบบหลายคำถามในโมเดลที่ใหญ่กว่า ทำให้แต่ละหัวการให้ความสนใจสามารถประมวลผลหลายคำถามพร้อมกันสำหรับการอนุมานที่เร็วขึ้น
• การฝังตำแหน่งแบบโรตารี่: Gemma แสดงข้อมูลตำแหน่งโดยใช้การฝังแบบโรตารี่แทนการเข้ารหัสตำแหน่งแบบสัมบูรณ์ เทคนิคนี้ช่วยลดขนาดของโมเดลในขณะที่ยังคงรักษาข้อมูลตำแหน่ง

การใช้เทคนิค เช่น การให้ความสนใจแบบหลายคำถามและการฝังตำแหน่งแบบโรตารี่ ทำให้โมเดล Gemma สามารถบรรลุความสมดุลที่เหมาะสมระหว่างประสิทธิภาพ ความเร็วในการอนุมาน และขนาดของโมเดล

ข้อมูลและการฝึกอบรม

Gemma ได้รับการฝึกฝนบนข้อมูลข้อความจำนวนมากถึง 6 ล้านล้านตัวอักษร โดยส่วนใหญ่เป็นภาษาอังกฤษ ซึ่งรวมถึงเอกสารเว็บ ข้อความทางคณิตศาสตร์ และโค้ด DeepMind ลงทุนความพยายามอย่างมากในการกรองข้อมูล โดยการลบข้อความที่เป็นอันตรายหรือไม่เหมาะสมออกโดยใช้เครื่องจำแนกและหลักการ

การฝึกอบรมได้รับการดำเนินการโดยใช้โครงสร้าง TPUv5 ของ Google โดยมี TPU สูงสุด 4,096 ตัวที่ใช้ในการฝึก Gemma-7B เทคนิคการขนานข้อมูลและโมเดลที่มีประสิทธิภาพทำให้สามารถฝึกโมเดลขนาดใหญ่ได้ด้วยฮาร์ดแวร์ทั่วไป

การฝึกแบบหลายขั้นตอนได้รับการใช้ โดยปรับเปลี่ยนการกระจายข้อมูลอย่างต่อเนื่องเพื่อมุ่งเน้นไปที่ข้อความที่มีคุณภาพสูงและเกี่ยวข้อง ช่วงการฝึกแบบดูแลในขั้นตอนสุดท้ายใช้การผสมผสานระหว่างตัวอย่างคำแนะนำที่สร้างโดยมนุษย์และสังเคราะห์เพื่อเพิ่มความสามารถในด้านต่างๆ เช่น การสนทนา การปฏิบัติตามคำแนะนำ และการเขียนโค้ด

ประสิทธิภาพของโมเดล

DeepMind ประเมิน Gemma อย่างเข้มงวดบนชุดบンチมาร์กมากกว่า 25 ชุด ซึ่งครอบคลุมการถามคำตอบ การให้เหตุผล คณิตศาสตร์ การเขียนโค้ด ความรู้ทั่วไป และความสามารถในการสนทนา

Gemma ประสบความสำเร็จในการบรรลุผลลัพธ์ที่ดีที่สุดเทียบกับโมเดลโอเพ่นซอร์สที่มีขนาดคล้ายกันในหลายชุดบンチมาร์ก มีไฮไลท์บางประการ:

• คณิตศาสตร์: Gemma excels ในการทดสอบการให้เหตุผลทางคณิตศาสตร์ เช่น GSM8K และ MATH โดยเอาชนะโมเดล เช่น Codex และ Claude ของ Anthropic มากกว่า 10 คะแนน
• การเขียนโค้ด: Gemma เหมือนหรือเกินประสิทธิภาพของ Codex ในบンチมาร์กการเขียนโค้ด เช่น MBPP แม้ว่าจะไม่ได้รับการฝึกฝนโดยเฉพาะบนโค้ดก็ตาม
• การสนทนา: Gemma แสดงให้เห็นถึงความสามารถในการสนทนาที่แข็งแกร่งด้วยอัตราชนะ 51.7% เหนือ Mistral-7B ของ Anthropic ในการทดสอบความชอบของมนุษย์
• การให้เหตุผล: ในงานที่ต้องใช้การอนุมาน เช่น ARC และ Winogrande Gemma เหนือโมเดลอื่นๆ ที่มีขนาด 7 พันล้านพารามิเตอร์ 5-10 คะแนน

ความสามารถที่หลากหลายของ Gemma ทั่วทั้งระเบียบวิธีแสดงให้เห็นถึงความสามารถทั่วไปที่แข็งแกร่ง แม้ว่ายังคงมีช่องว่างในการบรรลุประสิทธิภาพระดับมนุษย์ แต่ Gemma ก็แสดงถึงความก้าวหน้าใน NLP แบบโอเพ่นซอร์ส

ความปลอดภัยและความรับผิดชอบ

การเผยแพร่น้ำหนักแบบโอเพ่นซอร์สของโมเดลขนาดใหญ่ทำให้เกิดความท้าทายเกี่ยวกับการใช้ในทางที่ผิดและการเอนเอียงที่มีอยู่ในโมเดล DeepMind ได้ดำเนินการเพื่อลดความเสี่ยง:

• การกรองข้อมูล: ข้อความที่อาจเป็นอันตราย ผิดกฎหมาย หรือมีอคติได้รับการลบออกจากเซตข้อมูลการฝึกโดยใช้เครื่องจำแนกและหลักการ
• การประเมิน: Gemma ได้รับการทดสอบบนชุดบンチมาร์กมากกว่า 30 ชุด ซึ่งได้รับการคัดเลือกเพื่อประเมินความปลอดภัย ความยุติธรรม และความแข็งแกร่ง มันสามารถเทียบหรือเกินประสิทธิภาพของโมเดลอื่นๆ
• การปรับให้เหมาะสม: การปรับให้เหมาะสมของโมเดลมุ่งเน้นไปที่การปรับปรุงความสามารถด้านความปลอดภัย เช่น การกรองข้อมูลและการปฏิเสธ/การปฏิเสธพฤติกรรมที่เหมาะสม
• เงื่อนไขการใช้: เงื่อนไขการใช้ห้ามการใช้ Gemma ในการประยุกต์ใช้ที่เป็นอันตราย ผิดกฎหมาย หรือไม่เหมาะสม อย่างไรก็ตาม การบังคับใช้ยังคงเป็นเรื่องที่ท้าทาย
• การ์ดโมเดล: การ์ดที่ให้รายละเอียดเกี่ยวกับความสามารถ ข้อจำกัด และอคติของโมเดลได้รับการเผยแพร่เพื่อส่งเสริมความโปร่งใส

แม้ว่าจะมีความเสี่ยงจากการเผยแพร่แบบโอเพ่นซอร์ส แต่ DeepMind พิจารณาว่าการเผยแพร่ Gemma มีประโยชน์ต่อสังคมสุทธิตามโปรไฟล์ความปลอดภัยและความสามารถในการอำนวยความสะดวกในการวิจัย อย่างไรก็ตาม การติดตามอย่างต่อเนื่องเกี่ยวกับอันตรายที่อาจเกิดขึ้นยังคงจำเป็น

การเปิดใช้งานคลื่นต่อไปของนวัตกรรม AI

การเผยแพร่ Gemma ในฐานะโมเดลโอเพ่นซอร์สมีศักยภาพที่จะปลดปล่อยความก้าวหน้าในกลุ่มชุมชน AI:

• ความสามารถเข้าถึง: Gemma ลดอุปสรรคสำหรับองค์กรในการสร้างด้วย NLP ขั้นสูง ซึ่งเคยเผชิญกับต้นทุนการคำนวณ/ข้อมูลสูงในการฝึกโมเดล LLM ของตนเอง
• แอปพลิเคชันใหม่: ด้วยการเผยแพร่เช็คพอยต์ที่ได้รับการฝึกฝนและปรับให้เหมาะสม DeepMind ทำให้นักพัฒนาสามารถสร้างแอปพลิเคชันที่เป็นประโยชน์ได้ง่ายขึ้นในด้านต่างๆ เช่น การศึกษา วิทยาศาสตร์ และความสามารถในการเข้าถึง
• การปรับให้เหมาะสม: นักพัฒนาสามารถปรับ Gemma ให้เหมาะสมกับแอปพลิเคชันเฉพาะอุตสาหกรรมหรือโดเมนได้โดยการฝึกอบรมต่อด้วยข้อมูลที่เป็นของตนเอง
• การวิจัย: โมเดลโอเพ่นซอร์ส เช่น Gemma ส่งเสริมความโปร่งใสและความสามารถในการตรวจสอบระบบ NLP ปัจจุบัน ทำให้เห็นแนวทางในการวิจัยในอนาคต
• นวัตกรรม: การมีโมเดลฐานที่แข็งแกร่ง เช่น Gemma จะเร่งความก้าวหน้าในด้านต่างๆ เช่น การลดอคติ ความจริง และความปลอดภัยของ AI

ด้วยการให้ความสามารถของ Gemma แก่ทุกคนผ่านการเผยแพร่แบบโอเพ่นซอร์ส DeepMind หวังว่าจะกระตุ้นให้เกิดการพัฒนาอันรับผิดชอบของ AI เพื่อประโยชน์ของสังคม

เส้นทางสู่อนาคต

ด้วยความก้าวหน้าแต่ละครั้งใน AI เรากำลังใกล้เข้าไปสู่โมเดลที่เทียบหรือเกินความสามารถของมนุษย์ในสาขาต่างๆ ระบบ เช่น Gemma เน้นย้ำถึงความก้าวหน้าที่รวดเร็วในโมเดลแบบไม่กำกับดูแลที่ปลดปล่อยความสามารถทาง认知ที่ซับซ้อนมากขึ้น

อย่างไรก็ตาม ยังคงมีงานที่ต้องทำเพื่อปรับปรุงความน่าเชื่อถือ ความเข้าใจได้ และการควบคุม AI – สิ่งที่ความสามารถของมนุษย์ยังคงเหนือกว่า สาขาต่างๆ เช่น คณิตศาสตร์ เน้นย้ำถึงช่องว่างที่ยังคงอยู่ โดย Gemma ได้รับคะแนน 64% ใน MMLU เทียบกับผลลัพธ์ของมนุษย์ที่คาดว่าจะได้ 89%

การปิดช่องว่างเหล่านี้ในขณะเดียวกันก็รับประกันความปลอดภัยและจริยธรรมของระบบ AI ที่มีความสามารถมากขึ้นจะกลายเป็นความท้าทายในอนาคต การสร้างสมดุลที่เหมาะสมระหว่างความเปิดกว้างและความระมัดระวังจะถือเป็นสิ่งสำคัญ เนื่องจาก DeepMind มุ่งหวังที่จะทำให้ประโยชน์ของ AI มีความเข้าถึงได้โดยทั่วไปในขณะเดียวกันก็จัดการกับความเสี่ยงที่เกิดขึ้นใหม่

การริเริ่มเพื่อส่งเสริมความปลอดภัยของ AI เช่น ANC ของ Dario Amodei ทีม Ethics & Society ของ DeepMind และ Constitutional AI ของ Anthropic บ่งบอกถึงการยอมรับที่เพิ่มขึ้นในความจำเป็นของความเข้าใจอย่างละเอียด การทำความเข้าใจที่มีความหมายจะต้องอาศัยการแลกเปลี่ยนอย่างเปิดกว้างและขึ้นอยู่กับหลักฐานระหว่างนักวิจัย นักพัฒนา ผู้กำหนดนโยบาย และสาธารณชน

หากได้รับการนำทางอย่างมีความรับผิดชอบ Gemma จะไม่ใช่จุดสูงสุดของ AI แต่เป็นฐานทัพสำหรับการวิจัย AI รุ่นต่อไปที่จะตามรอย DeepMind สู่ AI ทั่วไปที่ยุติธรรมและมีประโยชน์

สรุป

การเผยแพร่ Gemma ของ DeepMind ถือเป็นยุคใหม่ของ AI แบบโอเพ่นซอร์ส – ยุคที่ข้ามพ้นการประเมินแบบแคบๆ ไปสู่ความสามารถ AI ทั่วไปที่ได้รับการทดสอบอย่างเข้มงวดและเข้าถึงได้อย่างกว้างขวาง Gemma ตั้งมาตรฐานใหม่สำหรับการเผยแพร่แบบโอเพ่นซอร์สที่มีความรับผิดชอบใน AI

โดยได้รับแรงผลักดันจากจิตวิญญาณที่มีการแข่งขันซึ่งถูกปรับให้เข้ากับค่านิยมร่วม การแบ่งปันความก้าวหน้า เช่น Gemma ทำให้ทุกคนในระบบนิเวศ AI ได้รับประโยชน์ ชุมชนโดยรวมตอนนี้มีโมเดล LLM ที่หลากหลายเพื่อขับเคลื่อนหรือสนับสนุนการดำเนินงานของตน

แม้ว่าจะมีความเสี่ยง แต่ความเข้มงวดทางเทคนิคและจริยธรรมของ DeepMind ทำให้เกิดความมั่นใจว่าประโยชน์ของ Gemma มากกว่าความเสี่ยงที่อาจเกิดขึ้น เมื่อความสามารถของ AI เพิ่มขึ้น การรักษาความสมดุลระหว่างความเปิดกว้างและความระมัดระวังจะถือเป็นสิ่งสำคัญ

Gemma นำเราใกล้เข้าไปสู่ AI ที่เป็นประโยชน์ต่อมนุษยชาติ แต่ยังคงมีความท้าทายที่ยิ่งใหญ่มากมายรออยู่ในเส้นทางสู่ AI ทั่วไปที่มีประโยชน์ หากนักวิจัย AI นักพัฒนา และสังคมโดยรวมสามารถรักษาความก้าวหน้าแบบร่วมมือได้ Gemma อาจถูกมองว่าเป็นฐานทัพทางประวัติศาสตร์มากกว่าจุดสูงสุดสุดท้าย