Snowflake Arctic: โมเดล LLM ชั้นนำสำหรับ Enterprise AI

บริษัทต่างๆ ในปัจจุบันกำลังมองหาวิธีการใช้โมเดลภาษาขนาดใหญ่ (LLM) เพื่อเพิ่มประสิทธิภาพและสร้างแอปพลิเคชันที่มีความฉลาด แต่โมเดล LLM ที่มีอยู่ส่วนใหญ่เป็นโมเดลทั่วไปที่ไม่ได้ถูกออกแบบมาเพื่อตอบสนองความต้องการขององค์กร เช่น การวิเคราะห์ข้อมูล การเขียนโค้ด และการทำงานอัตโนมัติ ดังนั้น Snowflake จึงพัฒนา Snowflake Arctic – โมเดล LLM ที่ถูกออกแบบมาเพื่อตอบสนองความต้องการขององค์กร

ทีมวิจัย AI ของ Snowflake ได้พัฒนา Arctic เพื่อผลักดันขอบเขตของความเป็นไปได้ของโมเดล LLM ด้วยการฝึกอบรมที่มีประสิทธิภาพ ต้นทุนที่ลดลง และระดับการเปิดกว้างที่ไม่มีใครเทียบได้ โมเดลนี้มีความโดดเด่นในด้านการทำงานขององค์กร และต้องการพลังการคำนวณที่น้อยกว่าเมื่อเทียบกับโมเดล LLM ที่มีอยู่

ความฉลาดขององค์กรที่ถูกกำหนดใหม่ ในแก่นแท้แล้ว Arctic มุ่งเน้นไปที่การให้ผลลัพธ์ที่ดีเยี่ยมในด้านที่สำคัญสำหรับองค์กร เช่น การเขียนโค้ด การถามคำถาม SQL การปฏิบัติตามคำสั่งที่ซับซ้อน และการผลิตข้อความที่มีเหตุผลและเป็นข้อเท็จจริง Snowflake ได้รวมความสามารถเหล่านี้เข้าด้วยกันในมาตรวัด “ความฉลาดขององค์กร” ที่ใหม่

ผลลัพธ์แสดงให้เห็นเอง Arctic เหมาะหรือเหนือกว่าโมเดลอย่าง LLAMA 7B และ LLAMA 70B ในมาตรวัดความฉลาดขององค์กร โดยใช้เงินฝึกอบรมที่น้อยกว่าครึ่งหนึ่ง นอกจากนี้ Arctic ยังบรรลุผลลัพธ์ที่เทียบเท่ากับโมเดล LLAMA 70B ในการทดสอบที่ซับซ้อน เช่น การเขียนโค้ด (HumanEval+, MBPP+) การสร้าง SQL (Spider) และการปฏิบัติตามคำสั่ง (IFEval) โดยใช้ทรัพยากรการคำนวณที่น้อยกว่า 17 เท่า

แต่ความสามารถของ Arctic ไม่ได้หยุดอยู่เพียงการทำงานขององค์กรเท่านั้น มันยังคงให้ผลลัพธ์ที่ดีเยี่ยมในด้านการเข้าใจภาษาทั่วไป การให้เหตุผล และความสามารถทางคณิตศาสตร์ เมื่อเทียบกับโมเดลที่ถูกฝึกอบรมด้วยงบประมาณการคำนวณที่สูงกว่ามาก เช่น DBRX

นวัตกรรม

การออกแบบ Transformer แบบ Dense-MoE Hybrid ทีมวิจัยของ Snowflake สร้าง Arctic ขึ้นมาได้อย่างไร? คำตอบอยู่ที่สถาปัตยกรรม Transformer แบบ Dense-MoE Hybrid ของ Arctic

โมเดล Transformer ที่มีความหนาแน่นแบบดั้งเดิมจะมีต้นทุนการฝึกอบรมที่สูงขึ้นเมื่อขนาดของโมเดลเพิ่มขึ้น โดยมีการเพิ่มขึ้นของต้นทุนการคำนวณแบบเส้นตรง การออกแบบ MoE ช่วยให้สามารถหลีกเลี่ยงปัญหานี้ได้โดยใช้เครือข่ายแบบขนาน (experts) และการกระตุ้นเพียงหนึ่งเซตสำหรับแต่ละโทเค็น

อย่างไรก็ตาม การใช้เพียงสถาปัตยกรรม MoE ไม่เพียงพอ Arctic รวมความสามารถของทั้งโมเดลที่มีความหนาแน่นและ MoE อย่างชาญฉลาด โดยจับคู่ตัวเข้ารหัส Transformer ที่มี 10 พันล้านพารามิเตอร์กับชั้น MLP ที่มี 128 ผู้เชี่ยวชาญ และใช้การกระตุ้นแบบ top-2

ผลลัพธ์ที่ได้คือ Arctic มีคุณภาพและความสามารถของโมเดลที่ไม่เคยเห็นมาก่อน และยังคงให้ประสิทธิภาพการคำนวณที่น่าประทับใจในช่วงการฝึกอบรมและอนุมาน

การเริ่มต้นใช้งานกับ Arctic

สำหรับบริษัทที่ต้องการใช้ Arctic Snowflake มีหลายวิธีในการเริ่มต้นใช้งานได้อย่างรวดเร็ว

การอนุมานแบบ Serverless: ลูกค้าของ Snowflake สามารถเข้าถึงโมเดล Arctic ได้ฟรีบน Snowflake Cortex ซึ่งเป็นแพลตฟอร์ม AI ที่จัดการเต็มรูปแบบ นอกจากนี้ Arctic ยังมีอยู่บนแค็ตตาล็อกโมเดลหลักๆ เช่น AWS, Microsoft Azure, NVIDIA (NVDA ) และอื่นๆ

การใช้งานจริงกับ Arctic

ตอนนี้ที่เราได้พูดถึงสิ่งที่ทำให้ Arctic เป็นโมเดลที่มีพลังมากแล้ว มาเริ่มดูวิธีการใช้งานจริงกับ Arctic กัน

Arctic มีอยู่พร้อมใช้งานและพร้อมสำหรับการใช้งานผ่านฮับโมเดลหลักๆ เช่น Hugging Face และแพลตฟอร์ม AI ของพันธมิตร แต่พลังที่แท้จริงของมันจะปรากฏออกมาเมื่อปรับแต่งและฝึกอบรมสำหรับการใช้งานเฉพาะของคุณ

การปรับแต่งสำหรับงานเฉพาะ

แม้ว่า Arctic จะมีประสิทธิภาพสูงในการใช้งานทั่วไป แต่มันจะส่องแสงเมื่อปรับแต่งและฝึกอบรมสำหรับงานเฉพาะ Snowflake ได้ให้คำแนะนำที่ครอบคลุมเกี่ยวกับ:

• การคัดเลือกข้อมูลฝึกอบรมที่มีคุณภาพสูงสำหรับการใช้งานของคุณ
• การนำไปใช้หลักสูตรฝึกอบรมหลายขั้นตอนที่ปรับแต่งแล้ว
• การใช้เทคนิคการปรับแต่ง LoRA, P-Tuning หรือ FactorizedFusion ที่มีประสิทธิภาพ
• การปรับให้เหมาะสมสำหรับการเขียนโค้ด SQL หรือทักษะสำคัญอื่นๆ ขององค์กร

วงจรนวัตกรรมที่รวดเร็วของ Arctic

หนึ่งในด้านที่น่าประทับใจที่สุดของ Arctic คือความเร็วในการพัฒนาและเปิดตัวโมเดลนี้โดยทีมวิจัย AI ของ Snowflake ตั้งแต่การเริ่มต้นจนถึงการเปิดตัวแบบโอเพ่นซอร์ส โครงการ Arctic ใช้เวลาเพียงสามเดือนและใช้เงินฝึกอบรมเพียงหนึ่งในแปดของที่ใช้ในการฝึกอบรมโมเดล LLM ขนาดใหญ่แบบอื่นๆ

ครอบครัว Arctic และการฝังตัว

Arctic เป็นเพียงจุดเริ่มต้นของความทะเยอทะยานของ Snowflake ในพื้นที่ LLM ขององค์กร บริษัทได้เปิดตัวโมเดลการฝังตัว Snowflake Arctic Embed ซึ่งเป็นโมเดลการฝังตัวข้อความที่มีประสิทธิภาพสูงสำหรับการค้นหา

Snowflake มุ่งมั่นที่จะสร้างระบบนิเวศ AI ที่เปิดกว้างและร่วมมือกับพันธมิตรและนักวิจัยเพื่อพัฒนาโมเดล AI ที่มีประสิทธิภาพสูงและปรับแต่งได้สำหรับการใช้งานเฉพาะ