วิธีการที่ DeepSeek ทลายกำแพงราคา ด้วยเงิน 5.6 ล้านเหรียญ

ความเชื่อตามปกติของ AI บอกว่าการสร้าง โมเดลภาษาขนาดใหญ่ (LLMs) ต้องการการลงทุนจำนวนมาก – โดยทั่วไปแล้วจะอยู่ที่หลายพันล้าน แต่ DeepSeek สตาร์ทอัพ AI ของจีน เพิ่งทำลายพาราได้ม์นี้ด้วยความสำเร็จล่าสุดของพวกเขา: พัฒนาโมเดล AI ระดับโลกด้วยเงินเพียง 5.6 ล้านเหรียญ

โมเดล V3 ของ DeepSeek สามารถแข่งขันกับยักษ์ใหญ่ในอุตสาหกรรม เช่น Gemini ของ Google (GOOGL ) และ ผลิตภัณฑ์ใหม่ของ OpenAI โดยใช้ทรัพยากรการประมวลผลเพียงเศษเสี้ยวของที่อุตสาหกรรมโดยทั่วไปต้องการ ความสำเร็จนี้ได้รับความสนใจจากผู้นำในอุตสาหกรรมหลายคน และสิ่งที่ทำให้นี่น่าประทับใจเป็นพิเศษคือ บริษัทได้ทำสิ่งนี้ได้แม้จะเผชิญกับการจำกัดการส่งออกจากสหรัฐฯ ที่จำกัดการเข้าถึงชิป Nvidia (NVDA ) ล่าสุด

เศรษฐศาสตร์ของ AI ที่มีประสิทธิภาพ

ตัวเลขบอกเล่าเรื่องราวของประสิทธิภาพ ในขณะที่โมเดล AI ที่ซับซ้อนโดยทั่วไปต้องการ GPU ระหว่าง 16,000 ถึง 100,000 ชิ้นสำหรับการฝึกอบรม DeepSeek จัดการได้ด้วย GPU เพียง 2,048 ชิ้นที่ทำงานเป็นเวลา 57 วัน การฝึกอบรมของโมเดลใช้เวลา 2.78 ล้านชั่วโมง GPU บนชิป Nvidia H800 – ซึ่งเป็นตัวเลขที่น่าประทับใจสำหรับโมเดลที่มีพารามิเตอร์ 671 พันล้าน

เพื่อเปรียบเทียบ Meta ต้องการประมาณ 30.8 ล้านชั่วโมง GPU – คิดเป็นประมาณ 11 เท่าของพลังการประมวลผล – เพื่อฝึกโมเดล Llama 3 ซึ่งมีพารามิเตอร์น้อยกว่า 405 พันล้าน โมเดลของ DeepSeek ดูเหมือนจะเป็นคลาสสิกของการเพิ่มประสิทธิภาพภายใต้ข้อจำกัด โดยทำงานกับ GPU H800 – ชิป AI ที่ Nvidia ออกแบบมาโดยเฉพาะสำหรับตลาดจีนพร้อมความสามารถที่ลดลง – บริษัทเปลี่ยนข้อจำกัดที่อาจเกิดขึ้นให้เป็นนวัตกรรม

ในขณะที่คู่แข่งยังคงดำเนินธุรกิจภายใต้สมมติฐานที่ว่าการลงทุนจำนวนมากเป็นสิ่งจำเป็น DeepSeek กำลังแสดงให้เห็นว่าความฉลาดและการใช้ทรัพยากรอย่างมีประสิทธิภาพสามารถทำให้สนามแข่งขันเท่าเทียมกันได้

ภาพ: Artificial Analysis

การสร้างสรรค์ความเป็นไปไม่ได้

ความสำเร็จของ DeepSeek อยู่ที่แนวทางทางเทคนิคที่เป็นนวัตกรรม ซึ่งแสดงให้เห็นว่าบางครั้งการผิดพลาดที่มีผลกระทบมากที่สุดมาจากการทำงานภายในข้อจำกัดมากกว่าการโยนทรัพยากรไม่จำกัดเข้าไปแก้ปัญหา

ที่ใจกลางของนวัตกรรมนี้คือกลยุทธ์ที่เรียกว่า “การสมดุลการโหลดโดยไม่มีการสูญเสียส่วนเสริม” คิดว่ามันเป็นเหมือนการกำกับระบบประมวลผลขนานขนาดใหญ่ โดยทั่วไปคุณจะต้องมีกฎและค่าปรับที่ซับซ้อนเพื่อรักษาให้ทุกอย่างทำงานได้อย่างราบรื่น DeepSeek กลับกันโดยพัฒนาระบบที่รักษาสมดุลโดยไม่ต้องมีค่าใช้จ่ายเพิ่มเติมจากแนวทางแบบดั้งเดิม

ทีมงานยังเป็นผู้บุกเบิกเทคนิคที่เรียกว่า “การคาดการณ์ตัวอักษรหลายตัว” (MTP) – เทคนิคที่ทำให้โมเดลคิดล่วงหน้าโดยการคาดการณ์ตัวอักษรหลายตัวในครั้งเดียว ในทางปฏิบัติ สิ่งนี้แปลเป็นอัตราการยอมรับ 85-90% สำหรับการคาดการณ์เหล่านี้ทั่วหัวข้อต่างๆ โดยให้ความเร็วในการประมวลผลที่เร็วกว่าเทคนิคเก่า 1.8 เท่า

สถาปัตยกรรมทางเทคนิคเองเป็นผลงานชิ้นเอกของประสิทธิภาพ โมเดล V3 ของ DeepSeek ใช้แนวทางผู้เชี่ยวชาญผสมผสาน โดยมีพารามิเตอร์ทั้งหมด 671 พันล้าน แต่สิ่งที่ชาญฉลาดคือมันจะทำงานเฉพาะ 37 พันล้านพารามิเตอร์สำหรับตัวอักษรแต่ละตัว การกระตุ้นที่เลือกสรรนี้ทำให้ได้ประโยชน์จากโมเดลขนาดใหญ่ในขณะเดียวกันก็รักษาความเป็นไปได้ในการใช้งาน

การเลือกใช้เฟรมเวิร์กการฝึกอบรมความแม่นยำผสม FP8 เป็นอีกก้าวหนึ่งในการพัฒนา แทนที่จะยอมรับข้อจำกัดที่ลดความแม่นยำตามปกติ พวกเขาพัฒนาโซลูชันแบบกำหนดเองที่รักษาความแม่นยำในขณะเดียวกันก็ลดความต้องการหน่วยความจำและคำนวณลงอย่างมาก

ผลกระทบกระเพื่อมในระบบนิเวศของ AI

ผลกระทบของความสำเร็จของ DeepSeek กระเพื่อมไปไกลเกินกว่าแค่โมเดลเดียวที่ประสบความสำเร็จ

สำหรับการพัฒนา AI ในยุโรป การผิดพลาดนี้มีความสำคัญเป็นพิเศษ โมเดลที่ซับซ้อนหลายรุ่นไม่ได้เข้าสู่สหภาพยุโรปเพราะบริษัทอย่าง Meta และ OpenAI ไม่สามารถหรือไม่เต็มใจที่จะปรับตัวให้เข้ากับ กฎหมาย AI ของ EU แนวทางของ DeepSeek แสดงให้เห็นว่าการสร้าง AI ระดับแนวหน้าไม่จำเป็นต้องต้องการคลัสเตอร์ GPU ระดับใหญ่เสมอไป แต่เป็นการใช้ทรัพยากรที่มีอยู่อย่างมีประสิทธิภาพ

การพัฒนานี้ยังแสดงให้เห็นว่าการจำกัดการส่งออกสามารถกระตุ้นให้เกิดนวัตกรรมได้ การเข้าถึงฮาร์ดแวร์ระดับสูงของ DeepSeek ที่ถูกจำกัดทำให้พวกเขาต้องคิดอย่างแตกต่าง ซึ่งนำไปสู่การปรับเปลี่ยนซอฟต์แวร์ที่อาจไม่เกิดขึ้นในสถานการณ์ที่มีทรัพยากรมาก

ผลกระทบต่อการทำให้ประชาธิปไตยเข้าถึงได้นั้นลึกซึ้ง ในขณะที่ยักษ์ใหญ่ในอุตสาหกรรมยังคงเผาเงินหลายพันล้าน DeepSeek ได้สร้างแบบจำลองสำหรับการพัฒนา AI ที่มีประสิทธิภาพและคุ้มค่า ซึ่งอาจเปิดโอกาสให้กับบริษัทขนาดเล็กและสถาบันวิจัยที่ไม่สามารถแข่งขันได้เนื่องจากข้อจำกัดด้านทรัพยากร

อย่างไรก็ตาม สิ่งนี้ไม่ได้หมายความว่าโครงสร้างพื้นฐานการประมวลผลขนาดใหญ่จะล้าสมัย อุตสาหกรรมกำลังเปลี่ยนโฟกัสไปที่การปรับขนาดเวลาอนุมาน – เวลาที่โมเดลใช้ในการสร้างคำตอบ เมื่อต่อเนื่องแนวโน้มนี้ ทรัพยากรการประมวลผลที่สำคัญจะยังคงจำเป็น และอาจจำเป็นมากขึ้นในอนาคต

แต่ DeepSeek ได้เปลี่ยนแปลงการอภิปรายอย่างรุนแรง ผลกระทบในระยะยาวชัดเจน: เรากำลังเข้าสู่ยุคที่ความคิดสร้างสรรค์และการใช้ทรัพยากรอย่างมีประสิทธิภาพอาจมีความสำคัญมากกว่าพลังการประมวลผลที่บริสุทธิ์ สำหรับชุมชน AI สิ่งนี้หมายถึงการมุ่งเน้นไม่เพียงแต่ทรัพยากรที่เรามี แต่ยังรวมถึงวิธีการที่เราสามารถใช้ทรัพยากรเหล่านั้นได้อย่างสร้างสรรค์และมีประสิทธิภาพ