พระจันทร์ศักดิ์สิทธิ์ของพลังการคำนวณใน AI

แม้จะมีการก้าวหน้าที่น่าเหลือเชื่อ แต่ความสามารถของปัญญาประดิษฐ์ยังคงมีข้อจำกัดเมื่อเทียบกับความคาดหวังในโลกแห่งความเป็นจริง เราสร้างแบบจำลองที่ซับซ้อน ใช้เครือข่ายประสาทเทียม และทดสอบอัลกอริทึม แต่ความก้าวหน้าบางครั้งหยุดชะงักในสถานที่ที่เราคาดหวังน้อยที่สุด

ปัญหาหลายครั้งไม่ได้อยู่ที่อัลกอริทึมหรือข้อมูล แต่อยู่ที่พลังการคำนวณ ซึ่งเป็นทรัพยากรที่ทำให้แบบจำลองสามารถเรียนรู้และทำงานในขนาดที่จำเป็น ดังนั้นอะไรคือสิ่งที่อยู่เบื้องหลังอุปสรรคนี้ มาทำความเข้าใจทรัพยากรที่สำคัญที่ไม่มีแม้กระทั่งโครงการ AI ที่มีแนวโน้มมากที่สุดไม่สามารถออกจากห้องปฏิบัติการได้

การขาดแคลนการคำนวณและผลที่ตามมา

เพื่อทำความเข้าใจหัวข้อนี้ มาทำความเข้าใจประวัติศาสตร์ของการสื่อสารมือถือกัน เมื่อเครือข่าย 3G และ 4G ปรากฏขึ้น อินเทอร์เน็ตก็เกือบจะครอบคลุมทั่วโลกแล้ว และเมื่อ 5G ถูกนำมาใช้ มีคนถามคำถามที่สมเหตุสมผล: “อินเทอร์เน็ตจะเร็วขึ้น – แต่แล้วอะไร?”

ในความเป็นจริง การเพิ่มความเร็วของอินเทอร์เน็ตไม่ได้มาจากการสะดวกสบายของผู้ใช้ แต่เปลี่ยนแปลงภูมิทัศน์ทางเทคโนโลยีทั้งหมด ใช้คेसที่ไม่สามารถทำได้ก่อนหน้านี้ 5G มีความเร็วมากกว่า 4G มาก และการกระโดดครั้งนี้ไม่ใช่การเพิ่มขึ้นอย่างต่อเนื่องเหมือนการเปลี่ยนจาก 1G เป็น 2G แต่เป็นการเพิ่มขึ้นแบบทวีคูณ ดังนั้น แอปพลิเคชันใหม่ อุปกรณ์ และเทคโนโลยีประเภทใหม่จึงสามารถปรากฏขึ้นได้

กล้องถ่ายรูปที่สัญญาณไฟจราจร ระบบวิเคราะห์จราจรแบบเรียลไทม์ และกลไกการควบคุมจราจรแบบอัตโนมัติ – ทั้งหมดนี้เป็นไปได้ nhờเทคโนโลยีการสื่อสารใหม่ๆ ตำรวจได้รับวิธีการแลกเปลี่ยนข้อมูลใหม่ๆ และในอวกาศ ที่ดูดาวและดาวเทียมสามารถส่งข้อมูลจำนวนมากไปยังโลกได้ การกระโดดคุณภาพในเทคโนโลยีฐานรากขับเคลื่อนการพัฒนาของระบบนิเวศทั้งหมด

หลักการเดียวกันนี้ใช้กับพลังการคำนวณ ดูเหมือนว่าความสามารถการคำนวณทั้งหมดของมนุษย์เป็นหน่วยสมมุติ วันนี้เราอาจมีหน่วยดังกล่าวสิบหน่วย ด้วยสิ่งเหล่านี้ เราสามารถสร้างภาพและวิดีโอ เขียนข้อความ สร้างวัสดุการตลาด… สิ่งนี้มีความสำคัญอยู่แล้ว แต่ช่วงของแอปพลิเคชันถูกจำกัดอย่างหลัก

ลองนึกภาพว่าเรามีไม่ใช่สิบ แต่หนึ่งพันหน่วยดังกล่าว ทันใดนั้น เทคโนโลยีที่เคยแพงเกินไปก็กลายเป็นไปได้ และสตาร์ทอัพซึ่งถูกทอดทิ้งเนื่องจากต้นทุนการคำนวณสูงเริ่มมีเหตุผลทางเศรษฐกิจ

ใช้ตัวอย่างรถแท็กซี่หุ่นยนต์เป็น例 ตอนนี้พวกมันส่วนใหญ่พึ่งพาคอมพิวเตอร์ท้องถิ่นที่อ่อนแอซึ่งติดตั้งในรถ แต่ถ้าฟีดวิดีโอถูกส่งไปยังคลาวด์ที่มีทรัพยากรการคำนวณจำนวนมาก ข้อมูลสามารถประมวลผลและคืนในแบบเรียลไทม์ และสิ่งนี้มีความสำคัญ: รถที่เคลื่อนที่ด้วยความเร็ว 100 กม./ชม. ต้องตัดสินใจในเสี้ยววินาที – ไปตรงหน้า เลี้ยว หยุด หรือไม่หยุด

เมื่อนั้นเองอุตสาหกรรมรถแท็กซี่หุ่นยนต์ที่ทำงานได้อย่างสมบูรณ์จะเป็นไปได้ ไม่ใช่แค่โซลูชันแยกๆ เช่นที่เรามีวันนี้ คอมพิวเตอร์ท้องถิ่นที่ติดตั้งในรถมีข้อจำกัดโดยธรรมชาติซึ่งระบบเชื่อมต่อไม่มี 速度ที่เราสามารถปรับขนาดได้เร็วเท่าไหร่ โลกที่เราจะเปลี่ยนแปลงเร็วเท่านั้น

การเข้าถึงชิปและ “ตั๋วทอง” ใน AI

ในบริบทของพลังการคำนวณ คำถามเกิดขึ้น: การเข้าถึงชิปสมัยใหม่กำลังจะกลายเป็น “ตั๋วทอง” เพื่อเข้าสู่ตลาด AI หรือไม่? ผู้เล่นรายใหญ่ที่เซ็นสัญญากับผู้ผลิตชิปหรือผลิตชิปด้วยตัวเองกำลังสร้างช่องว่างระหว่างบริษัทขนาดใหญ่และทุกคน?

ช่องว่างดังกล่าวเกิดขึ้นเฉพาะในกรณีเดียว: หากโมเดลธุรกิจมุ่งเน้นไปที่การขายชิปให้กับลูกค้ารายใหญ่เท่านั้น ในทางปฏิบัติ ผู้ผลิตเช่น NVIDIA มุ่งหวังที่จะให้บริการคลาวด์สำหรับทุกคน ชิปที่ได้รับการปรับให้เหมาะสมมีให้บริการในคลาวด์สำหรับทั้ง OpenAI และนักพัฒนาอิสระ

แม้แต่พันธมิตรเชิงกลยุทธ์ระหว่างบริษัทต่างๆ เช่น Google, Anthropic, Microsoft, OpenAI, Amazon และ NVIDIA เป็นหลักๆ เป็นพันธมิตรเพื่อใช้ทรัพยากรร่วมกัน ไม่ใช่ความพยายามที่จะปิดตลาด โมเดลนี้ช่วยให้สามารถจัดสรรทรัพยากรการคำนวณได้อย่างมีประสิทธิภาพ ซึ่งเร่งการพัฒนาเทคโนโลยี

หากเราติดตามห่วงโซ่การใช้ทรัพยากรการคำนวณ มันเริ่มต้นจากผู้ใช้สิ้นสุด ตัวอย่างเช่น เมื่อคุณใช้ WhatsApp สำหรับการโทรวิดีโอและข้อความ บริษัทต้องแน่ใจว่าบริการทำงาน: จัดเก็บและประมวลผลข้อมูล, ใช้แบบจำลองสำหรับการทำความสะอาดวิดีโอ, เพิ่มเอฟเฟกต์ และปรับปรุงคุณภาพภาพ

การรักษาเซิร์ฟเวอร์เป็นของตัวเองมีค่าใช้จ่ายสูง พวกมันจะล้าสมัยและต้องการการบำรุงรักษาอย่างต่อเนื่อง นั่นเป็นเหตุผลที่วิธีแก้ปัญหาแบบคลาวด์ “คลาวด์” เกิดขึ้น ตลาดถูกครอบงำโดยผู้เล่นสามราย: Google Cloud, AWS และ Microsoft Azure บริษัทอื่นๆ ไม่สามารถแข่งขันในระดับนี้ได้: ขนาดของโครงสร้างพื้นฐานมีขนาดใหญ่เกินไป

บริการคลาวด์เป็นศูนย์ข้อมูลขนาดใหญ่ที่มีการทำความเย็น, การจ่ายไฟฟ้า และการบำรุงรักษา 24 ชั่วโมง พวกมันจัดเก็บเซิร์ฟเวอร์และชิปเฉพาะจาก NVIDIA, AMD และผู้ผลิตอื่นๆ ทำให้กระบวนการคำนวณขนาดใหญ่เกิดขึ้นได้

ที่นี่เรามาถึงคำถามหลักที่ฉันพูดถึงใน คอลัมน์ก่อนหน้าของฉันเกี่ยวกับศูนย์ข้อมูล และต้องการดำเนินการต่อที่นี่: อะไรคืออุปสรรคหลักในระบบนี้? เป็นการขาดแคลนไฟฟ้าหรือความยากลำบากในการทำความเย็นศูนย์ข้อมูลในภูมิภาคที่สภาพภูมิอากาศทำให้เป็นเรื่องที่ท้าทายมาก ในความเป็นจริง ความลับอยู่ในชิปตัวเอง…

พระจันทร์ศักดิ์สิทธิ์

ทำไม NVIDIA วันนี้จึงมีมูลค่าประมาณ 5 ล้านล้านดอลลาร์และถูกนับเป็นหนึ่งในบริษัทที่มีการซื้อขายสาธารณะที่ประสบความสำเร็จที่สุดในโลก? เหตุผลนั้นง่ายมาก: NVIDIA ผลิตชิปที่ใช้ในการฝึกอบรมและรันแบบจำลอง AI

ชิปแต่ละตัวบริโภคไฟฟ้าจำนวนมากเมื่อฝึกอบรมแบบจำลองขนาดใหญ่หรือประมวลผลปริมาณข้อมูลที่เพิ่มขึ้นเรื่อยๆ แต่พลังงานถูกใช้อย่างมีประสิทธิภาพแค่ไหน? นี่คือที่ชิปเฉพาะมีบทบาท; ชิปเหล่านี้จัดการกับงานเฉพาะได้อย่างมีประสิทธิภาพมากกว่า GPU ทั่วไป

แบบจำลอง AI แตกต่างกัน ตัวอย่างเช่น OpenAI มีครอบครัวแบบจำลองหนึ่ง ในขณะที่ Anthropic มีอีกแบบหนึ่ง แนวคิดอาจคล้ายกัน แต่โครงสร้างทางคณิตศาสตร์และกระบวนการคำนวณแตกต่างกัน ชิปทั่วไปหนึ่งอันเมื่อฝึกอบรมแบบจำลอง OpenAI (เช่น ChatGPT) เทียบกับแบบจำลอง Anthropic (เช่น Claude) ทำหน้าที่เป็น “เครื่องมือแบบหนึ่งขนาดที่เหมาะกับทุกคน” บริโภคพลังงานการคำนวณ 100,000 ชั่วโมงสำหรับแบบจำลองหนึ่งและ 150,000 สำหรับอีกแบบหนึ่ง ประสิทธิภาพแตกต่างกันอย่างมากและไม่เหมาะสมเสมอไป

บริษัทต่างๆ แก้ปัญหานี้โดยการผลิตชิปเฉพาะ ตัวอย่างเช่น ชิปหนึ่งสามารถปรับให้เหมาะสมสำหรับโครงสร้าง ChatGPT และฝึกอบรมได้ภายใน 20 นาที ในขณะที่ชิปอื่นๆ ได้รับการปรับให้เหมาะสมสำหรับโครงสร้างของ Anthropic และเสร็จสิ้นการฝึกอบรมภายใน 20 นาที การบริโภคพลังงานและเวลาในการฝึกอบรมลดลงหลายเท่าเมื่อเทียบกับชิปทั่วไป

เมื่อชิปเหล่านี้ถูกขายให้กับบริษัทขนาดใหญ่ เช่น Google, Amazon, Microsoft หรือ Azure พวกมันถูกนำเสนอเป็นผลิตภัณฑ์แบบสแตนด์อโลน ผู้ใช้สามารถเลือกชิปที่ได้รับการปรับให้เหมาะสมสำหรับแบบจำลอง YOLO หรือชิปที่เรียบง่ายและราคาถูกกว่าสำหรับโครงสร้าง Xen ได้ ด้วยวิธีนี้ บริษัทต่างๆ สามารถเข้าถึงทรัพยากรการคำนวณที่ปรับให้เหมาะสมกับงานของตนได้ ไม่ใช่การซื้อ GPU ทั่วไป หากผู้ใช้มีฟังก์ชัน 10 ฟังก์ชัน พวกเขาสามารถใช้ชิปเฉพาะ 10 ชิปได้

แนวโน้มนี้ชัดเจน: ชิปเฉพาะกำลังแทนที่ชิปทั่วไป มีหลายสตาร์ทอัพทำงานกับ ASICs (Application-Specific Integrated Circuits) ซึ่งเป็นชิปที่ออกแบบมาเพื่อทำงานคำนวณเฉพาะ ตัว ASICs ตัวแรกปรากฏขึ้นสำหรับการขุด Bitcoin: ในตอนแรก Bitcoin ถูกขุดด้วย GPU ของ NVIDIA จากนั้นชิปที่ถูกสร้างขึ้นเพียงเพื่อ Bitcoin และไม่สามารถทำงานอื่นๆ ได้

ฉันเห็นสิ่งนี้ในทางปฏิบัติ: การตั้งค่าฮาร์ดแวร์เดียวกันสามารถให้ผลลัพธ์ที่แตกต่างกันอย่างสิ้นเชิงขึ้นอยู่กับงาน ในสตาร์ทอัพของฉัน Introspector เราศึกษาการประมวลผลเหล่านี้ในโครงการจริง และในฐานะที่เป็นที่ปรึกษาทางยุทธศาสตร์ของ Keymakr ฉันสังเกตเห็นว่าลูกค้าได้รับประสิทธิภาพจากชิปเฉพาะ ทำให้แบบจำลองทำงานได้เร็วขึ้น โครงการที่เคยหยุดชะงักระหว่างการฝึกอบรมหรือการอนุมานสามารถบรรลุผลลัพธ์ที่เสถียรได้ด้วยวิธีนี้

อย่างไรก็ตาม การเชี่ยวชาญที่แคบเกินไปมีความเสี่ยง ชิปที่ได้รับการปรับให้เหมาะสมสำหรับโครงสร้างของ Anthropic จะไม่ทำงานสำหรับการฝึกอบรมแบบจำลอง OpenAI และในทางกลับกัน โครงสร้างใหม่แต่ละตัวต้องการชิปรุ่นใหม่ ซึ่งสร้างความเสี่ยงของการ “ล้าสมัย” ในระดับใหญ่ หาก Anthropic เปิดตัวโครงสร้างใหม่วันพรุ่งนี้ ชิปรุ่นก่อนหน้าทั้งหมดจะกลายเป็นไม่มีประสิทธิภาพหรือไร้ประโยชน์ การผลิตชิปใหม่ต้องใช้เงินหลายพันล้านดอลลาร์และอาจใช้เวลาหลายปี

สิ่งนี้ทำให้เกิดภาวะที่กลืนไม่เข้าคายไม่ออก: เราควรทำชิปเฉพาะที่ทำงานได้อย่างสมบูรณ์แบบในสถานการณ์ที่แคบหรือควรดำเนินการต่อในการผลิตชิปทั่วไปที่แก้ปัญหาได้ดีแต่ไม่ต้องการการเปลี่ยนรุ่นทั้งหมดเมื่อโครงสร้างเปลี่ยนแปลง?

ประสิทธิภาพในบริบทนี้วัดได้จากสามพารามิเตอร์หลัก: เวลาในการทำงาน, การบริโภคไฟฟ้า และการสร้างความร้อน พารามิเตอร์เหล่านี้เกี่ยวข้องโดยตรงกัน: ระบบที่ทำงานนานขึ้นจะบริโภคพลังงานมากขึ้นและสร้างความร้อนมากขึ้น การลดพารามิเตอร์หนึ่งๆ จะปรับปรุงพารามิเตอร์อื่นๆ อัตโนมัติ

ที่นี่คือ “พระจันทร์ศักดิ์สิทธิ์” ของประสิทธิภาพ AI: หากพารามิเตอร์ประสิทธิภาพพื้นฐานอย่างน้อยหนึ่งพารามิเตอร์สามารถได้รับการปรับให้เหมาะสม พารามิเตอร์อื่นๆ จะปรับปรุงโดยอัตโนมัติ

กระบวนการที่ยั่งยืน

ด้วยการใช้ชิปเฉพาะที่เพิ่มขึ้น ปัญหาเรื่องความเสี่ยงของการผลิตส่วนเกินได้กลายเป็นเรื่องเร่งด่วน ปัจจุบันส่วนเกินของอุปกรณ์แล้วมีจำนวนมาก และบริษัทต่างๆ กำลังจัดการกับปัญหานี้ด้วยวิธีต่างๆ รวมถึงการนำทรัพยากรที่มีอยู่กลับมาใช้ใหม่

การรีไซเคิลอุปกรณ์กลายเป็นองค์ประกอบสำคัญของการพัฒนาที่ยั่งยืนในอุตสาหกรรมไฮเทค ชิปประกอบด้วยโลหะมีค่าและโลหะฐานจำนวนมาก ทอง, ทองแดง, อะลูมิเนียม, พัลลาเดียม และวัสดุหายาก รวมถึงวัสดุที่ใช้ในไมโครชิปและทรานซิสเตอร์ เมื่ออุปกรณ์กลายเป็นโบราณ วัสดุเหล่านี้สามารถกลับเข้าสู่การผลิตได้ ลดต้นทุนของส่วนประกอบใหม่ในขณะเดียวกันก็ลดรอยเท้าทางสิ่งแวดล้อมของอุตสาหกรรม

โรงงานและบริษัทเฉพาะบางแห่งมุ่งเน้นไปที่การรีไซเคิลและการสกัดโลหะมีค่าจากส่วนประกอบที่ล้าสมัย ตัวอย่างเช่น บางโรงงานใช้กระบวนการไฮโดรเมทัลลURจิกัลและวิธีการเคมีขั้นสูงเพื่อสกัดทองและทองแดงด้วยความบริสุทธิ์สูง ทำให้วัสดุเหล่านี้สามารถนำกลับมาใช้ใหม่ในชิปใหม่

นอกจากนี้ บริษัทต่างๆ ยังใช้โมเดลแบบปิด ซึ่งอุปกรณ์เก่าถูกอัปเกรดหรือรวมเข้ากับโซลูชันใหม่ ลดความจำเป็นในการขุดและแปรรูปทรัพยากรใหม่ วิธีการเหล่านี้ไม่เพียงแต่ช่วยลดของเสียเท่านั้น แต่ยังลดการปล่อยก๊าซคาร์บอนของการผลิตด้วย เนื่องจากการขุดและการแปรรูปโลหะแบบดั้งเดิมต้องใช้พลังงานจำนวนมาก

การจัดการชีวิตของชิปและอุปกรณ์อย่างยั่งยืนอาจกลายเป็นมาตรฐานอุตสาหกรรมที่เทคโนโลยีเข้าใจกัน ซึ่งความก้าวหน้าทางเทคโนโลยีเข้ากันได้กับความรับผิดชอบต่อสิ่งแวดล้อม