ห้าขั้นตอนในการเปลี่ยนหน่วยความจำจากข้อจำกัดที่ใหญ่ที่สุดของ AI เป็นข้อได้เปรียบในการแข่งขัน

ในช่วงไม่กี่ปีที่ผ่านมา โครงสร้างพื้นฐาน AI มุ่งเน้นไปที่การคำนวณมากกว่าเมตริกอื่นๆ มีการเพิ่มเครื่องเร่งความเร็ว การเพิ่มขนาดคลัสเตอร์และการเพิ่ม FLOPS ทำให้เกิดการอภิปรายเกี่ยวกับการใช้ GPU ให้ได้มากที่สุด วิธีการนี้มีเหตุผลเมื่อความก้าวหน้าของโมเดลขึ้นอยู่กับการฝึกอบรมขนาดใหญ่ แต่ขณะนี้การวางระบบ AI ในการผลิตได้รับการจัดลำดับความสำคัญ มีข้อจำกัดใหม่ที่ต้องให้ความสนใจ: หน่วยความจำ

ปัจจุบัน ข้อจำกัดที่ยากที่สุดของ AI ส่วนใหญ่เกิดขึ้นในด้านความจุหน่วยความจำ ความกว้างแบนด์วิธ ละตันซี และค่าใช้จ่ายในการย้ายข้อมูลผ่านระบบ วินโดว์บริบทยังคงขยายตัว โดยบริษัทอย่าง Anthropic เสนอหน้าต่างโทเค็นล้านโทเค็นในแพ็คเกจราคา标准 Inference workloads กำลังเติบโต ระบบหลายตัวแทนหมายถึงระบบ AI ส่งผ่านข้อมูลขนาดใหญ่จากขั้นตอนหนึ่งไปยังอีกขั้นตอนหนึ่ง ผู้ดำเนินการสามารถพยายามเพิ่ม GPU ได้ แต่พวกเขายังคงไม่เพียงพอในด้านประสิทธิภาพที่พวกเขาคาดหวัง เนื่องจากระบบเหล่านี้ขาด RAM เพียงพอในการให้อาหารเครื่องเร่งความเร็วได้อย่างมีประสิทธิภาพเมื่อแต่ละเซิร์ฟเวอร์ทำงานในระบบ RAM ของตนเอง

การเปลี่ยนแปลงนี้ส่งผลกระทบต่อทั้งการผลิตและต้นทุนสำหรับผู้ให้บริการไฮเปอร์สเกลและผู้ดำเนินการศูนย์ข้อมูล เมื่อหน่วยความจำกลายเป็นปัจจัยที่จำกัด สถาบันเหล่านี้มักจะตอบสนองโดยการเตรียมอุปกรณ์แพงๆ ที่มีค่าใช้จ่ายสูง ทำให้ความสามารถของ GPU ถูกใช้ไม่เต็มที่ และดูดซับพลังงานและค่าใช้จ่ายโครงสร้างพื้นฐานที่สูงขึ้น

ขั้นตอนต่อไปของการขยายขนาด AI จะขึ้นอยู่น้อยลงกับการเพิ่มการคำนวณดิบและมากขึ้นในการสร้างสถาปัตยกรรมหน่วยความจำที่เหมาะสมกับการทำงานของ AI ในการผลิต

นี่คือห้าขั้นตอนที่ผู้นำโครงสร้างพื้นฐานสามารถดำเนินการได้เพื่อเตรียมพร้อมสำหรับความต้องการหน่วยความจำที่เพิ่มขึ้น

1. เริ่มต้นด้วยการวัดข้อจำกัดที่แท้จริง

หลายองค์กรยังคงประเมินประสิทธิภาพ AI ผ่านเลนส์การคำนวณก่อน มีการติดตามการใช้คลัสเตอร์ การนับเครื่องเร่งความเร็ว และการผลิตที่สำคัญ แล้วสมมติว่าการปรับปรุงจะมาจากการเพิ่มเครื่องเร่งความเร็ว GPU มากขึ้น มุมมองนั้นมักจะพลาดประเด็นจริง

ความกดดันหน่วยความจำมักจะปรากฏในเครื่องเร่งความเร็วที่หยุดชะงัก ละตันซีต่อโทเค็นสูงขึ้น และการผลิตที่ไม่สอดคล้องกันภายใต้ภาระงาน เครื่องเร่งความเร็ว GPU อาจดูเหมือนไม่ได้ใช้งานถ้ากำลังรอข้อมูลมาจากหน่วยความจำอื่น เซิร์ฟเวอร์อื่น หรือขั้นตอนอื่นในแอปพลิเคชัน Inference ทำให้ปัญหานี้มองเห็นได้ชัดเจนยิ่งขึ้นเมื่อขนาด KV cache เพิ่มขึ้น และมีการแข่งขันเซสชันหลายๆ ที่แข่งขันกันเพื่อความกว้างแบนด์วิธ

ผู้ดำเนินการต้องการมองเห็นความใช้งานหน่วยความจำที่มีประสิทธิภาพมากขึ้น โดยดูที่ไบต์ที่ย้ายต่อโทเค็น เวลาเครื่องเร่งความเร็วหยุดชะงัก และรูปแบบการเข้าถึงหน่วยความจำทั่ว CPU GPU และหน่วยความจำชั้นอื่นๆ พวกเขายังต้องการการตรวจสอบท่อที่สามารถแยกความล่าช้าเนื่องจากหน่วยความจำออกจากปัญหาเครือข่ายหรือการเก็บข้อมูลได้ หากไม่มีการมองเห็นนั้น ทีมอาจใช้จ่ายมากขึ้นในการคำนวณโดยไม่แก้ไขต้นตอของความชะงัก

2. ลดการย้ายข้อมูลก่อนเพิ่มความจุ

ในระบบ AI ขนาดใหญ่ การย้ายข้อมูลสามารถสร้างภาระได้มากเท่ากับการประมวลผลข้อมูล

สิ่งนี้เป็นจริงโดยเฉพาะอย่างยิ่งใน Inference เมื่อหน้าต่างบริบทขยายตัว KV cache สามารถกลายเป็นหนึ่งในผู้บริโภคหน่วยความจำระบบที่ใหญ่ที่สุดใน chồng ระบบหลายผู้เช่าและเวิร์กโฟลว์หลายตัวแทนสามารถเพิ่มได้อีก

การคัดลอกเหล่านี้มีค่าใช้จ่ายที่แท้จริง พวกมันใช้ความกว้างแบนด์วิธ เพิ่มละตันซี และปล่อยให้ทรัพยากรการคำนวณที่มีค่าใช้จ่ายสูงรอจนกว่าการถ่ายโอนจะเสร็จสิ้น พวกเขายังผลักดันให้ผู้ดำเนินการซื้อหน่วยความจำที่มีค่าใช้จ่ายสูงกว่าที่งานต้องการจริงๆ

ก่อนที่จะลงทุนในเครื่องเร่งความเร็วเพิ่มเติม ทีมควรระบุว่าในระบบข้อมูลกำลังเคลื่อนย้ายมากกว่าที่จำเป็น การถ่ายโอน GPU-towards-GPU การคัดลอกเซิร์ฟเวอร์ต่อเซิร์ฟเวอร์ และการเคลื่อนย้ายซ้ำของรัฐกลางผ่านท่อผู้แทนหลายคนเป็นจุดเริ่มต้นที่ดี ในหลายสภาพแวดล้อม การตัดการเคลื่อนย้ายที่ไม่จำเป็นสามารถให้ประสิทธิภาพที่ใช้งานได้มากกว่าการเพิ่มเซิร์ฟเวอร์

3. สร้างชั้นหน่วยความจำรอบพฤติกรรมของงาน

โครงสร้างพื้นฐาน AI ทำงานได้ดีกว่าเมื่อผู้ดำเนินการหยุดพิจารณาหน่วยความจำเป็นแหล่งเดียวและเริ่มพิจารณาเป็นลำดับชั้นที่มีบทบาทที่แตกต่างกัน

ข้อมูลที่ร้อนที่สุดควรอยู่ใกล้กับเครื่องเร่งความเร็วที่สุด รวมถึงชุดทำงานที่ต้องการละตันซีต่ำที่สุดและความกว้างแบนด์วิธสูงสุด บัฟเฟอร์เชิงรุกและสถานะที่เข้าถึงบ่อยๆ สามารถอยู่ใน DRAM โครงสร้างขนาดใหญ่ที่ต้องการขนาดมากกว่าความเร็วที่สมบูรณ์แบบสามารถย้ายไปสู่หน่วยความจำที่รวมกัน ข้อมูลที่เย็นกว่าและโมเดลที่ไม่ค่อยใช้งานควรอยู่ห่างออกไปใน chồng

วิธีการนี้ต้องการให้ทีมเข้าใจว่าข้อมูลใดเปลี่ยนแปลงอยู่เสมอ ข้อมูลใดที่หลายกระบวนการแบ่งปัน และข้อมูลใดที่สามารถทนละตันซีแบบสมเหตุสมผลได้โดยไม่ส่งผลกระทบต่อคุณภาพการบริการ การใช้งานหลายครั้งยังคงเลือกที่จะผลักดันทุกอย่างเข้าสู่ชั้น HBM ที่เร็วที่สุดเพราะรู้สึกปลอดภัยยิ่งขึ้น วิธีการนี้ทำให้ต้นทุนสูงขึ้นและทิ้งประสิทธิภาพไว้บนโต๊ะ

กลยุทธ์หน่วยความจำแบบชั้นให้ให้ผู้ดำเนินการควบคุมทั้งประสิทธิภาพและเศรษฐศาสตร์มากขึ้น ในการผลิต AI การสมดุลนี้กลายเป็นข้อกำหนดในการออกแบบหลัก

4. พิจารณาหน่วยความจำที่ใช้ร่วมกันเป็นส่วนหนึ่งของสถาปัตยกรรมสำหรับ AI ที่ใช้ตัวแทน

ระบบ AI หลายตัวที่ใช้ตัวแทนเพิ่มค่าใช้จ่ายในการออกแบบหน่วยความจำที่กระจัดกระจาย

ในระบบหลายตัวแทนที่ใช้ตัวแทนที่ใช้ตัวแทนหลายตัว ตัวแทนหนึ่งสร้างเอาต์พุตที่ตัวแทนอื่นใช้ทันที บริการที่สามอาจจัดอันดับเอาต์พุตนั้น เพิ่มบริบทหรือส่งไปยังโมเดลอื่น หากแต่ละขั้นตอนสร้างสำเนาใหม่ของสถานะเดียวกัน การรับส่งข้อมูลจะเพิ่มขึ้นอย่างรวดเร็ว เมื่อบริบทขยายตัว ขนาดของข้อมูลที่คัดลอกนั้นก็เพิ่มขึ้นด้วย ระบบใช้เวลามากขึ้นในการย้ายข้อมูลมากกว่าการประมวลผลข้อมูล

นี่คือจุดที่หน่วยความจำที่ใช้ร่วมกันมีความสำคัญมาก โดยเฉพาะอย่างยิ่งสำหรับ KV cache ที่ใช้ร่วมกันและสถานะอื่นๆ ที่ตัวแทนหรือบริการหลายตัวต้องการเข้าถึง หน่วยความจำที่ใช้ร่วมกันสามารถลดการคัดลอกซ้ำ ลดการรับส่งข้อมูลทางเครือข่าย และปรับปรุงการใช้งานทั่วทั้งเส้นทางแอปพลิเคชัน มันสามารถช่วยให้ระบบหลายตัวแทนขยายขนาดได้อย่างมีประสิทธิภาพเมื่อตัวแทนหรือโหนดต่างๆ สามารถใช้ KV cache ที่ใช้ร่วมกันพร้อมกับหน่วยความจำที่ใช้ร่วมกัน

สำหรับผู้ให้บริการไฮเปอร์สเกล สิ่งนี้ไม่ใช่กรณีชายขอบอีกต่อไป เมื่อ AI ที่ใช้ตัวแทนเติบโตขึ้น หน่วยความจำที่ใช้ร่วมกันกลายเป็นข้อกำหนดที่เป็นไปได้สำหรับการใช้งานที่มีประสิทธิภาพ

5. ยอมรับ CXL สำหรับโครงสร้างพื้นฐานการผลิต

ในช่วงไม่กี่ปีที่ผ่านมา อุตสาหกรรมมองว่า CXL เป็นมาตรฐานที่มีแนวโน้มที่ต้องการเวลาในการเติบโต โดย CXL เคลื่อนจากเวอร์ชัน 1 ไปเป็นเวอร์ชัน 2 อย่างรวดเร็ว ตอนนี้ด้วยฮาร์ดแวร์เวอร์ชัน 3.x ที่จะวางจำหน่ายในเร็วๆ นี้ CXL ได้ถึงจุดที่สมบูรณ์แบบ ย้อนกลับ และพร้อมที่จะรับมือกับภาระการผลิต

CXL ได้ถึงระดับการเติบโตที่ผู้ให้บริการไฮเปอร์สเกลและผู้ดำเนินการศูนย์ข้อมูลควรพิจารณาเป็นทางเลือกที่เป็นไปได้สำหรับการขยายหน่วยความจำ การรวมและการใช้ร่วมกัน มันควรอยู่ในแผนโครงสร้างพื้นฐานที่จริงจัง โดยเฉพาะสำหรับสภาพแวดล้อมที่ต้องการการปรับขนาดหน่วยความจำที่ยืดหยุ่นและเศรษฐศาสตร์ที่ดีกว่าสำหรับการอนุมาน

สิ่งนี้ไม่ได้หมายความว่าภาระงานทุกอย่างควรย้ายไปใช้หน่วยความจำที่อาศัย CXL หน่วยความจำท้องถิ่นจะยังคงจำเป็นสำหรับข้อมูลที่ร้อนที่สุดและที่ต้องการละตันซีต่ำที่สุด แต่ผู้ดำเนินการไม่จำเป็นต้องรอเวอร์ชันในอนาคตของมาตรฐานก่อนที่จะดำเนินการ

คำถามที่มีประโยชน์กว่าคือ CXL สามารถแก้ไขปัญหาการผลิตจริงได้อย่างไรในปัจจุบัน

โอกาสที่ชัดเจนที่สุดคือการขยายหน่วยความจำ การรวมหน่วยความจำและการออกแบบหน่วยความจำที่ใช้ร่วมกันที่ลดการคัดลอกที่ไม่จำเป็นระหว่างเวิร์กโฟลว์ AI สิ่งเหล่านี้สอดคล้องกับจุดกดดันที่เพิ่มขึ้นในปัจจุบัน: ความต้องการ KV cache ที่เพิ่มขึ้น การส่งผ่านข้อมูลระหว่างตัวแทนและตัวแทน และความจำเป็นในการปรับปรุงการใช้ GPU โดยไม่ผลักดันค่าใช้จ่ายทั้งหมดให้สูงขึ้น

ผู้ดำเนินการยังคงต้องวางแผนอย่างรอบคอบ ละตันซี ความคาด đoán และการสนับสนุนซอฟต์แวร์ยังคงมีความสำคัญ นโยบายการจัดการหน่วยความจำต้องวางข้อมูลไว้ในระดับที่เหมาะสมในเวลาที่เหมาะสม สิ่งเหล่านี้เป็นคำถามในการดำเนินการ ไม่ใช่เหตุผลที่จะเลื่อนการวางแผนออกไป

ที่ XCENA เรามองเห็นหน่วยความจำ การเคลื่อนย้ายข้อมูล และการใช้งานเป็นข้อจำกัดหลักในโครงสร้างพื้นฐาน AI ที่ใช้ในการผลิต ซึ่งเป็นเหตุผลที่เรามุ่งเน้นไปที่หน่วยความจำเชิงคำนวณที่อาศัย CXL และสถาปัตยกรรมที่ลดการคัดลอกที่ไม่จำเป็น การสนับสนุนการเข้าถึงร่วมกัน และช่วยให้ผู้ดำเนินการใช้ทรัพยากรการคำนวณที่มีค่าใช้จ่ายสูงได้ดีขึ้น

อุตสาหกรรมใช้เวลาหลายปีในการพิจารณาหน่วยความจำเป็นทรัพยากรสนับสนุนเบื้องหลังเครื่องยนต์จริงของความก้าวหน้า AI มุมมองนั้นไม่สอดคล้องกับความเป็นจริงของการวางระบบการผลิตแล้ว หน่วยความจำ địnhรูปการใช้งาน ประสิทธิภาพ และต้นทุนในระดับทุกๆ ระดับของ chồng ผู้ดำเนการที่รับรู้การเปลี่ยนแปลงนี้เร็วๆ นี้จะมีข้อได้เปรียบที่วัดไม่เพียงแต่ในด้านประสิทธิภาพ แต่ยังรวมถึงความสามารถในการขยายขนาด AI ในโลกแห่งความเป็นจริงด้วย