รายงาน
เกณฑ์ชี้วัดเศรษฐศาสตร์การอนุมานท้าทายการใช้ประโยชน์จาก GPU ในฐานะตัวชี้วัดประสิทธิภาพ AI

ประเด็นสำคัญการใช้ GPU…
ดูเพิ่มเติม
- การใช้ GPU ไม่สามารถแยกแยะผลผลิตที่เป็นประโยชน์ออกจากการสร้างบริบทใหม่ที่มีค่าใช้จ่ายสูงได้
- บัตรคะแนนวัดปริมาณงานที่มีประโยชน์เทียบกับพลังงาน พื้นที่แร็ค และค่าใช้จ่าย แทนที่จะวัดกิจกรรมของชิป
- แคช NVMe แบบใช้ร่วมกันลดการคำนวณบริบทซ้ำเหลือ 6.8% ของรอบพรีฟิลล์ในการทดสอบประสิทธิภาพ
GPU ที่ทำงานหนักไม่ได้หมายความว่าจะสร้างผลงานได้ดีเสมอไป นี่คือข้อเสนอเบื้องหลัง เกณฑ์ชี้วัดเศรษฐศาสตร์การอนุมาน งานวิจัยใหม่จาก NAND Research และ WEKA ที่เสนอวิธีประเมินโครงสร้างพื้นฐานสำหรับการใช้งาน AI ในระบบจริงให้ครอบคลุมยิ่งขึ้น
กรอบการประเมินนี้เปลี่ยนจุดสนใจจากกิจกรรมของชิปไปสู่ผลงานที่เป็นประโยชน์ซึ่งส่งมอบได้ตามเป้าหมายการให้บริการ โดยพิจารณาควบคู่กับการใช้ไฟฟ้า พื้นที่ในแร็ก และต้นทุน กรอบนี้ยิ่งสำคัญขึ้นเมื่อเอเจนต์ AI สนทนาเป็นเวลานาน เรียกใช้เครื่องมือ และย้อนกลับไปใช้บริบทก่อนหน้าอยู่บ่อยครั้ง เซิร์ฟเวอร์อนุมานอาจใช้กำลังประมวลผลจำนวนมากเพื่อสร้างบริบทนั้นขึ้นใหม่ ทั้งที่แดชบอร์ดการใช้ประโยชน์ยังแสดงผลว่าระบบทำงานได้ดี
นอกจากการประกาศแล้ว WEKA ยังนำเสนอผลการทดสอบสมรรถนะนานแปดชั่วโมง ซึ่งดำเนินการร่วมกับ Nebius บนฮาร์ดแวร์ NVIDIA HGX B300 พร้อมเผยแพร่ร่องรอยเวิร์กโหลดและเครื่องมือเพื่อให้ผู้อื่นนำไปทำซ้ำและเปรียบเทียบได้ เกณฑ์ชี้วัดนี้เป็นกรอบประเมินที่เสนอขึ้น ไม่ใช่มาตรฐานอุตสาหกรรมที่ได้รับการยอมรับแล้ว WEKA ซึ่งได้ประโยชน์จากแนวทางนี้เนื่องจากเทคโนโลยีด้านพื้นที่จัดเก็บข้อมูลของบริษัท เป็นผู้สนับสนุนงานวิจัย
เหตุใดการใช้ประโยชน์จาก GPU จึงอาจบดบังงานซ้ำที่มีต้นทุนสูง
การอนุมานคือกระบวนการเรียกใช้โมเดลที่ฝึกแล้วเพื่อสร้างคำตอบ ก่อนสร้างโทเค็นใหม่ โมเดลจะประมวลผลอินพุตและประวัติการสนทนาในขั้นตอนที่เรียกว่า พรีฟิลล์ ระหว่างการประมวลผลนี้ โมเดลจะสร้างแคชคีย์-แวลู หรือ KV cache ซึ่งเป็นข้อมูลความสนใจระดับกลางที่ช่วยให้โมเดลนำการคำนวณก่อนหน้ากลับมาใช้ได้เมื่อสนทนาต่อ
ตำแหน่งที่เหมาะที่สุดสำหรับแคชนี้คือหน่วยความจำแบนด์วิดท์สูงของ GPU ซึ่งเรียกว่า HBM แต่ HBM ยังต้องรองรับน้ำหนักของโมเดลและข้อมูลอื่นที่ใช้ในการทำงานด้วย เซสชันที่ยาวนานและผู้ใช้หลายรายที่ใช้ระบบพร้อมกันอาจทำให้เซิร์ฟเวอร์ต้องนำบริบทที่แคชไว้ออกเพื่อเพิ่มพื้นที่
เมื่อผู้ใช้หรือเอเจนต์กลับมาใช้งาน แคชที่หายไปอาจต้องสร้างขึ้นใหม่โดยประมวลผลโทเค็นเก่าอีกครั้ง นี่ไม่ได้หมายความว่าโมเดลสูญเสียบทสนทนาไปอย่างถาวร แต่หมายความว่าโครงสร้างพื้นฐานลบข้อมูลแทนบริบทที่นำกลับมาใช้ได้ทิ้งไป จึงต้องเสียทรัพยากรเพื่อสร้างข้อมูลนั้นขึ้นใหม่
สิ่งนี้ทำให้เกิดกับดักในการวัดผล การประมวลผลบริบทจากวันก่อนซ้ำทำให้ GPU ยังคงทำงานอยู่ เช่นเดียวกับการสร้างคำตอบใหม่ที่เป็นประโยชน์ การใช้ประโยชน์จาก GPU ยังคงเป็นสัญญาณวินิจฉัยที่มีคุณค่า แต่เพียงอย่างเดียวไม่อาจบอกผู้ให้บริการได้ว่าลูกค้าได้รับงานที่เป็นประโยชน์มากน้อยเพียงใด
เกณฑ์ชี้วัดเศรษฐศาสตร์การอนุมานประเมินอะไรบ้าง
เกณฑ์ชี้วัดนี้กำหนดให้ทดสอบต่อเนื่องอย่างน้อยแปดชั่วโมง ซึ่งนานพอที่จะเผยให้เห็นพฤติกรรมที่การสาธิตระยะสั้นอาจตรวจไม่พบ การเปรียบเทียบต้องควบคุมโมเดล ความแม่นยำ เวิร์กโหลด การทำงานพร้อมกัน เงื่อนไขของแคช เกณฑ์คุณภาพ และวัตถุประสงค์ระดับการให้บริการให้คงที่ ขอบเขตการวัดครอบคลุมชุดระบบที่ให้บริการ โดยต้องเปิดเผยข้อมูลการทำความเย็นและค่าใช้จ่ายส่วนเกินของสถานที่ด้วย
เฉพาะผลลัพธ์ที่สำเร็จและเป็นไปตามเป้าหมายด้านคุณภาพและการให้บริการเท่านั้นที่จะนับเป็นปริมาณงานที่มีประโยชน์ คำขอที่ล้มเหลว การลองใหม่ การหมดเวลา และผลลัพธ์ที่ถูกทิ้งต้องแสดงให้เห็น ไม่ใช่หายไปจากการคำนวณ
| ตัวชี้วัด | ช่วยให้เห็นอะไร |
|---|---|
| โทเค็นต่อวัตต์ | ประสิทธิภาพในการเปลี่ยนพลังงานให้เป็นผลลัพธ์จากโมเดลที่เป็นประโยชน์ |
| โทเค็นต่อแร็ก | ปริมาณผลลัพธ์ที่ระบบติดตั้งส่งมอบได้ภายในพื้นที่ทางกายภาพที่กำหนด |
| ต้นทุนต่อการอนุมาน | ค่าใช้จ่ายในการให้บริการคำขอที่สำเร็จทั่วทั้งระบบ |
| ปริมาณงานที่มีประโยชน์ของ GPU | ผลงานที่เป็นประโยชน์ซึ่งส่งมอบได้ตามเป้าหมายการให้บริการ แทนที่จะเป็นเพียงกิจกรรมดิบของชิป |
| เวลาจนได้โทเค็นแรกและเวลาแฝงตั้งแต่ต้นจนจบ | ระยะเวลาที่ผู้ใช้ต้องรอให้เริ่มตอบกลับและตอบเสร็จ |
| ประสิทธิภาพการใช้หน่วยความจำ | ระบบใช้ความจุหน่วยความจำที่มีจำกัดได้อย่างมีประสิทธิภาพเพียงใด |
| ความหนาแน่นในการดำเนินงาน | ข้อจำกัดในการติดตั้งและการดำเนินงานส่งผลต่อความจุที่ใช้งานได้อย่างไร |
| การทำงานพร้อมกันของเอเจนต์ | ระบบรองรับเวิร์กโหลดของเอเจนต์หลายรายการที่กำลังทำงานอยู่ได้ดีเพียงใด |
| การคงอยู่ของบริบท | ระบบรักษาบริบทของเซสชันที่นำกลับมาใช้ได้อย่างมีประสิทธิภาพเพียงใดเมื่อเวิร์กโหลดเพิ่มขึ้น |
ความแตกต่างระหว่างปริมาณงานที่ประมวลผลได้กับปริมาณงานที่มีประโยชน์มีความสำคัญอย่างยิ่ง เซิร์ฟเวอร์ที่สร้างโทเค็นได้มากกว่าแต่ตอบไม่ทันกำหนดเวลาของลูกค้า อาจมีประโยชน์น้อยกว่าระบบที่ดูเหมือนทำงานช้ากว่าแต่ตอบได้ตามกำหนดอย่างสม่ำเสมอ ในทำนองเดียวกัน แคชที่ใหญ่ขึ้นจะคุ้มค่าในเชิงเศรษฐศาสตร์ก็ต่อเมื่อประโยชน์ที่ได้มากกว่าค่าใช้จ่ายเพิ่มเติมด้านพื้นที่จัดเก็บ เครือข่าย และการดำเนินงาน
พื้นที่จัดเก็บข้อมูลแบบใช้ร่วมกันช่วยขยาย KV cache ได้อย่างไร
คำอธิบายทางเทคนิคเกี่ยวกับการทดสอบสมรรถนะของ WEKA กล่าวถึง NeuralMesh ที่ทำงานร่วมกับ Augmented Memory Grid ซึ่งเก็บข้อมูล KV ที่นำกลับมาใช้ได้ไว้ในพื้นที่จัดเก็บ NVMe แบบใช้ร่วมกัน นอกเหนือจากหน่วยความจำของ GPU เอง NVMe เป็นอินเทอร์เฟซประสิทธิภาพสูงที่มักใช้กับไดรฟ์แฟลช
ในการออกแบบนี้ แคชจะกลายเป็นทรัพยากรที่โครงสร้างพื้นฐานสำหรับให้บริการสามารถเรียกใช้ผ่านเครือข่ายได้ แทนที่จะสร้างข้อมูลขึ้นใหม่บน GPU ซ้ำแล้วซ้ำเล่า RDMA หรือการเข้าถึงหน่วยความจำโดยตรงจากระยะไกล และ NVIDIA GPUDirect Storage ช่วยส่งข้อมูลผ่านเส้นทางตรงจากที่เก็บข้อมูลไปยัง GPU โดยลดการพึ่งพา CPU
นี่คือการแลกเปลี่ยนระหว่างการย้ายข้อมูลที่มีอยู่แล้วกับการคำนวณข้อมูลนั้นขึ้นใหม่ เส้นทางการจัดเก็บข้อมูลที่เร็วเพียงพออาจทำให้การดึงข้อมูลมีต้นทุนต่ำกว่าการสร้างประวัติการใช้งานที่ยาวนานขึ้นมาใหม่ ข้อได้เปรียบนี้ขึ้นอยู่กับการนำแคชกลับมาใช้ซ้ำ ความยาวของบริบท การทำงานพร้อมกัน และความเร็วของเส้นทางข้อมูลทั้งหมด ส่วนคำขอสั้น ๆ ที่ข้อมูลสำหรับการประมวลผลมีขนาดพอดีกับ HBM อยู่แล้วนั้นเป็นโจทย์อีกแบบหนึ่ง
ผลการทดสอบประสิทธิภาพตลอดแปดชั่วโมงเผยอะไรบ้าง
การทดสอบร่วมกันของ Nebius และ WEKA ใช้โหนดให้บริการ HGX B300 ที่มี GPU 8 ตัวหนึ่งโหนด โดยรัน DeepSeek-V4-Pro ภาระงานที่นำมาเล่นซ้ำอ้างอิงร่องรอยการทำงานจริงของเอเจนต์มากกว่า 5,000 รายการ มีเซสชันที่ใช้งานอยู่ 512 เซสชัน และใช้ตัวจัดตารางงานที่อนุญาตให้มีคำขอพร้อมกันได้ 32 รายการ จำนวนเซสชันที่ใช้งานอยู่กับจำนวนคำขอที่เกิดขึ้นพร้อมกันเป็นตัวชี้วัดคนละอย่าง
ตลอดการทดสอบแปดชั่วโมง WEKA รายงานว่าแคชที่ใช้ร่วมกันสร้างโทเคนเอาต์พุตต่อ GPU-hour ได้มากกว่าการให้บริการที่ใช้ HBM เพียงอย่างเดียว 3.7 เท่า ในบรรดาคำขอที่เสร็จสมบูรณ์ 97% ได้รับโทเคนแรกภายในห้าวินาที เทียบกับ 44% ในการทดสอบฐาน การคำนวณบริบทที่เคยพบแล้วขึ้นใหม่ใช้รอบการประมวลผลช่วง prefill 60% ในการทดสอบฐาน เทียบกับ 6.8% เมื่อใช้แคชร่วมกัน
แคชเพิ่มเติมใช้ไดรฟ์ NVMe ในคลัสเตอร์แปดโหนด แม้ว่าผลการให้บริการที่รายงานจะมาจากโหนด GPU เพียงโหนดเดียวก็ตาม ดังนั้น ตัวเลขการเพิ่มประสิทธิภาพที่ปรับตามจำนวน GPU จึงไม่ได้ยืนยันว่าต้นทุนรวมหรือพลังงานที่ใช้ลดลงในสัดส่วนเดียวกัน การคำนวณดังกล่าวต้องรวมทรัพยากรสนับสนุนด้วย
การทดสอบฐานก็มีความสำคัญเช่นกัน รายงานทางเทคนิคระบุว่า ในช่วงที่ทำการทดสอบยังไม่มีการติดตั้งใช้งาน DRAM-offload ที่เหมาะสมสำหรับโมเดลนี้ ผลลัพธ์เหล่านี้เปรียบเทียบการกำหนดค่าที่ทดสอบกับการให้บริการที่ใช้ HBM เพียงอย่างเดียว ไม่ได้พิสูจน์ว่าดีกว่าสถาปัตยกรรมแคชทางเลือกทุกแบบ
ร่องรอยการทำงานแบบเปิดช่วยให้การเปรียบเทียบมีประโยชน์ยิ่งขึ้น
โปรเจ็กต์ kvlab แบบโอเพนซอร์สของ WEKA บันทึกและเล่นซ้ำโครงสร้างของเซสชันเอเจนต์ รวมถึงรูปแบบด้านเวลาและการนำแคชกลับมาใช้ซ้ำ โดยไม่เผยแพร่เนื้อหาการสนทนาหรือซอร์สโค้ดต้นฉบับ คู่มือการใช้ตัวโหลดนี้อยู่ในชุดเครื่องมือ AIPerf ของ NVIDIA และประกาศดังกล่าวยังระบุถึงการผสานรวมกับการทดสอบ AgentX ของ SemiAnalysis ด้วย
การคงช่วงหยุดพัก ประวัติการสนทนาที่เพิ่มขึ้น และกิจกรรมอื่น ๆ ที่เกี่ยวข้องกับเอเจนต์ไว้ ช่วยเผยให้เห็นภาวะกดดันต่อแคชที่อาจมองไม่เห็นหากใช้เพียงพรอมป์ต์สังเคราะห์ที่ไม่เกี่ยวข้องกัน การเล่นซ้ำลักษณะนี้ใช้วัดพฤติกรรมการให้บริการ แต่เพียงอย่างเดียวไม่ได้แสดงให้เห็นว่าเอเจนต์ทำงานทางธุรกิจได้ถูกต้องหรือไม่
สำหรับองค์กร คุณูปการสำคัญของ ตารางประเมินเศรษฐศาสตร์ของการอนุมาน คือการกำหนดนิยามความสำเร็จให้ชัดเจนขึ้น นั่นคือการได้คำตอบที่เป็นประโยชน์ มีคุณภาพและความเร็วตามต้องการ ภายใต้ทรัพยากรที่มีอยู่ เมื่อเอเจนต์ประมวลผลบริบทมากขึ้นและทำงานนานขึ้น การทำให้ GPU ทำงานอยู่ตลอดจึงเป็นเพียงข้อสังเกตเบื้องต้น สิ่งที่มีความสำคัญในเชิงธุรกิจคือผลงานที่ส่งถึงลูกค้า












