โมเดลและแพลตฟอร์ม AI
การประมวลผล AI ในปี 2027: ต้นทุนการอนุมานจะพลิกโฉมศูนย์ข้อมูล

ประเด็นสำคัญการอัปเกรดซอฟต์แวร์สามารถเพิ่มปริมาณงานได้อีก 30%…
ดูเพิ่มเติม
- การอัปเกรดซอฟต์แวร์สามารถเพิ่มปริมาณงานได้อีก 30% บนตัวเร่งความเร็วที่ติดตั้งอยู่แล้วภายในเป้าหมายความหน่วงที่กำหนด
- การแยก prefill ออกจาก decode ให้ผลตอบแทนก็ต่อเมื่อรูปแบบการรับส่งข้อมูล uzasadňuje ความซับซ้อนด้านเครือข่ายและการดำเนินงานที่เพิ่มขึ้น
- ตัวเร่งความเร็วทางเลือกอาจชนะงานให้บริการบางประเภทเมื่อการเปรียบเทียบรวมถึงต้นทุนการย้ายระบบและการดำเนินงาน
ศูนย์ข้อมูลอาจเต็มไปด้วยตัวเร่งการประมวลผลราคาแพง แต่ก็ยังมีกำลังรองรับงานที่ใช้งานได้จริงไม่เพียงพอ ชิปบางตัวต้องรอข้อมูลจากหน่วยความจำ ขณะที่บางตัวกำลังให้บริการคำขอที่ไม่ผ่านเป้าหมายด้านเวลาแฝง ผลการทดสอบมาตรฐานอาจดูยอดเยี่ยม ทั้งที่ค่าบริการยังเพิ่มขึ้นไม่หยุด การเป็นเจ้าของฮาร์ดแวร์เป็นเพียงจุดเริ่มต้นของปัญหาทางเศรษฐศาสตร์เท่านั้น
ในปี 2027 การแข่งขันด้านกำลังประมวลผลจะมุ่งเน้นมากขึ้นว่าแต่ละระบบที่ติดตั้งไว้สามารถทำงานได้มากเพียงใดภายใต้เงื่อนไขที่ลูกค้าต้องการจริง ๆ เรื่องนี้ทำให้ความสนใจหันไปอยู่ที่ซอฟต์แวร์สำหรับให้บริการ การจัดวางเวิร์กโหลด และต้นทุนของคำตอบที่มีคุณภาพเหมาะสม
มาตรฐานตั้งต้นกำลังเปลี่ยนแปลงอย่างรวดเร็วอยู่แล้ว MLPerf Inference v6.1 ซึ่งเผยแพร่ในเดือนกันยายน 2026 ได้เพิ่มการสร้างเนื้อหาโดยอาศัยการดึงข้อมูลเสริมแบบครบวงจร และเวิร์กโหลด AI แบบเอเจนต์ที่ Edge นอกจากนี้ ยังกล่าวถึงการเปลี่ยนผ่านไปสู่ชุด Endpoints ที่ขับเคลื่อนด้วย API สิ่งนี้แสดงให้เห็นว่าผู้ออกแบบการทดสอบมาตรฐานกำลังปรับตัวให้รองรับเวิร์กโหลดหลายขั้นตอน ไม่ได้แสดงว่าแอปพลิเคชัน AI ทุกประเภทสามารถประเมินได้ด้วยคะแนนจากการทดสอบมาตรฐานเพียงรายการเดียว
ขณะเดียวกัน บทวิเคราะห์พลังงานปี 2026 ของ IEA กล่าวถึงความตึงเครียดระหว่างการเพิ่มประสิทธิภาพการใช้พลังงานต่องานหนึ่งชิ้น กับการเติบโตของแอปพลิเคชันที่ต้องใช้ทรัพยากรมากขึ้น รายงานระบุว่าการใช้ไฟฟ้าของศูนย์ข้อมูลเพิ่มสูงขึ้น และเน้นย้ำถึงความไม่แน่นอนที่เกิดจากเวิร์กโหลดที่เปลี่ยนแปลงไป ข้อสรุปที่ผมได้คือ ต้นทุนต่อหน่วยที่ลดลงจะยิ่งทำให้การแข่งขันด้านการออกแบบระบบเข้มข้นขึ้น ขณะที่กำลังไฟฟ้าและหน่วยความจำยังคงเป็นข้อจำกัดสำคัญ แต่สิ่งเหล่านี้ไม่ได้ทำให้ค่าใช้จ่ายด้านโครงสร้างพื้นฐานโดยรวมลดลงโดยอัตโนมัติ
1. ซอฟต์แวร์จะช่วยเพิ่มประสิทธิภาพได้อีกมากบนฮาร์ดแวร์ที่ติดตั้งไว้แล้ว
การเพิ่มขีดความสามารถครั้งต่อไปอาจมาในรูปแบบของการติดตั้งซอฟต์แวร์ การจัดตารางงาน การจัดการหน่วยความจำ และเคอร์เนลสำหรับประมวลผล สามารถเปลี่ยนปริมาณงานที่ตัวเร่งการประมวลผลซึ่งติดตั้งไว้ทำได้ โดยไม่ต้องเปลี่ยนตัวชิปเอง ผมคาดว่าในปี 2027 จะมีผลการทดสอบที่ทำซ้ำได้ แสดงปริมาณงานที่เพิ่มขึ้นอย่างน้อย 30% ภายในเป้าหมายด้านเวลาแฝง โดยใช้ฮาร์ดแวร์และโมเดลที่กำหนดไว้ ณ ที่นี้อย่างคงที่ ผลทางธุรกิจที่น่าสนใจคือ ผู้ให้บริการจะได้กำลังรองรับงานที่ใช้งานได้จริงเพิ่มขึ้นจากการซื้อที่ได้ลงทุนไปแล้ว
ข้อได้เปรียบทางเศรษฐกิจนั้นตรงไปตรงมา ฮาร์ดแวร์ที่ติดตั้งไว้แล้วมีต้นทุนด้านกำลังรองรับงาน ไม่ว่าตัวจัดตารางงานจะใช้ฮาร์ดแวร์นั้นได้อย่างมีประสิทธิภาพหรือไม่ก็ตาม การจัดชุดงาน การประมวลผลเคอร์เนล การจัดสรรหน่วยความจำ และการกำหนดเส้นทางคำขอที่ดีขึ้น ล้วนช่วยเพิ่มปริมาณผลลัพธ์ที่ใช้งานได้โดยไม่ต้องเพิ่มตัวเร่งการประมวลผล วิธีนี้มีคุณค่าเป็นพิเศษในกรณีที่การเพิ่มแร็กใหม่จะต้องใช้กำลังไฟฟ้า ระบบระบายความร้อน หรือขีดความสามารถของเครือข่ายเพิ่มขึ้นด้วย
งานวิจัย PagedAttention ในช่วงแรกแสดงให้เห็นว่าเหตุใดการจัดการหน่วยความจำจึงควรเป็นส่วนหนึ่งของการอภิปรายเรื่องประสิทธิภาพ กล่าวคือ การจัดการแคชคีย์-แวลูอย่างไม่มีประสิทธิภาพอาจทำให้สูญเสียกำลังรองรับงานและจำกัดการจัดชุดงาน ผลการศึกษาในอดีตไม่ควรถูกนำไปใช้เป็นตัวเลขการเพิ่มความเร็วที่ครอบคลุมระบบปัจจุบันทุกประเภท ผลเหล่านั้นยืนยันกลไกที่ทำให้เกิดประสิทธิภาพดังกล่าว ไม่ได้บอกขนาดของการเพิ่มประสิทธิภาพที่จะเกิดขึ้นครั้งต่อไป
มีหลักฐานร่วมสมัยที่บ่งชี้ว่ายังมีโอกาสเพิ่มประสิทธิภาพได้อีก ใน บทวิเคราะห์ผลการส่งทดสอบ v6.1 AMD รายงานว่าปริมาณงานบนฮาร์ดแวร์ MI355X ชุดเดิมเพิ่มขึ้นระหว่างการทดสอบแต่ละรอบ ซึ่งรวมถึงการปรับปรุง 38% ในหมวด Server สำหรับการกำหนดค่า GPT-OSS-120B ที่ระบุไว้ การเปรียบเทียบของผู้ผลิตรายนี้ใช้โมเดลที่ต่างจากเป้าหมายการคาดการณ์ของผม ผลดังกล่าวสนับสนุนข้อเสนอที่ว่าซอฟต์แวร์ที่พัฒนาจนสมบูรณ์ยังมีความสำคัญ แต่ไม่ได้ยืนยันว่าการเพิ่มประสิทธิภาพ 30% บน Llama 3.1 8B จะเกิดขึ้นอย่างแน่นอน
การกำหนดเวิร์กโหลดให้คงที่ในการคาดการณ์นี้เป็นความตั้งใจ หากกล่าวว่าระบบหนึ่งสร้างโทเค็นได้มากขึ้นหลังเปลี่ยนไปใช้โมเดลขนาดเล็กลง คุณภาพต่ำลง หรือเป้าหมายด้านเวลาแฝงที่ผ่อนปรนกว่า นั่นย่อมเป็นเรื่องราวทางเศรษฐกิจอีกแบบหนึ่ง การทดสอบจึงต้องตรึงตัวเลือกเหล่านั้นไว้ให้คงที่ สูตรการทดสอบซ้ำที่เผยแพร่โดย AMD เป็นตัวอย่างที่มีประโยชน์ของการเปิดเผยรายละเอียดซอฟต์แวร์และการกำหนดค่า แม้สูตรที่ผู้ผลิตจัดทำให้จะยังต้องผ่านการตรวจสอบอย่างเป็นอิสระ
สิ่งที่ควรจับตาในปี 2027
มองหาการทดสอบมาตรฐานด้านการให้บริการที่แสดงปริมาณงานเพิ่มขึ้นบนฮาร์ดแวร์ที่ติดตั้งไว้แล้ว โดยคงโมเดล คุณภาพคำตอบ และข้อกำหนดด้านเวลาตอบสนองไว้เท่าเดิม การเผยแพร่การกำหนดค่าและการกระจายของเวลาแฝงจะช่วยให้ประเมินการเพิ่มประสิทธิภาพเหล่านี้ได้ง่ายขึ้น ส่วนผลลัพธ์ที่ได้จากการใช้โมเดลขนาดเล็กลง การลดความละเอียดโดยไม่มีการตรวจสอบคุณภาพ หรือการผ่อนปรนเป้าหมายด้านเวลาแฝง จะเป็นหลักฐานสนับสนุนข้อกล่าวอ้างคนละแบบ
ความหมายต่อธุรกิจ
ผู้ซื้อโครงสร้างพื้นฐานควรวัดกำลังรองรับงานที่ยังเหลืออยู่ในระบบให้บริการปัจจุบัน ก่อนตัดสินใจลงทุนซื้อตัวเร่งการประมวลผลเพิ่ม เปรียบเทียบต้นทุนของการอัปเกรดซอฟต์แวร์ การปรับแต่ง และการสนับสนุนด้านปฏิบัติการ กับกำลังรองรับงานที่อาจเพิ่มขึ้นได้ การตัดสินใจขยายระบบควรอิงจำนวนคำขอที่ผ่านเกณฑ์ภายใต้เป้าหมายการให้บริการของแอปพลิเคชัน เพื่อไม่ให้อัตราการสร้างโทเค็นที่สูงขึ้นตามตัวเลขพาดหัวบดบังประสบการณ์ของลูกค้าที่แย่ลง
2. การแยกส่วนจะคุ้มค่าก็ต่อเมื่อเหมาะกับเศรษฐศาสตร์ของเวิร์กโหลดแต่ละประเภท
การอ่านพรอมป์ต์ยาว ๆ กับการสร้างคำตอบต่างก็ต้องการสิ่งที่ไม่เหมือนกันจากระบบให้บริการ การใช้ฮาร์ดแวร์ชุดเดียวกันทำงานทั้งสองอย่างสะดวกก็จริง แต่ความสะดวกนั้นอาจทำให้ทรัพยากรราคาแพงไม่เหมาะกับงานที่ต้องทำ ในปี 2027 ผู้ให้บริการที่ระบุชื่อได้จะแสดงให้เห็นว่าการแยกขั้นตอนเหล่านี้ช่วยเพิ่มจำนวนคำขอที่ให้บริการได้ต่อชั่วโมงการทำงานของตัวเร่งการประมวลผลอย่างมีนัยสำคัญในกรณีใดบ้าง ผลลัพธ์จะขึ้นอยู่กับรูปแบบทราฟฟิก สถาปัตยกรรมที่ดีกว่าสำหรับบริการหนึ่งอาจเป็นความซับซ้อนที่ไม่จำเป็นสำหรับอีกบริการหนึ่ง
ขั้นตอนพรีฟิลล์ประมวลผลบริบทที่รับเข้ามา ส่วนขั้นตอนถอดรหัสจะสร้างคำตอบทีละโทเค็น ความต้องการทรัพยากรและเป้าหมายด้านเวลาแฝงของทั้งสองขั้นตอนแตกต่างกัน การใช้ทรัพยากรร่วมกันจึงอาจทำให้เกิดการแย่งใช้ทรัพยากร หรือบังคับให้จัดสรรทรัพยากรมากเกินความจำเป็น การแยกสองขั้นตอนออกจากกันทำให้จัดสรรทรัพยากรได้แยกกัน แต่ก็เพิ่มต้นทุนในการย้ายสถานะระหว่างขั้นตอน
DistServe วางกรอบการแลกเปลี่ยนระหว่างข้อดีข้อเสียนี้โดยใช้ปริมาณงานที่ทำสำเร็จภายใต้ข้อจำกัดด้านเวลาแฝงของบริการเป็นเกณฑ์ ผลการปรับปรุงที่รายงานมาจากภาระงานและเงื่อนไขเฉพาะที่นำมาประเมิน ไม่ควรตีความว่าเป็นตัวคูณที่ใช้ได้ทั่วไปกับคลัสเตอร์ที่ใช้งานจริงทุกแห่ง โครงสร้างเครือข่าย ความยาวของบริบท ความยาวของผลลัพธ์ และความผันผวนของทราฟฟิกเป็นตัวกำหนดว่าการแยกขั้นตอนจะคุ้มค่าหรือไม่
ภายในปี 2026 แนวทางนี้จะไม่ใช่แค่ข้อเสนอในการวิจัยอีกต่อไป NVIDIA Dynamo ประกอบด้วยตัววางแผน การกำหนดเส้นทางที่คำนึงถึงแคช และองค์ประกอบสำหรับถ่ายโอนข้อมูล เพื่อรองรับการอนุมานแบบกระจาย การวิเคราะห์การแยกประมวลผลข้อมูลหลายรูปแบบของ NVIDIA มีประโยชน์ส่วนหนึ่งเพราะระบุเงื่อนไขที่ทำให้ประโยชน์ลดลง หรือทำให้โครงสร้างเครือข่ายทำงานได้ด้อยกว่าที่คาด ผู้ให้บริการที่อธิบายเงื่อนไขซึ่งทำให้ผลลัพธ์ด้อยลง ย่อมช่วยให้ผู้ซื้อเริ่มประเมินได้ดีกว่าการนำเสนอตัวเลขความเร็วที่เพิ่มขึ้นสูงสุดเพียงตัวเดียว
การคาดการณ์ของฉันตั้งอยู่บนเงื่อนไขว่าภาระงานที่เหมาะสมต้องมีขนาดใหญ่พอ พรอมป์ต์ที่ยาวและความต้องการที่ไม่สม่ำเสมออาจทำให้เกิดความติดขัดในการจัดตารางเวลามากพอที่จะคุ้มกับการใช้สถาปัตยกรรมให้บริการที่ซับซ้อนขึ้น ส่วนภาระงานขนาดเล็กและสม่ำเสมออาจให้บริการได้ประหยัดกว่าหากคงระบบไว้ให้เรียบง่าย ดังนั้น การแยกขั้นตอนจึงเป็นการตัดสินใจด้านการบริหารจัดการขีดความสามารถ ซึ่งต้องได้ประโยชน์กลับมาคุ้มกับต้นทุนด้านซอฟต์แวร์และการดำเนินงาน
ประเด็นที่ควรจับตาในปี 2027
จับตาผู้ให้บริการที่เผยแพร่ผลจากรูปแบบคำขอจริง ซึ่งรวมถึงพรอมป์ต์ที่ยาว ความต้องการที่ผันแปร และต้นทุนในการย้ายสถานะระหว่างขั้นตอนการอนุมาน ผลลัพธ์ที่ดีขึ้นควรยังเห็นได้ชัดเมื่อนับรวมตัวเร่งที่สำรองไว้ทั้งหมดและค่าใช้จ่ายส่วนเกินจากการถ่ายโอนข้อมูลแล้ว การติดตั้งใช้งานที่เพิ่มความซับซ้อนแต่ไม่ได้เพิ่มปริมาณงานที่เป็นประโยชน์ต่อหน่วยขีดความสามารถ จะทำให้เหตุผลสนับสนุนการแยกประมวลผลมีน้ำหนักน้อยลง
สิ่งนี้มีความหมายอย่างไรต่อธุรกิจ
ให้มองการแยกขั้นตอนพรีฟิลล์ออกจากการถอดรหัสเป็นทางเลือกด้านสถาปัตยกรรมที่ต้องตรวจสอบให้สอดคล้องกับทราฟฟิกของคุณ ก่อนนำมาใช้ ทีมงานควรประเมินภาระเพิ่มเติมด้านเครือข่าย การจัดตารางเวลา และการดำเนินงาน ภาระงานขนาดใหญ่และไม่สม่ำเสมออาจคุ้มกับความพยายามดังกล่าว ส่วนบริการขนาดเล็กควรต้องมีหลักฐานยืนยันว่าองค์ประกอบที่เพิ่มเข้ามาจะชดเชยต้นทุนได้ภายใต้สภาวะการทำงานปกติ
3. ตัวเร่งประมวลผลทางเลือกจะคว้าชัยในภาระงานให้บริการบางประเภท โดยมีการเปิดเผยต้นทุน
ตัวเร่งประมวลผลที่ราคาถูกกว่าจะถือว่าคุ้มก็ต่อเมื่อให้คำตอบที่มีคุณภาพยอมรับได้และส่งถึงผู้ใช้ทันเวลาเท่านั้น จึงยังมีโอกาสที่ตัวเลือกอื่นนอกเหนือจาก NVIDIA จะชนะในภาระงานบางประเภท แม้ความพร้อมของซอฟต์แวร์และการเข้าถึงจะยังเป็นข้อได้เปรียบสำคัญอย่างยิ่งของผู้ครองตลาด ฉันคาดว่าการเปรียบเทียบโดยองค์กรอิสระในปี 2027 จะแสดงให้เห็นข้อได้เปรียบด้านต้นทุนที่มีนัยสำคัญในตัวเลือกทางเลือกสองกลุ่ม การเปรียบเทียบดังกล่าวต้องยังได้ผลเมื่อรวมรายละเอียดด้านการย้ายระบบและการดำเนินงาน ซึ่งมักไม่ปรากฏในเอกสารข้อมูลจำเพาะของชิป
นี่คือการคาดการณ์เกี่ยวกับจุดการทำงานเฉพาะ ไม่ใช่การคาดการณ์ว่าจะมีการเปลี่ยนแพลตฟอร์มทั้งหมด ระบบให้บริการแบบหนึ่งอาจเหมาะกับโมเดลและรูปแบบทราฟฟิกหนึ่ง แต่ไม่เหมาะกับอีกแบบหนึ่ง ความพยายามในการย้ายระบบ ความคุ้นเคยของผู้ปฏิบัติงาน เคอร์เนลที่รองรับ และความพร้อมของอินสแตนซ์ที่ใช้งานได้จริง อาจมีน้ำหนักมากกว่าข้อกำหนดฮาร์ดแวร์ที่ดูได้เปรียบ
ปัจจุบันมีผู้ให้บริการหลายรายที่นำเสนอตัวเลือกทางเลือกอย่างจริงจัง เอกสารข้อมูล Ironwood ของ Google ระบุความจุของหน่วยความจำแบนด์วิดท์สูง แบนด์วิดท์ และคุณลักษณะการเชื่อมต่อระหว่างชิป ประกาศความพร้อมใช้งานของ Trainium3 จาก AWS อธิบายแพลตฟอร์มที่ออกแบบมาสำหรับภาระงานแบบหนาแน่นและแบบขนานตามผู้เชี่ยวชาญ ผลการส่งเข้าร่วม MLPerf ของ AMD แสดงให้เห็นการเข้าร่วมการทดสอบภาระงานมาตรฐาน อย่างไรก็ตาม ไม่มีแหล่งข้อมูลใดแหล่งหนึ่งในที่นี้ที่พิสูจน์ข้อได้เปรียบด้านราคาตามที่ฉันคาดการณ์ไว้ได้ด้วยตัวเอง
การเปรียบเทียบจะมีความหมายทางเศรษฐกิจได้ก็ต่อเมื่อกำหนดภาระงานไว้แน่นอนแล้ว หากตัวเร่งประมวลผลต้องใช้โฮสต์มากขึ้น ต้องใช้รูปแบบการประมวลผลแบบขนานที่แตกต่างออกไป หรือต้องจองทรัพยากรล่วงหน้าเป็นเวลานานขึ้น ก็ต้องนำต้นทุนเหล่านั้นมาคำนวณด้วย ราคาที่ประกาศไว้แต่ไม่สามารถซื้อได้ในภูมิภาคที่ทำการทดสอบ ไม่ควรนำมาใช้ตัดสินผล เช่นเดียวกันกับขีดความสามารถที่จองไว้แต่ไม่ได้ใช้ และผลการทดสอบเปรียบเทียบที่ดูดีเพราะใช้ฮาร์ดแวร์ซึ่งลูกค้าไม่สามารถจัดหาได้จริง
ฉันมีความเชื่อมั่นในระดับปานกลาง เพราะความสามารถในการแข่งขันด้านเทคนิคกับความโปร่งใสด้านเศรษฐศาสตร์เป็นอุปสรรคคนละประการ การทดสอบอาจทำได้สำเร็จ แต่รายละเอียดด้านต้นทุนยังคงถูกเก็บเป็นความลับทางการค้าได้ นอกจากนี้ ตัวเร่งประมวลผลของคู่แข่งอาจชนะด้านปริมาณงาน แต่เสียเปรียบด้านความเรียบง่ายในการดำเนินงาน การตัดสินใจอย่างรอบด้านควรแสดงค่าใช้จ่ายด้านโครงสร้างพื้นฐานที่เกิดขึ้นซ้ำและความพยายามในการย้ายระบบซึ่งเกิดขึ้นครั้งเดียวแยกจากกัน
ประเด็นที่ควรจับตาในปี 2027
มองหาการเปรียบเทียบที่ดำเนินการโดยองค์กรอื่นซึ่งไม่ใช่ผู้จำหน่ายชิปที่ชนะ โดยใช้ขีดความสามารถที่ซื้อได้จริง และกำหนดข้อกำหนดด้านคุณภาพและเวลาแฝงให้เทียบเท่ากัน หลักฐานชี้ขาดควรรวมถึงสมมติฐานเกี่ยวกับโฮสต์ เครือข่าย ขีดความสามารถที่ไม่ได้ใช้งาน และการย้ายระบบ หากมีเพียงข้อกำหนดของตัวเร่งประมวลผลที่น่าดึงดูด แต่ไม่มีการเปรียบเทียบต้นทุนการให้บริการที่ทำซ้ำได้ การคาดการณ์ด้านเศรษฐศาสตร์ก็ยังไม่ได้รับการพิสูจน์
สิ่งนี้มีความหมายอย่างไรต่อธุรกิจ
ประเมินฮาร์ดแวร์โดยใช้โมเดลและรูปแบบทราฟฟิกที่เป็นตัวแทนของการใช้งานจริง จากนั้นจึงคำนวณต้นทุนของการติดตั้งใช้งานทั้งหมด แยกเงินที่ประหยัดได้จากการดำเนินงานประจำออกจากค่าใช้จ่ายในการย้ายระบบ การฝึกอบรมพนักงานใหม่ และการดูแลรักษาซอฟต์แวร์อีกชุดหนึ่ง ตัวเร่งความเร็วทางเลือกอาจเหมาะกับบริการบางประเภท แต่ไม่ได้หมายความว่าจะเป็นแพลตฟอร์มที่เหมาะสมสำหรับทุกภาระงานของธุรกิจ
4. การทดสอบประสิทธิภาพแบบเอเจนต์จะวัดพลังงานควบคู่กับงานที่ทำสำเร็จ
เอเจนต์อาจใช้พลังงานระหว่างคิด เรียกใช้เครื่องมือ ลองใหม่ และท้ายที่สุดอาจล้มเหลว การวัดการอนุมานเพียงขั้นตอนเดียวไม่อาจสะท้อนภาพทั้งหมดได้ ภายในสิ้นปี 2027 ฉันคาดว่าการทดสอบประสิทธิภาพแบบเอเจนต์ที่ต่อยอดจาก MLPerf จะรายงานพลังงานของระบบที่วัดได้ควบคู่กับงานที่ทำสำเร็จ ซึ่งจะช่วยให้ผู้ปฏิบัติงานมีฐานเปรียบเทียบที่เหมาะสมขึ้นในการตอบคำถามที่ไม่ง่ายว่า บริการนี้ใช้โครงสร้างพื้นฐานมากเพียงใดเพื่อสร้างสิ่งที่ลูกค้านำไปใช้ได้จริง
เอเจนต์อาจเรียกใช้โมเดลซ้ำหลายครั้ง ย้อนกลับไปทบทวนบริบทยาว ๆ เรียกใช้เครื่องมือ และลองทำขั้นตอนที่ล้มเหลวอีกครั้ง ตัวเลขพลังงานต่อโทเคนสะท้อนต้นทุนของพฤติกรรมดังกล่าวได้เพียงบางส่วน หน่วยที่เหมาะสมสำหรับภาระงานหลายขั้นตอนคืองานที่ทำสำเร็จ โดยต้องกำหนดขอบเขตของโครงสร้างพื้นฐานที่นำมาวัดให้ชัดเจน
ประกาศ เวอร์ชัน 6.1 กล่าวถึงประวัติการสนทนาที่ขยายยาวขึ้นในการอนุมานแบบเอเจนต์ การทดสอบเอเจนต์บนอุปกรณ์ปลายทาง และงานที่กำลังดำเนินการเพื่อพัฒนาการทดสอบประสิทธิภาพเอเจนต์สำหรับศูนย์ข้อมูลอยู่แล้ว ดังนั้น การคาดการณ์นี้จึงเกี่ยวกับข้อกำหนดเพิ่มเติมด้านการวัดผล ไม่ใช่การเริ่มต้นนำการทดสอบประสิทธิภาพแบบเอเจนต์มาใช้ ฉันคาดว่าจะมีแรงกดดันให้เชื่อมโยงภาระงานเหล่านี้เข้ากับการใช้พลังงานของระบบ เมื่อผู้ซื้อบริการอนุมานต้องเผชิญกับข้อจำกัดด้านพลังงาน
การประเมิน ปี 2026 ของ IEA ชี้ให้เห็นเหตุผลในภาพกว้างที่ควรให้ความสำคัญกับเรื่องนี้ กล่าวคือ ความสัมพันธ์ระหว่างประสิทธิภาพกับความต้องการพลังงานโดยรวมขึ้นอยู่กับการนำไปใช้และความซับซ้อนของภาระงาน ไม่ควรกำหนดต้นทุนพลังงานตัวแทนให้คำถามที่ต้องการคำตอบสั้น ๆ และเอเจนต์ที่ทำงานต่อเนื่องเป็นเวลานานเท่ากัน เช่นเดียวกัน การที่ตัวเร่งความเร็วรายตัวมีประสิทธิภาพก็ไม่ได้ยืนยันว่าเวิร์กโฟลว์ทั้งหมดมีประสิทธิภาพด้วย
การคาดการณ์นี้มีความเชื่อมั่นต่ำที่สุดในบทความ เพราะการกำหนดมาตรฐานการวัดต้องอาศัยความร่วมมือประสานงาน บริการเครื่องมืออาจทำงานอยู่นอกระบบที่นำมาวัด การทดสอบประสิทธิภาพอาจเลือกความสามารถในการทำซ้ำแทนความสมจริง หรือรายงานกำลังไฟฟ้าโดยไม่มีเกณฑ์ยืนยันความสำเร็จของงานตั้งแต่ต้นจนจบ การตัดสินใจด้านการออกแบบเหล่านั้นอาจมีเหตุผลรองรับ แต่ไม่เป็นไปตามการคาดการณ์เฉพาะข้อนี้
สิ่งที่ควรจับตาในปี 2027
จับตารายงานผลการทดสอบประสิทธิภาพแบบเอเจนต์ที่แสดงพลังงานที่วัดได้ควบคู่กับงานที่ทำสำเร็จ และอธิบายว่าส่วนประกอบใดบ้างอยู่ในขอบเขตการวัด การเรียกใช้โมเดลซ้ำ การลองใหม่ และความพยายามที่ไม่สำเร็จควรยังปรากฏให้เห็น หากรายงานเฉพาะกำลังไฟฟ้าของตัวเร่งความเร็วหรือพลังงานต่อโทเคน ผู้ซื้อก็จะยังได้ภาพต้นทุนของเอเจนต์หลายขั้นตอนไม่ครบถ้วน
สิ่งนี้มีความหมายอย่างไรต่อธุรกิจ
ทีมวางแผนกำลังรองรับและทีมความยั่งยืนควรตกลงกันก่อนว่าจะใช้หน่วยงานแบบใดที่เป็นประโยชน์ในการเปรียบเทียบตัวเลขพลังงาน ติดตามจำนวนงานที่สำเร็จ ทรัพยากรที่ใช้ไปกับความพยายามที่ล้มเหลว และโครงสร้างพื้นฐานที่ไม่นำมารวมในการประเมิน การทำบัญชีเช่นนี้ช่วยให้ทีมตัดสินใจได้ว่าเอเจนต์ที่มีความสามารถมากขึ้นใช้กำลังไฟฟ้าและงบประมาณด้านการประมวลผลที่มีอยู่อย่างมีประสิทธิภาพด้วยหรือไม่
คำตอบอยู่ที่หน่วยวัดที่สำคัญ
ทรัพยากรที่ขาดแคลนคือกำลังรองรับที่ตอบโจทย์ข้อกำหนดของบริการได้ในต้นทุนที่ยอมรับได้ ชิปที่เร็วขึ้นย่อมสำคัญ แต่ตัวจัดตารางงานที่สิ้นเปลืองน้อยลง การจัดวางหน่วยความจำที่เหมาะกับภาระงาน และการวัดผลที่นับความล้มเหลวอย่างตรงไปตรงมาก็สำคัญเช่นกัน ข้อได้เปรียบถัดไปของศูนย์ข้อมูลอาจไม่เด่นสะดุดตาเท่าแร็กใหม่ แต่ส่งผลต่อค่าใช้จ่ายมากกว่า












