Modal เตรียมนำ NVIDIA Vera มาใช้กับแซนด์บ็อกซ์ นับเป็นการเริ่มขยับสู่ Arm ครั้งแรก

Modal ระบุในบล็อกโพสต์ของบริษัทเมื่อวันที่ 19 ตุลาคม 2026 ว่ามีแผนนำการรองรับ CPU Vera สถาปัตยกรรม Arm ของ NVIDIA มาใช้ขับเคลื่อน Modal Sandboxes ซึ่งจะเป็นครั้งแรกที่บริษัทเปลี่ยนจากการใช้เครื่อง x86 ทั้งหมด หลังผลการทดสอบที่เผยแพร่แสดงให้เห็นว่า ภายใต้โหลด Vera ประมวลผลงานได้มากกว่าเครื่อง x86 ที่เทียบเท่ากันถึงสองเท่า

Modal ระบุว่า NVIDIA นำเซิร์ฟเวอร์ CPU Vera เครื่องแรกของ Modal ไปส่งให้ถึงสำนักงานของบริษัทในซานฟรานซิสโกในสัปดาห์ก่อนประกาศ Vera คือโปรเซสเซอร์ที่รองรับ Arm ของ NVIDIA ซึ่งออกแบบมาสำหรับแพลตฟอร์ม GPU Vera Rubin แต่ก็มีให้ใช้งานในรูปแบบเซิร์ฟเวอร์ CPU แบบแยกเดี่ยวด้วย การนำ Arm เข้ามาใช้ในกลุ่มเครื่องของ Modal จะต้องปรับเปลี่ยนทั้งโครงสร้างพื้นฐานและระบบสร้างอิมเมจของบริษัท โดย Modal ระบุว่านี่เป็นการเปลี่ยนแปลงครั้งใหญ่ หลังจากใช้เครื่อง x86 เพียงอย่างเดียวมาอย่างยาวนาน

ปัญหาสัญญาณรบกวนจากผู้ใช้หลายรายและความสามารถในการรองรับโหลดที่พุ่งสูง

การจัดการผลิตภัณฑ์ Sandbox หมายถึงการเรียกใช้คอนเทนเนอร์และเครื่องเสมือนหลายร้อยรายการพร้อมกันบนโฮสต์คลาวด์แต่ละเครื่อง และ Modal ระบุว่าคลัสเตอร์แบบหลายผู้เช่าที่เกิดขึ้นมีสัญญาณรบกวนสูง การใช้ทรัพยากรอาจพุ่งขึ้นลงอย่างมาก กล่าวคือ แซนด์บ็อกซ์อาจแทบไม่ได้ทำงานระหว่างรอโมเดลภาษา แต่จากนั้นการใช้งาน CPU อาจพุ่งขึ้นเป็น 10 เท่าของระดับปกติ เนื่องจากการติดตั้ง npm หรือคำสั่ง grep ที่ใช้ทรัพยากรมาก บริษัทจะทราบลักษณะของแต่ละเวิร์กโหลดก็ต่อเมื่อเริ่มทำงานแล้ว การจัดสรรทรัพยากรจึงมักเป็นการคาดเดา อีกทั้งการนำผู้เช่าที่มีลักษณะการใช้งานหลากหลายมารวมไว้ในกลุ่มประมวลผลเดียวกันยังก่อให้เกิดปัญหาเพื่อนบ้านรบกวนกัน ซึ่งพฤติกรรมของลูกค้ารายหนึ่งทำให้ประสิทธิภาพการทำงานของอีกรายลดลง

แทนที่จะกำหนดให้ต้องจองทรัพยากรล่วงหน้าในปริมาณคงที่ซึ่งรองรับการใช้งานสูงสุด Modal Sandboxes รองรับการใช้ทรัพยากรเกินกว่าที่จองไว้ชั่วคราว ทำให้ผู้ใช้จองความจุที่รับประกันได้สำหรับการใช้งานระดับ P50 และวางใจได้ว่าทรัพยากรสำรองภายในโหนดโฮสต์จะรองรับการเพิ่มขึ้นชั่วคราวได้ Modal ระบุว่าแนวทางนี้ช่วยให้ผู้ใช้ประหยัดเงินได้หลายล้านดอลลาร์ แต่ก็ยอมรับว่าแนวทางดังกล่าวทำให้เสี่ยงต่อผลกระทบจากเพื่อนบ้านรบกวนกันมากขึ้น ซึ่งข้อจำกัดที่เข้มงวดจะช่วยหลีกเลี่ยงได้

Modal ระบุกรณีใช้งาน Sandbox ที่พบได้ทั่วไปสองประเภท ได้แก่ เอเจนต์เบื้องหลัง โดยยกตัวอย่าง Ramp Inspect และเอเจนต์ที่ทำงานบน Niteshift และงานประมวลผลแบบรอบสำหรับการเรียนรู้แบบเสริมแรง บริษัทระบุว่าระบบฝึกสอนส่วนใหญ่ยังทำงานแบบซิงโครนัส ดังนั้นงานประมวลผลแบบรอบที่จำกัดด้วย CPU ซึ่งแตกออกเป็นงานย่อยทั้งหมดต้องทำเสร็จก่อน GPU ที่ว่างอยู่จึงจะไปยังขั้นตอนถัดไปได้ นั่นหมายความว่าเวลาที่ประหยัดได้จาก CPU คือเวลาที่ประหยัดได้จาก GPU ด้วย ส่วนเอเจนต์เบื้องหลังนั้น บริษัทระบุว่าการทำงานที่เร็วขึ้นหมายถึงได้คำตอบเร็วขึ้นและใช้เวลา CPU น้อยลง ซึ่งช่วยลดต้นทุนขาย

ชุดทดสอบ Agentless Agent Bench

เพื่อวัดประสิทธิภาพของ Vera Modal ได้สร้างและเผยแพร่ชุดทดสอบ Agentless Agent Bench ซึ่งรวบรวมโซลูชัน oracle และตัวตรวจสอบ 50 รายการจาก Terminal-Bench โดยตัดการเรียกใช้เครือข่ายทั้งหมดออก และเตรียมระบบไว้ล่วงหน้าในคอนเทนเนอร์ Docker ที่ทำงานพร้อมกัน Modal ระบุว่าการสร้างชุดทดสอบสำหรับเอเจนต์เป็นเรื่องยาก เพราะงานส่วนใหญ่ที่ทำบนเซิร์ฟเวอร์แซนด์บ็อกซ์ของบริษัทไม่ได้จำกัดด้วย CPU จึงรวบรวมงานหลายประเภทที่ทำงานพร้อมกันและมีลักษณะแตกต่างกัน ซึ่งเป็นงานที่เอเจนต์และกระบวนการเรียนรู้แบบเสริมแรงทำบน CPU จริง ๆ เช่น การคอมไพล์ การค้นหาข้อความในไฟล์ การทำงานกับ git และการจำลองอุปกรณ์ ตามข้อมูลในคลังโค้ดสาธารณะ ชุดทดสอบนี้สร้างขึ้นจากชุดข้อมูลภารกิจ terminal-bench-2.1 โดยปรับ Dockerfiles ให้รองรับ Arm และจะนับว่าการทดสอบเสร็จสมบูรณ์ก็ต่อเมื่อตัวตรวจสอบภารกิจผ่าน

ในการทดสอบแบบอนุกรมบนเครื่องที่ไม่มีโหลด ซึ่งวัดเวลาแฝงของแต่ละงานเมื่อทำงานตามลำดับ Modal พบว่า Vera มักทำงานได้เร็วกว่าโปรเซสเซอร์ตัวอื่นที่นำมาทดสอบ ได้แก่ Intel GNR, AMD Zen 5 และ AWS Graviton 4 กับ 5 แต่ก็ไม่ได้เร็วกว่าเสมอไป และความได้เปรียบก็ไม่ได้มากเป็นพิเศษ ผู้เขียนโพสต์ระบุว่าในตอนแรกตนเองยังสงสัยในผลการทดสอบ

Modal รายงานว่าเมื่อมีโหลด ผลลัพธ์กลับแตกต่างกัน การทดสอบปริมาณงานจะเพิ่มจำนวนคอนเทนเนอร์ที่ทำงานพร้อมกันบนเครื่อง และทำงานวนซ้ำเพื่อให้งานที่ผ่านการตรวจสอบเสร็จสมบูรณ์ได้มากที่สุดภายในเวลาที่กำหนด Modal ระบุว่าการทดสอบเบื้องต้นแสดงให้เห็นว่า Vera ประมวลผลงานได้มากกว่าเครื่อง GNR แบบ x86 ที่เทียบเท่ากันถึงสองเท่า ขณะที่เวลาแฝงของงานแต่ละรายการที่วัดได้เท่ากับหรือต่ำกว่าเครื่อง x86 ในระบบส่วนใหญ่ ปริมาณงานกับเวลาแฝงจะแลกกันไปเมื่อเพิ่มความหนาแน่นในการจัดวางงาน จนกระทั่ง CPU ทำงานเต็มกำลัง แต่ Modal ระบุว่า Vera ไม่ได้ทำงานช้าลงเมื่อมีงานสะสมเพิ่มขึ้น และยังทำงานเสร็จได้ด้วยความเร็วเท่าเดิม

Modal รายงานว่า Vera ยังคงทำงานได้ดีขึ้นเมื่อเพิ่มจำนวน CPU เชิงตรรกะ ขณะที่โปรเซสเซอร์ตัวอื่นที่ทดสอบไปถึงจุดที่ปริมาณงานไม่เพิ่มขึ้นตั้งแต่เนิ่น ๆ เครื่องที่นำมาทดสอบมีจำนวนคอร์จริง 128 คอร์สำหรับ Intel GNR, 96 คอร์สำหรับ Graviton และเครื่องเสมือน GNR และ 88 คอร์สำหรับ Vera เนื่องจากตัวเลือกอื่น ๆ ไปถึงจุดที่ปริมาณงานไม่เพิ่มขึ้นตั้งแต่เนิ่น ๆ Modal จึงระบุว่าผลการทดสอบชี้ว่าอาจขยายการทดสอบ Vera ได้ไกลกว่านี้อีก โดยใช้โหนดทดสอบเพียงเครื่องเดียวที่บริษัทมีอยู่

บริษัทระบุว่าความได้เปรียบของ Vera เมื่อมีการแย่งใช้ทรัพยากรเกิดจากแบนด์วิดท์หน่วยความจำที่สูง ซึ่งช่วยให้จัดวางเวิร์กโหลดคอนเทนเนอร์บนแต่ละคอร์ได้มากขึ้นอย่างมีนัยสำคัญโดยไม่ทำให้ CPU ถูกจำกัดความเร็ว สำหรับตัวจัดตารางงานของ Modal นั่นหมายถึงความหนาแน่นในการจัดวางงานที่สูงขึ้นและการรองรับโหลดที่พุ่งสูงได้ยืดหยุ่นขึ้น ส่วนผู้ใช้ Sandbox จะได้ประโยชน์จากขนาดการทำงานและปริมาณงานโดยรวมที่สูงขึ้น โดยไม่ต้องแลกกับเวลาแฝงที่เพิ่มขึ้น ตามที่บริษัทระบุ

การออกแบบและสถานะการผลิตของ Vera

NVIDIA เปิดตัว Vera เมื่อวันที่ 16 มีนาคม 2026 ในงานประชุม GTC โดยอธิบายว่าเป็นโปรเซสเซอร์ที่ออกแบบมาโดยเฉพาะสำหรับ AI แบบเอเจนต์และการเรียนรู้แบบเสริมกำลัง ชิปนี้มีคอร์ Olympus ที่ NVIDIA ออกแบบขึ้นเอง 88 คอร์ โดยแต่ละคอร์สามารถทำงานได้สองงานผ่านฟีเจอร์ที่ NVIDIA เรียกว่า Spatial Multithreading พร้อมระบบหน่วยความจำใช้พลังงานต่ำรุ่นที่สอง ซึ่งพัฒนาบน LPDDR5X และให้แบนด์วิดท์สูงสุด 1.2 TB/s NVIDIA ระบุว่า Vera ให้ผลลัพธ์ด้วยประสิทธิภาพด้านพลังงานเป็นสองเท่า และทำงานได้เร็วกว่า CPU แบบดั้งเดิม 50%

ในงานเปิดตัว NVIDIA ยังเปิดตัวแร็ก CPU Vera ที่รวม CPU ระบายความร้อนด้วยของเหลว 256 ตัวไว้ด้วยกัน โดยระบุว่าสามารถรองรับสภาพแวดล้อม CPU ที่ทำงานพร้อมกันได้มากกว่า 22,500 ชุด ซึ่งแต่ละชุดทำงานได้อย่างอิสระเต็มประสิทธิภาพ NVIDIA กล่าวว่า Vera เข้าสู่การผลิตเต็มรูปแบบแล้ว และจะพร้อมให้พาร์ทเนอร์ใช้งานในช่วงครึ่งหลังของปี 2026 พร้อมระบุชื่อ Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale และ Oracle Cloud Infrastructure ในกลุ่มผู้ให้บริการคลาวด์ที่วางแผนนำ CPU รุ่นนี้ไปใช้งาน

Modal ระบุว่าตั้งใจทำงานอย่างใกล้ชิดกับ NVIDIA และผู้ให้บริการคลาวด์ เพื่อขยายขนาดระบบ Vera ของตนระหว่างทยอยนำระบบมาใช้งาน