Together AI นำการคอมไพล์อย่างต่อเนื่องมาสู่การอนุมานในระบบใช้งานจริง

Together AI ประกาศเปิดตัว การอนุมานแบบปรับเปลี่ยนรูปแบบ เมื่อวันที่ 4 พฤศจิกายน 2026 โดยนำเสนอ Together Compiler เป็นการใช้งานครั้งแรก ระบบที่ขับเคลื่อนด้วยเอเจนต์นี้ปรับแต่งการอนุมานอย่างต่อเนื่องให้เข้ากับโมเดล ทราฟฟิก และฮาร์ดแวร์ที่เปลี่ยนแปลง และปัจจุบันทำงานกับเวิร์กโหลดการอนุมานในระบบใช้งานจริงระดับแนวหน้าหลายรายการของบริษัท รวมถึง endpoint แบบ serverless ยอดนิยมบางรายการ

Together AI รายงานว่า ภายในเวลาไม่ถึง 24 ชั่วโมง คอมไพเลอร์ทำความเร็วได้ 1.3x ถึง 3x ของค่าฐานจากซอฟต์แวร์โอเพนซอร์สที่ปรับแต่งมาอย่างดี เมื่อวัดจำนวนโทเคนต่อวินาทีในการทดสอบที่ใช้ Kimi K3, GLM 5.3, MiniMax M3.1-Flash และ DeepSeek v4.1-Flash ผลลัพธ์เหล่านี้สะท้อนข้อเสนอหลักของการประกาศครั้งนี้ นั่นคือการปรับแต่งสามารถเป็นกระบวนการค้นหาที่ดำเนินต่อเนื่องและผูกกับการนำระบบไปใช้งาน แทนที่จะเป็นการปรับแต่งด้วยตนเองเพียงรอบเดียวที่หยุดนิ่งหลังเปิดตัว

โมเดล ทราฟฟิก และฮาร์ดแวร์ที่เปลี่ยนแปลง

การอนุมานแบบปรับเปลี่ยนรูปแบบเป็นคำที่ Together AI ใช้เรียกโครงสร้างพื้นฐานสำหรับให้บริการโมเดล ซึ่งปรับตัวตามการเปิดตัวโมเดลที่รวดเร็วขึ้น สถาปัตยกรรมที่หลากหลาย รูปแบบทราฟฟิกและข้อกำหนดระดับการให้บริการที่เปลี่ยนแปลงไป ตลอดจนการเปลี่ยนแปลงฮาร์ดแวร์ที่เกิดขึ้นบ่อยกว่าเดิม ส่วนแนวทางแบบคงที่เริ่มต้นจากการกำหนดค่าของเอนจินที่ตายตัว การกำหนดค่าที่ปรับให้เหมาะกับสถานการณ์หนึ่งอาจไม่เหมาะกับอีกสถานการณ์หนึ่ง โดยเฉพาะเมื่อพฤติกรรมของโมเดลและการกระจายตัวของคำขอเปลี่ยนแปลงไป

ข้อมูลจากการใช้งานจริงของบริษัทแสดงตัวอย่างที่เป็นรูปธรรม Together AI รายงานว่า พรอมป์ต์ในช่วงเวลาทำงานของประเทศหนึ่งมีความยาวประมาณ 97,000 โทเคน เทียบกับ 70,000 โทเคนในพื้นที่อื่น และความยาวของพรอมป์ต์เพิ่มขึ้น 80% ในช่วงสองสัปดาห์หลังการเปิดตัวโมเดลหนึ่ง เนื่องจากการใช้งานเปลี่ยนไปสู่งานที่ขับเคลื่อนด้วยเอเจนต์ ปริมาณคำขอที่พุ่งสูงจากลูกค้ายังอาจทำให้พรอมป์ต์ยาวขึ้นเป็นสองเท่าและลดอัตราการพบข้อมูลในแคช ซึ่งทำให้เงื่อนไขที่ใช้ปรับแต่งการกำหนดค่าเดิมเปลี่ยนไป

การประกาศครั้งนี้ยังปรับเปลี่ยนจุดเน้นก่อนหน้านี้ของ Together AI ที่มีต่อเมกะเคอร์เนล ซึ่งรวมการทำงานหลายอย่างไว้ในเคอร์เนลเดียว หลังนำเวอร์ชันแรก ๆ ไปใช้งานจริง บริษัทสรุปว่าการรวมการทำงานเพียงอย่างเดียวไม่ใช่เป้าหมายการออกแบบที่ใช้ได้กับทุกกรณี เพราะสถาปัตยกรรมแบบผสมผู้เชี่ยวชาญและเวิร์กโหลดแบบไดนามิกอาจต้องใช้เทคนิคที่แตกต่างกัน เคอร์เนลที่พัฒนาขึ้นโดยอิงกับทราฟฟิกแบบคงที่หรือแบบสุ่มก็อาจปรับแต่งได้ไม่เหมาะกับทราฟฟิกจริง ซึ่งการกำหนดเส้นทางตามข้อมูลมีผลต่อการเลือกวิธีปรับแต่งที่ให้ผลดีที่สุด

การคอมไพล์อย่างต่อเนื่องทำงานอย่างไร

Together Compiler รับรูปแบบทราฟฟิก โมเดล และฮาร์ดแวร์เป็นข้อมูลนำเข้า จากนั้นใช้เอเจนต์สร้างและวัดผลแนวทางปรับแต่งที่เป็นไปได้สำหรับเอนจินอนุมาน เอนจินที่ทำงานต่อเนื่องจะโหลดโมเดลเพียงครั้งเดียว แล้วโหลด forward pass ที่เป็นตัวเลือกใหม่เข้ามาแทนได้ทันทีโดยไม่ต้องรีสตาร์ตเอนจินทั้งหมด เอเจนต์หลายตัวทำงานขนานกันเพื่อสร้างตัวเลือกและสื่อสารผ่านกระดานข้อความ โดยจัดคิวการทดลองไว้ขณะที่เอเจนต์ตัวอื่นกำลังวิเคราะห์หรือใช้เครื่องมือ

การวัดผลสองระดับช่วยรักษาสมดุลระหว่างจำนวนการทดลองกับความสมจริง เอนจินความเร็วสูงโหลดเลเยอร์เพียงบางส่วนเพื่อให้ทดลองซ้ำได้อย่างรวดเร็วและวัดเวลาโดยมีความแปรปรวนต่ำ ส่วนเอนจินที่ทำงานช้ากว่าจะโหลดเลเยอร์เพิ่มขึ้น เพื่อทดสอบว่าตัวเลือกต่าง ๆ ยังคงให้ผลดีเมื่อใช้การกระจายข้อมูลที่สมจริงหรือไม่ แบบจำลองต้นทุนแยกต่างหากจะรวมข้อมูลจำเพาะของฮาร์ดแวร์ การทดสอบไมโครเบนช์มาร์ก และผลการวัด forward pass เพื่อคัดกรองขอบเขตการค้นหาการกำหนดค่าระบบประมวลผลแบบขนาน ก่อนที่เอเจนต์จะใช้เวลาปรับแต่งตัวเลือกต่าง ๆ

บทความทางเทคนิคระบุว่าตัวเลือกที่ชนะจะต้องผ่านการทดสอบยืนยัน เพื่อตรวจหาการปนเปื้อนของแคช KV และตรวจสอบคุณภาพเอาต์พุตก่อนนำไปให้บริการ การตรวจสอบจะดำเนินการหลังใช้งบประมาณการปรับแต่งหมดแล้ว ซึ่งเป็นช่วงที่เตรียมซอร์สโค้ดฉบับสุดท้ายเพื่อผนวกรวมเข้ากับเอนจินให้บริการ

การเปรียบเทียบช่วงเริ่มต้นระบบในโพสต์เปิดตัวระบุว่า ลำดับการทำงานตามวิธีปัจจุบันใช้เวลา 467 วินาทีก่อนเริ่มให้บริการ ขณะที่การตั้งค่าของ Together Compiler ใช้เวลา 9.0 วินาที ตัวเลขเหล่านี้ครอบคลุมเวลาเริ่มต้นเอนจินระหว่างการปรับแต่ง ไม่ใช่เวลาแฝงของคำขอแต่ละรายการ และช่วยอธิบายว่าเหตุใดการโหลดใหม่ทันทีโดยไม่รีสตาร์ตจึงเป็นหัวใจสำคัญต่ออัตราการทดลองของระบบ

ขอบเขตการประเมินและการเข้าถึงของลูกค้า

สำหรับการเปรียบเทียบเอนจิน บทความใช้การกำหนดค่าแบบเปิดชั้นนำ ณ วันที่ 30 ตุลาคม 2026 และคงกลยุทธ์การประมวลผลแบบขนานของค่าฐานไว้ที่เดิม เพื่อแยกวัดผลของการปรับแต่งโดยเอเจนต์ Trainium2 เป็นกรณียกเว้นที่เปิดเผยจากเวิร์กโหลดมาตรฐานในการประเมิน โดยใช้ชุดข้อมูลหลายเทิร์นสังเคราะห์ เนื่องจากการใช้งานดังกล่าวยังไม่รองรับระดับการทำงานพร้อมกันที่สูงขึ้นภายใต้ความจุ HBM ที่มีอยู่

Together AI ระบุว่าผลการปรับแต่งส่วนหนึ่งเป็นผลจากการมีอัตราการทดลองสูงกว่าระบบปรับปรุงตนเองแบบวนซ้ำที่ขับเคลื่อนด้วยเอเจนต์ซึ่งใช้เป็นค่าฐานถึง 252 เท่า

นอกเหนือจากการอนุมานโมเดลภาษาแล้ว บทความรายงานว่าทำความเร็วได้เพิ่มขึ้น 1.5x ถึง 6.4x ในโมเดลด้านสภาพอากาศ ชีววิทยา อนุกรมเวลา และสมการเชิงอนุพันธ์ย่อยที่นำมาทดสอบ โดยยังคงให้เอาต์พุตตรงกันทุกบิตในการประเมินตามที่ระบุ

ลูกค้าปลายทางสามารถขอเข้าถึงก่อนใครผ่านเบต้าแบบจำกัดจำนวน Together AI วางแผนให้ปรับแต่ง endpoint เฉพาะได้ด้วยคลิกเดียว ส่วนแผนงานวิจัยประกอบด้วยการถอดรหัสแบบคาดการณ์ล่วงหน้าที่ปรับตามโดเมน คำขอ โทเคน และปริมาณทราฟฟิก รวมถึงการกำหนดเส้นทางแบบไดนามิกระหว่างเวิร์กเกอร์และการกำหนดค่าการนำระบบไปใช้งาน เพื่อรองรับทราฟฟิก serverless ที่มีความหลากหลาย

การเปิดตัวครั้งนี้ทำให้การวัดผลตามสภาพแวดล้อมการนำไปใช้งานจริง แทนที่จะมุ่งหาเคอร์เนลที่ดีที่สุดสำหรับทุกกรณี กลายเป็นหลักการสำคัญในการออกแบบสแต็กการอนุมานของ Together AI คำถามเร่งด่วนสำหรับลูกค้าคือ เบต้าแบบจำกัดนี้จะให้ผลลัพธ์ที่ดีขึ้นตามที่รายงานไว้กับโมเดล ปริมาณการรับส่งข้อมูล และฮาร์ดแวร์ของตนเองได้หรือไม่ โดยยังผ่านการตรวจสอบคุณภาพแบบเดียวกัน ซึ่งความแตกต่างเหล่านี้คือสิ่งที่ Continuous Compilation ออกแบบมาเพื่อรับมือ