สัมภาษณ์
Kismat Singh, ผู้ร่วมก่อตั้งและซีอีโอของ MachGen AI – ซีรีส์สัมภาษณ์

ประเด็นสำคัญการอนุมานแบบดิฟฟิวชันยังคงถูกจำกัดด้วยพลังประมวลผลตลอดกระบวนการลดสัญญาณรบกวน…
ดูเพิ่มเติม
- การอนุมานแบบดิฟฟิวชันยังคงถูกจำกัดด้วยพลังประมวลผลตลอดกระบวนการลดสัญญาณรบกวน ดังนั้นการปรับปรุงประสิทธิภาพของโมเดลภาษาจึงไม่สามารถนำมาใช้ได้อย่างราบรื่น
- MachGen ให้ความหน่วงลดลงประมาณ 6 เท่าในโมเดลวิดีโอ ขณะที่รันโมเดลต้นฉบับที่ไม่ได้กลั่นกรอง โดยไม่สูญเสียคุณภาพ
- การสร้างที่เร็วขึ้นเปลี่ยนการโฆษณาจากโฆษณาทั่วไปเพียงไม่กี่ชิ้นไปสู่รูปแบบสร้างสรรค์เฉพาะบุคคลหลายพันแบบ
Kismat Singh, ผู้ร่วมก่อตั้งและซีอีโอของ MachGen AI, เป็นผู้บริหารด้านโครงสร้างพื้นฐาน AI และวิศวกรรมที่มีประสบการณ์มากกว่าสองทศวรรษในการสร้างระบบคอมพิวเตอร์ประสิทธิภาพสูงและระบบการเรียนรู้ของเครื่อง ก่อนที่จะร่วมก่อตั้ง MachGen AI, Singh เคยดำรงตำแหน่งรองประธานวิศวกรรมสำหรับ AI Frameworks ที่ Intel และก่อนหน้านั้นทำงานในตำแหน่งวิศวกรรมระดับสูงที่ NVIDIA, AMD, HP และบริษัทเทคโนโลยีอื่น ๆ งานของเขารวมถึงการมีส่วนร่วมในไลบรารีและคอมไพเลอร์การเรียนรู้เชิงลึก, การปรับแต่ง AI framework, และการปรับปรุงความทนทานของการฝึกสอนระดับไฮเปอร์สเกล ที่ Intel, เขามีส่วนร่วมอย่างใกล้ชิดกับโครงการ PyTorch ของบริษัทและได้พูดในที่สาธารณะเกี่ยวกับการทำให้ AI framework เข้าถึงได้ง่ายขึ้นบนแพลตฟอร์มฮาร์ดแวร์ที่หลากหลาย
MachGen AI เป็นบริษัทโครงสร้างพื้นฐาน AI ที่มุ่งเน้นการทำให้โมเดลภาพและวิดีโอเชิงสร้างสรรค์ทำงานได้เร็วขึ้นอย่างมากและประหยัดต้นทุนในการรันมากขึ้น ก่อตั้งโดย Kismat Singh และ Manoj Krishnan, บริษัทกำลังพัฒนา stack การอนุมานและการปรับแต่งที่มีประสิทธิภาพสูงซึ่งออกแบบเฉพาะสำหรับโมเดล diffusion แทนที่จะปรับใช้โครงสร้างพื้นฐานที่สร้างขึ้นมาสำหรับโมเดลภาษาใหญ่ MachGen ปรับปรุงส่วนต่าง ๆ รวมถึงการคำนวณ attention, การแคช, เคอร์เนล GPU, การจัดการหน่วยความจำ, การทำงานแบบขนาน, การกำหนดเวลา, และการปรับใช้ เพื่อลดความหน่วงของการสร้างขณะยังคงคุณภาพของโมเดล แพลตฟอร์มของบริษัทให้ API สำหรับการสร้างจากข้อความเป็นภาพ, ภาพเป็นภาพ, ข้อความเป็นวิดีโอ, ภาพเป็นวิดีโอ, และอ้างอิงเป็นวิดีโอ โดยเทคโนโลยีพื้นฐานมุ่งเน้นการเปิดใช้งานแอปพลิเคชันที่ต้องการความหน่วงต่ำ เช่น การสร้างเนื้อหาแบบโต้ตอบ, อวาตาร์แบบเรียลไทม์, เกม, และโฆษณาที่ปรับให้เป็นส่วนบุคคล
คุณได้ทำงานด้านวิดีโอ, การคำนวณ GPU, และประสิทธิภาพ AI มากกว่าสองทศวรรษ รวมถึง TensorRT ที่ NVIDIA, ซอฟต์แวร์ AI ที่ Intel, การปรับแต่ง GPU ที่ AMD, และงานก่อนหน้านี้เกี่ยวกับการเข้ารหัสวิดีโอแบบเรียลไทม์ คุณเห็นอะไรบ้างในช่วงเวลานั้นที่ทำให้คุณตัดสินใจลาออกจากบริษัทเทคโนโลยีขนาดใหญ่และร่วมก่อตั้ง MachGen, และทำไมคุณเชื่อว่าการอนุมาน diffusion เป็นปัญหาโครงสร้างพื้นฐานที่คุ้มค่าที่จะสร้างบริษัทรอบๆ มัน?
ผู้ร่วมก่อตั้งของฉัน Manoj และฉันเล่นแบดมินตันที่ยิมเดียวกันเกือบ 10 ปี ในช่วงเวลาส่วนใหญ่เราพยายามจ้างอีกคนหนึ่งในที่สุดเราตัดสินใจว่าการทำงานร่วมกันง่ายกว่าการสรรหาอีกฝ่ายต่อเนื่อง
เหตุผลที่เราตัดสินใจเลือกปัญหานี้คือเราทั้งสองได้เห็นสแต็กการอนุมานเติบโตจากภายใน ฉันช่วยสร้างทีมแพลตฟอร์มการอนุมานของ NVIDIA แล้วต่อมานำทีมซอฟต์แวร์ AI ที่ Intel Manoj สร้างโครงสร้างพื้นฐานการฝึกโมเดลขนาดใหญ่ที่อยู่เบื้องหลัง PyTorch ที่ Meta เราได้เห็นการทำงานหลายปีในด้านการแคช, การจัดกลุ่ม, การกำหนดเวลา, และเคอร์เนล ทำให้ระบบวิจัย LLM ขั้นต้นเปลี่ยนเป็นโครงสร้างพื้นฐานการผลิตที่ให้บริการโทเคนเป็นล้านล้าน
Diffusion อยู่ในระดับที่คล้ายกับการอนุมานของ LLM เมื่อสามปีที่ผ่านมา โมเดลภาพและวิดีโอได้พัฒนาอย่างรวดเร็ว แต่ระบบที่ให้บริการยังคงช้า, มีค่าใช้จ่ายสูง, และยากต่อการขยายขนาด ส่วนใหญ่ของโครงสร้างพื้นฐานที่มีอยู่ถูกออกแบบมาสำหรับ LLMs, โดยเพิ่ม diffusion เข้ามาในภายหลัง
สามสิ่งที่ทำให้เวลานี้เหมาะสม: โมเดลมีคุณภาพพอที่จะสร้างผลิตภัณฑ์จริง, ปัญหาต้องการทักษะที่เราฝึกฝนมาตลอดอาชีพ, และผลกระทบมีขนาดใหญ่พอที่จะสร้างบริษัทรุ่นใหม่ได้ เมื่อวิดีโอที่เคยใช้เวลาหลายนาทีสามารถสร้างได้ในไม่กี่วินาทีด้วยต้นทุนที่เป็นเศษส่วนของเดิม การสร้างแบบโต้ตอบ, โฆษณาที่ปรับให้เป็นส่วนบุคคล, อวาตาร์เรียลไทม์, และผลิตภัณฑ์สร้างสรรค์ใหม่ทั้งหมดจึงเป็นไปได้
MachGen แย้งว่าเทคนิคหลายอย่างที่เปลี่ยนแปลงการอนุมานของโมเดลภาษาใหญ่ไม่สามารถถ่ายโอนไปยังโมเดล diffusion ได้อย่างราบรื่น สิ่งที่แตกต่างอย่างพื้นฐานในการให้บริการโมเดลภาพและวิดีโอคืออะไร, และจุดคอขวดด้านประสิทธิภาพที่ใหญ่ที่สุดที่โครงสร้างพื้นฐาน AI แบบดั้งเดิมมักมองข้ามคืออะไร?
LLM และโมเดล diffusion มีรูปแบบการคำนวณที่แตกต่างอย่างพื้นฐาน LLM เป็นแบบออโตเรเกรสซีฟ, มีขั้นตอน prefill ที่ใช้การคำนวณหนักตามด้วยการถอดรหัส token‑by‑token ที่ผูกกับหน่วยความจำ เทคนิคเช่น KV caching และการแยก prefill/decode ถูกออกแบบมาสำหรับโครงสร้างนั้น
โมเดล diffusion ไม่ใช่ออโตเรเกรสซีฟและยังคงเป็นการคำนวณที่หนักตลอดกระบวนการกำจัดสัญญาณรบกวน การสร้างวิดีโอยังต้องจัดการข้อมูลเชิงพื้นที่และเชิงเวลาในปริมาณมาก ทำให้ความต้องการด้าน attention, หน่วยความจำ, การสื่อสาร, และการทำงานแบบขนานแตกต่างกัน
ผลก็คือหลายการปรับแต่งที่พัฒนาสำหรับ LLM ไม่สามารถถ่ายโอนได้อย่างราบรื่น KV caching แบบดั้งเดิมไม่แก้ปัญหาเดียวกัน, การทำงานขนานมาตรฐานอาจทำให้เกิดภาระการสื่อสารสูง, และเคอร์เนลโอเพ่นซอร์สที่มีอยู่ยังไม่สมบูรณ์เท่าไร Scheduler, โมเดลหน่วยความจำ, ยุทธศาสตร์การแคช, เคอร์เนล, และการทำงานขนานทั้งหมดจำเป็นต้องออกแบบโดยคำนึงถึง diffusion เอง นั่นคือเหตุผลที่เราสร้าง MachGen โดยให้ diffusion เป็นส่วนสำคัญระดับแรก
MachGen รายงานว่ามีความหน่วงเวลาต่ำลงประมาณ 4–6 เท่าสำหรับโมเดลภาพบางรุ่นและการปรับปรุงประมาณ 6 เท่าสำหรับหลายโมเดลวิดีโอขณะใช้โมเดลดั้งเดิมที่ไม่ได้ผ่านการกลั่นความรู้ คุณมองเห็นการก้าวหน้าทางเทคนิคที่สำคัญที่สุดที่อยู่เบื้องหลังการเพิ่มประสิทธิภาพเหล่านั้นคืออะไร, และคุณทำอย่างไรเพื่อให้การปรับปรุงประสิทธิภาพไม่ส่งผลกระทบต่อคุณภาพผลลัพธ์?
ผลการเพิ่มประสิทธิภาพมาจากหลายส่วนของสแต็กที่ทำงานร่วมกัน ความสนใจ (attention) ครองส่วนใหญ่ของงบประมาณการคำนวณในโมเดลวิดีโอหลายรุ่น ดังนั้นเราจึงมุ่งเน้นที่ lower-precision recipes, sparse attention, และเทคนิคที่เกี่ยวข้อง เราได้พัฒนาวิธีการแคชที่ใช้ประโยชน์จากความซ้ำซ้อนเชิงพื้นที่และเชิงเวลา เคอร์เนลที่ได้รับการปรับแต่งอย่างสูงสำหรับสถาปัตยกรรม diffusion และเทคนิคการทำงานแบบขนานที่ลดภาระการสื่อสาร
ด้วยการปรับปรุงเหล่านี้ MachGen สามารถให้บริการ HiDream ได้ในเวลา 1 วินาที เทียบกับ 6 วินาที และ Flux ใน 1.5 วินาที เทียบกับ 6.2 วินาที สำหรับวิดีโอ Wan 2.2 ทำงานใน 16.5 วินาที เทียบกับ 98 วินาที ในขณะที่ LTX 2.3 ทำงานใน 10.7 วินาที เทียบกับ 67 วินาที ค่าใช้จ่ายการอนุมาน (inference) ยังต่ำกว่าถึง 2–4 เท่าสำหรับโมเดลภาพและ 2–3 เท่าสำหรับวิดีโอ
ผลลัพธ์เหล่านี้ใช้โมเดลต้นฉบับที่ยังไม่ได้ทำการ distill เรากำลังปรับปรุงการทำงานของโมเดลโดยไม่ลดทอนคุณภาพของผลลัพธ์ สำหรับการนำไปใช้ในระดับการผลิต ความเร็ว ค่าใช้จ่าย และคุณภาพต้องทำงานร่วมกัน
Trusted TV เป็นตัวอย่างที่น่าสนใจเพราะการลดระยะเวลาการสร้างจากนาทีเป็นวินาทีเปลี่ยนแปลงมากกว่าบิลโครงสร้างพื้นฐาน เมื่อการสร้างวิดีโอเร็วพอที่จะผลิตแคมเปญหลายพันรายการและเวอร์ชันครีเอทีฟที่ปรับให้เป็นส่วนบุคคลได้แล้ว โมเดลธุรกิจหรือประสบการณ์ผลิตภัณฑ์ใหม่ใดบ้างที่กลายเป็นไปได้ซึ่งก่อนหน้านี้ไม่สามารถทำได้
TrustedTV ช่วยธุรกิจสร้างโฆษณาทีวีที่พร้อมออกอากาศด้วย AI และวางลงบนแพลตฟอร์มทีวีที่เชื่อมต่อเช่น Prime Video, Roku, และ DirecTV ลูกค้าจำนวนมากเป็นธุรกิจขนาดเล็ก การทำโฆษณาทีวีแบบดั้งเดิมต้องใช้ทีมถ่ายทำและตัดต่อ โดยค่าใช้จ่ายเริ่มจากหลายพันดอลลาร์และมักจะสูงถึงหลายหมื่นดอลลาร์ Trusted TV ลดค่าใช้จ่ายเหล่านั้นเป็นศูนย์ เจ้าของธุรกิจขนาดเล็กสามารถสร้างโฆษณาเต็มรูปแบบจากสมาร์ทโฟนได้ประมาณห้านาทีและสามารถดูผลลัพธ์ได้ก่อนจ่ายเงินแล้ว มีแคมเปญมากกว่า 10,000 รายการที่สร้างบนแพลตฟอร์มนี้
Ian ซีอีโอของ Trusted TV ได้เห็นเกณฑ์ความหน่วงของ MachGen บน Artificial Analysis แต่ไม่เชื่อ เขาจึงลงทะเบียนทดสอบด้วยตนเอง การเรนเดอร์ครั้งแรกของเขากลับมาประมาณ 25 วินาทีโดยไม่มีการสูญเสียคุณภาพ และเมื่อเขาทดสอบการทำงานพร้อมกัน ผลการปรับปรุงยังคงอยู่ในระดับขนาดใหญ่ พวกเขาได้ย้ายกระบวนการผลิตทั้งหมดไปยัง MachGen ภายในเวลาไม่ถึง 48 ชั่วโมง และ MachGen ตอนนี้เป็นหัวใจของการสร้างวิดีโอใหม่ทั้งหมดของพวกเขา ในการปรับใช้ล่าสุด เราอยู่ใกล้ 10 หรือ 11 วินาทีสำหรับโมเดลนั้นและเราจะต่อเนื่องปรับปรุงมันต่อไป
ผลของผลิตภัณฑ์คือผู้โฆษณาจะหยุดทำโฆษณาทั่วไปหนึ่งหรือสองรายการ ผู้ใช้ของพวกเขาจะสลับโฆษณาใหม่สองหรือสามรายการต่อสัปดาห์ ทดสอบครีเอทีฟในกลุ่มผู้ชมต่าง ๆ และทำการปรับปรุงอย่างต่อเนื่องแทนการคงที่ สิ่งที่ตามมาคือการปรับแต่งตามภูมิภาคและระดับผู้ชมในระดับใหญ่ ซึ่งก่อนหน้านี้สงวนไว้สำหรับบริษัทที่มีงบหลายล้านดอลลาร์
เวอร์ชันที่ฉันคิดถึงส่วนตัว: วันนี้ฉันเห็นโฆษณารองเท้าถ่ายบนถนนในแมนฮัตตัน ฉันอาศัยอยู่ใน Bay Area จึงไม่มีความหมายสำหรับฉัน สิ่งที่ฉันต้องการคือโฆษณาเดียวกันที่มีภูเขา Mission Peak อยู่เป็นพื้นหลัง นั่นไม่ใช่โฆษณาที่ถูกกว่า แต่เป็นรูปแบบการโฆษณาที่แตกต่างและจะกลายเป็นไปได้ทางเศรษฐกิจเมื่อการสร้างเร็วและราคาถูกพอที่จะทำเวอร์ชันหลายพันแบบ
สำหรับบริษัทที่ฝังการสร้างภาพหรือวิดีโอโดยตรงลงในผลิตภัณฑ์ พวกเขาควรพิจารณาเรื่องเศรษฐศาสตร์ของการอนุมานอย่างไร? ที่ระดับใดการเพิ่มประสิทธิภาพการใช้ GPU จะกลายเป็นสิ่งสำคัญเชิงกลยุทธ์ มากกว่าการจ่ายให้ผู้ให้บริการ API ต่อการสร้างแต่ละครั้ง?
จุดเปลี่ยนเกิดขึ้นเมื่อการอนุมานเริ่มส่งผลต่อประสบการณ์ของลูกค้าหรือส่วนกำไรของบริษัท
API แบบทั่วไปอาจมีความสมเหตุสมผลในช่วงที่ทีมกำลังตรวจสอบผลิตภัณฑ์ เมื่อการสร้างกลายเป็นส่วนสำคัญของผลิตภัณฑ์นั้น ทีมต้องมองไกลกว่าราคาต่อผลลัพธ์ที่ระบุ ความหน่วงเวลา การทำงานพร้อมกัน คุณภาพ ความน่าเชื่อถือ และการใช้ GPU ทั้งหมดกลายเป็นส่วนหนึ่งของเศรษฐศาสตร์
การสร้างอาจดูเหมือนมีต้นทุนต่ำ แต่ก็ยังสร้างปัญหาทางธุรกิจหากผู้ใช้ต้องรอหลายนาทีและละทิ้งกระบวนการ สถาปัตยกรรมที่ต้องการความจุ GPU เติบโตตามอัตราการใช้งานเท่ากันก็จะเพิ่มแรงกดดันต่อส่วนกำไรอย่างต่อเนื่อง
ไม่มีเกณฑ์ปริมาณคำขอเดียวที่ใช้ได้ เนื่องจากการคำนวณที่ต้องการสำหรับคลิปสั้น 540p แตกต่างอย่างมากจากวิดีโอ 1080p ที่ยาวกว่า การปรับแต่งจะกลายเป็นเชิงกลยุทธ์เมื่อการใช้ที่เพิ่มขึ้นทำให้ต้นทุนสูงขึ้นเกือบเท่ากับอัตราเดียวกัน ความต้องการสูงสุดทำให้เกิดคิว หรือความหน่วงเริ่มจำกัดประสบการณ์ของผลิตภัณฑ์
MachGen ทำงานข้ามหลายชั้น รวมถึงเคอร์เนล GPU ที่กำหนดเอง, การแคช, การปรับความแม่นยำ, การจัดตาราง, และการทำงานแบบขนาน ขณะที่โมเดลพัฒนาอย่างรวดเร็ว ชั้นใดของสแต็กการอนุมานที่คุณเชื่อว่ามีโอกาสเหลือมากที่สุดสำหรับการปรับปรุงความเร็วและต้นทุนอย่างมหาศาล?
สำหรับการสร้างวิดีโอ attention ถือเป็นหนึ่งในโอกาสที่เหลือมากที่สุด เนื่องจากมันครองส่วนใหญ่ของงบประมาณการคำนวณในหลายโมเดล ยังมีพื้นที่สำคัญในการปรับปรุง lower-precision recipes, sparse attention, และเคอร์เนล attention ที่เฉพาะสำหรับ diffusion
Attention เป็นเพียงส่วนหนึ่งของโอกาส การเพิ่มประสิทธิภาพโดยรวมที่ใหญ่ที่สุดจะมาจากการรวมการปรับปรุงทั่วสแต็ก การแคชเป็นหนึ่งในตัวอย่าง เทคนิคการแคช KV ที่ใช้ใน LLMs ไม่สามารถถ่ายโอนโดยตรงได้ แต่โมเดล diffusion มีความซ้ำซ้อนเชิงพื้นที่และเชิงเวลา ที่สามารถใช้ประโยชน์ได้ด้วยวิธีที่เหมาะสม
การทำงานแบบขนานเป็นโอกาสอีกหนึ่งด้าน การเพิ่ม GPU ไม่ได้ทำให้ความเร็วเพิ่มขึ้นตามสัดส่วนโดยอัตโนมัติ เนื่องจากค่าโอเวอร์เฮดของการสื่อสารอาจทำให้ประโยชน์ลดลง เราพัฒนาเคอร์เนลที่ปรับแต่งเฉพาะซึ่งทำให้การสื่อสารทับกับการคำนวณที่ไม่ขึ้นกับข้อมูลและต่อท่อกับงานที่ขึ้นกับข้อมูล
กลไก attention การแคช เคอร์เนล การทำงานแบบขนาน หน่วยความจำ และการจัดตารางทั้งหมดส่งผลต่อกันและกัน การปรับแต่งเพียงชั้นเดียวในที่สุดจะสร้างคอขวดที่ส่วนอื่น “การปรับปรุงที่ใหญ่ที่สุดจะมาจากการมองสแตกเป็นระบบครบวงจรที่ออกแบบมาสำหรับโปรไฟล์การคำนวณของ diffusion”
ด้วยโมเดลวิดีโอรุ่นใหม่ที่ทำให้เวลาการสร้างใกล้เคียงกับเวลาจริง เราอยู่ห่างจากวิดีโอเชิงสร้างแบบโต้ตอบจริงแค่ไหน และอุปสรรคทางเทคนิคใดบ้างที่ยังต้องเอาชนะก่อนที่การสร้างวิดีโอแบบเรียลไทม์จะกลายเป็นเรื่องปกติ
เรากำลังบรรลุความเร็วเชิงโต้ตอบสำหรับบางแอปพลิเคชันแล้ว MachGen สามารถสร้างวิดีโอ Vidu Q3 Turbo ความยาวห้าวินาทีที่ความละเอียด 720p ได้ประมาณหกวินาที และที่ความละเอียด 540p ภายในไม่ถึงสามวินาที ความเร็วนี้เพียงพอสำหรับการทำซ้ำเชิงสร้างสรรค์อย่างรวดเร็วและทำให้อวาตาร์ตอบสนองและวิดีโอโต้ตอบอยู่ในมือ
ตัวอย่างของสิ่งที่ผมคิดว่าการโต้ตอบหมายถึงอะไร ลองนึกว่าคุณกำลังดูเรื่องราวและคุณสามารถเห็นว่าจบอย่างไรและคุณไม่ชอบมัน แทนที่จะนั่งรับชมอย่างเฉย ๆ คุณเปลี่ยนทิศทาง: ตัวละครสองคนควรไปค้นหาว่าสิ่งที่ตัวละครที่สามซ่อนอยู่คืออะไรและเผชิญหน้ากับเขาแทนที่จะปล่อยให้เรื่องดำเนินต่อไป เนื้อหาที่คุณควบคุมแทนที่จะเป็นเนื้อหาที่คุณรับ นั่นคือสิ่งที่การสร้างที่เร็วและราคาถูกทำให้เป็นไปได้และมันเปลี่ยนแปลงเกือบทุกอย่างที่เราบริโภค
การไปถึงจุดนั้นมักต้องอาศัยเกณฑ์ความหน่วงหลายตัว ประสบการณ์ทั้งหมดต้องคงความตอบสนองได้ภายใต้การจราจรการผลิตพร้อมคงคุณภาพภาพ ความสม่ำเสมอระหว่างเฟรม และต้นทุนที่คาดการณ์ได้ วิดีโอที่ยาวขึ้น ความละเอียดที่สูงขึ้น และคำขอพร้อมกันหลายคำขอทั้งหมดเพิ่มภาระโครงสร้างพื้นฐาน และระบบยังต้องจัดสรรความจุ เส้นทางคำขอ และฟื้นฟูจากความล้มเหลวของฮาร์ดแวร์โดยผู้ใช้ไม่สังเกตเห็น
มันจะมาถึงตามกรณีการใช้งาน คลิปสั้น ๆ อวาตาร์ เกม และเครื่องมือสร้างสรรค์น่าจะเป็นสิ่งแรกที่เข้ามา เนื่องจากการสร้างที่วัดเป็นวินาทีเพียงพอสำหรับพวกมัน เมื่อคุณภาพโมเดลและประสิทธิภาพการอนุมานดีขึ้นพร้อมกัน แอปพลิเคชันมากขึ้นจะข้ามเส้นขีดจำกัดนั้น
เมื่อเอเจนต์ AI เริ่มสร้างภาพและวิดีโอโดยอัตโนมัติมากขึ้นแทนการรอให้มนุษย์กดปุ่ม สิ่งนี้จะเปลี่ยนความต้องการโครงสร้างพื้นฐานอย่างไร? งานที่ขับเคลื่อนโดยเอเจนต์สร้างความต้องการที่แตกต่างอย่างพื้นฐานในเรื่องความหน่วง ความพร้อมทำงานพร้อมกัน ต้นทุน และความน่าเชื่อถือหรือไม่?
เอเจนต์หนึ่งจะเปลี่ยนคำขอของผู้ใช้เดียวให้กลายเป็นหลายสิบหรือหลายร้อยงานการสร้าง มันสร้างตัวเลือกหลายแบบ ประเมินผล ปรับคำสั่ง และทำซ้ำกระบวนการโดยไม่มีการแทรกแซงของมนุษย์ระหว่างขั้นตอน
สิ่งนั้นทำให้ความหน่วง ความพร้อมทำงานพร้อมกัน ต้นทุน และความน่าเชื่อถือมีความสำคัญมากขึ้น หากการสร้างแต่ละครั้งใช้เวลาหลายนาที กระบวนการทำงานของเอเจนต์ก็ช้าเกินกว่าจะเป็นประโยชน์ หากแต่ละครั้งมีค่าใช้จ่ายสูง การทำซ้ำอัตโนมัติจะกลายเป็นเรื่องที่ไม่คุ้มเชิงเศรษฐกิจ ระบบยังต้องรับมือกับคำขอพร้อมกันจำนวนมากอย่างเชื่อถือได้ เพราะความล้มเหลวหนึ่งครั้งอาจทำให้โซ่ของงานทั้งหมดหยุดชะงัก
นี่คือจุดที่ความสามารถเช่น การจัดสรร GPU การปรับขนาดอัตโนมัติ และการกำหนดเส้นทางมีความสำคัญเท่ากับการปรับแต่งระดับโมเดล ความต้องการของเอเจนต์มีลักษณะเป็นระลอกมากกว่าความต้องการจากแอปพลิเคชันสร้างสรรค์ที่ผู้ใช้กดปุ่ม
หน่วยของงานที่เกี่ยวข้องไม่ได้เป็นเพียงภาพหรือวิดีโอเดียวอีกต่อไป แต่เป็นลูปเต็มของการสร้าง การประเมินผล และการปรับปรุงเนื้อหา โครงสร้างพื้นฐานต้องทำให้ลูปทั้งหมดนี้เร็ว มีต้นทุนที่สมเหตุสมผล และเชื่อถือได้
มีการแข่งขันอย่างดุเดือดระหว่างผู้ให้บริการ GPU คลาวด์อนุมาน นักพัฒนาโมเดล และแพลตฟอร์มการปรับแต่ง เมื่อฮาร์ดแวร์เองเร็วขึ้น ทำไมบริษัทต่าง ๆ ยังต้องการชั้นการอนุมานที่เชี่ยวชาญอย่าง MachGen แทนที่จะพึ่งพาการปรับปรุงจาก NVIDIA, AMD, ผู้ให้บริการคลาวด์ หรือผู้พัฒนาโมเดลเอง?
ฮาร์ดแวร์ที่เร็วขึ้นยกเพดานขึ้น ซอฟต์แวร์เป็นตัวกำหนดว่ามากเท่าใดของเพดานนั้นจะถูกทำให้ถึง
เราเคยเห็นเรื่องนี้เกิดขึ้นกับ LLMs ตัวเร่งความเร็วใหม่ ๆ ทำให้ประสิทธิภาพดิบดีขึ้นทุกรุ่น และการทำ batching อย่างต่อเนื่อง การจัดการ KV‑cache การถอดรหัสเชิงสเปคคิวเลทีฟ และเคอร์เนลเฉพาะยังคงเป็นสิ่งที่ทำให้วงการบรรลุอัตราการผลิตและเศรษฐกิจระดับการผลิตจริง ไม่ได้มาจากฮาร์ดแวร์เลย
การปรับแต่งเส้นทางการผลิตเต็มรูปแบบสำหรับการสร้างภาพและวิดีโอเป็นงานที่แตกต่างจากสิ่งที่ผู้ขายฮาร์ดแวร์ ผู้ให้บริการคลาวด์ และนักพัฒนาโมเดลทำอยู่ และก็ไม่ได้เป็นลำดับความสำคัญหลักของพวกเขาใด ๆ
มีหลายแนวทางสำหรับงานนั้น หนึ่งคือโมเดลตลาดที่รวมโมเดลและกำหนดเส้นทางคำขอ เราไม่คิดว่าวิธีนี้จะยั่งยืนในระยะยาว เพราะไม่มีการควบคุมชั้นที่ประสิทธิภาพอาศัยอยู่ เราเลือกสร้างสแตกเองและโฮสต์แบบเนทีฟ ซึ่งเป็นวิธีเดียวที่จะทำให้ได้ตัวเลขความหน่วงและต้นทุนที่เราต้องการ
ซึ่งหมายถึงการปรับจูน attention, caching, kernels, precision, memory และ parallelism สำหรับแต่ละโมเดลและแต่ละ accelerator, รวมถึงการสนับสนุน managed APIs, dedicated cloud และการปรับใช้แบบ self‑hosted. เมื่อจำนวนโมเดลและตัวเลือกฮาร์ดแวร์เพิ่มขึ้น ความซับซ้อนก็เพิ่มตามไปด้วย. บทบาทของเราคือการดูดซับสิ่งเหล่านี้เพื่อให้ลูกค้าของเราสามารถใช้เวลาของพวกเขาในการทำสิ่งที่ทำให้ผลิตภัณฑ์ของพวกเขาแตกต่างออกไป.
คุณได้อธิบาย world models ว่าเป็นส่วนหนึ่งของวิสัยทัศน์ระยะยาวของ MachGen, โดยคุณลักษณะเชิงคำนวณหลายอย่างของมันคล้ายกับงาน diffusion. โครงสร้างพื้นฐานสำหรับ world models ในระดับการผลิตต้องเป็นอย่างไร, และแอปพลิเคชันใดบ้างที่จะเป็นไปได้หากการสร้างและจำลองสภาพแวดล้อมภาพกลายเป็นราคาถูกและตอบสนองเร็วเท่ากับการสร้างข้อความในปัจจุบัน?
วิธีหนึ่งในการมองแพลตฟอร์มของเราคือคล้ายกับ LLM แบบอเนกประสงค์. โมเดลเดียวกันสามารถร่างสัญญากฎหมายและตอบคำถามเกี่ยวกับร้านอาหาร. สำหรับเรา, สแต็กเดียวกันให้บริการแก่บริษัทวิดีโออวาตาร์, การโฆษณา AI, การสร้างเรื่องราวและไมโครดราม่า, และในที่สุดก็เป็น world models. แนวอุตสาหกรรมที่แตกต่างกัน, แต่มีปัญหาด้านประสิทธิภาพพื้นฐานเดียวกัน.
World models ยังไม่ได้เป็นธุรกิจหลักของเราในตอนนี้, แต่เป็นสิ่งที่เรากำลังมุ่งสร้างและกำลังทำงานอย่างแข็งขัน. World models ในระดับการผลิตจะต้องมีอัตราการส่งผ่านข้อมูลสูงมากและความหน่วงต่ำมาก เนื่องจากพวกมันต้องสร้างและอัปเดตสภาพแวดล้อมอย่างต่อเนื่องแทนที่จะผลิตผลลัพธ์เดียว. พวกมันยังต้องการความสอดคล้องเชิงพื้นที่และเชิงเวลา, ความสามารถในการตอบสนองต่อการกระทำ, และบ่อยครั้งต้องการจำลองผลลัพธ์หลายอย่างพร้อมกัน. สิ่งนี้ทำให้เกิดปัญหาที่ยากในด้านหน่วยความจำ, การเคลื่อนย้ายข้อมูล, parallelism, และความน่าเชื่อถือ. World model ที่ขับเคลื่อนหุ่นยนต์หรือเกมไม่สามารถใช้เวลาหลายนาทีในการสร้างสถานะถัดไปได้. ประสิทธิภาพเป็นตัวกำหนดว่าระบบเหล่านี้จะใช้งานได้หรือไม่.
จากมุมมองเชิงคำนวณ, world models ในปัจจุบันมีลักษณะคล้ายกับ diffusion models อย่างมาก, ดังนั้นสแต็กที่เรากำลังสร้างอยู่ในขณะนี้จึงเป็นพื้นฐานที่เป็นธรรมชาติ. ยังไม่มีชั้นการให้บริการระดับการผลิตที่สมบูรณ์สำหรับพวกมัน, เทียบเท่ากับที่มีสำหรับ LLMs. เราตั้งใจจะสร้างมัน.
หากการจำลองมีความตอบสนองและต้นทุนที่เทียบเท่ากับการสร้างข้อความในปัจจุบัน, หุ่นยนต์จะสามารถฝึกซ้อมสถานการณ์หายากก่อนเผชิญหน้า, เกมจะสามารถสร้างสภาพแวดล้อมที่ตอบสนองต่อผู้เล่นแต่ละคน, และนักออกแบบจะสามารถทดสอบหลายสิบความเป็นไปได้ก่อนสร้างในโลกจริง. Diffusion คือสิ่งที่เราทำเพื่อหารายได้ในวันนี้. World models คือดาวเหนือที่ชี้นำเป้าหมายของเรา.
ขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม, ผู้อ่านที่ต้องการเรียนรู้เพิ่มเติมควรเยี่ยมชม MachGen AI.












