TBC เปิดตัว Mischief โมเดลวิดีโอ AI ที่พัฒนาจากเซลล์ประสาทและสร้างบน Wan 2.2

การสร้างวิดีโอ AI สั้น ๆ อาจต้องรอลองซ้ำหลายครั้งกว่าจะได้คลิปที่ใช้งานได้ Biological Computing Co. (TBC) กำลังพยายามลดขั้นตอนนี้ด้วยแหล่งแรงบันดาลใจที่ไม่ธรรมดา นั่นคือการวัดกิจกรรมของเซลล์ประสาทที่มีชีวิต

บริษัทจะเปิดตัว TBC Mischief โมเดลแปลงภาพเป็นวิดีโอที่พัฒนาบน Wan 2.2 ผ่าน fal.ai ในวันที่ 30 ตุลาคม TBC ระบุว่าโมเดลของบริษัทสร้างวิดีโอได้เร็วกว่าโมเดลพื้นฐาน 5 เท่า โดยมีต้นทุนต่ำกว่า 80% พร้อมทั้งปรับปรุงคุณภาพผลลัพธ์ให้ดีขึ้น ตัวเลขเหล่านี้เป็นการเปรียบเทียบที่บริษัทรายงานเอง โดยประกาศไม่ได้ให้ผลการทดสอบมาตรฐานจากหน่วยงานอิสระ หรือรายละเอียดการทดสอบที่เพียงพอจะยืนยันได้ว่าประสิทธิภาพที่เพิ่มขึ้นจะเกิดขึ้นกับงานประเภทต่าง ๆ ในระดับใด

จุดแตกต่างสำคัญอยู่ที่ชีววิทยาเข้ามามีบทบาทในระบบอย่างไร Mischief ทำงานเป็นซอฟต์แวร์บนฮาร์ดแวร์ AI ทั่วไป ลูกค้าไม่ได้ส่งพรอมต์ไปยังเซลล์ที่มีชีวิตหรือติดตั้งตัวประมวลผลชีวภาพ TBC ใช้กิจกรรมของเซลล์ประสาทในกระบวนการวิจัย จากนั้นนำสิ่งที่เรียนรู้มาพัฒนาเป็นซอฟต์แวร์ที่ปรับแก้โมเดลที่มีอยู่

TBC Mischief มีอะไรให้ใช้งานบ้าง

ตามประกาศเปิดตัว Mischief จะใช้งานได้ผ่าน ช่องทาง API สำหรับแปลงภาพเป็นวิดีโอของ fal.ai โดยเปิดให้ใช้งานฟรีจนถึงวันที่ 2 พฤศจิกายน ราคาที่ประกาศคือ 0.02 ดอลลาร์ต่อวินาทีของวิดีโอที่สร้างขึ้น ในอัตรานี้ คลิปความยาว 5 วินาทีจำนวน 100 คลิปจะมีค่าใช้จ่าย 10 ดอลลาร์ ยังไม่รวมค่าใช้จ่ายอื่น ๆ ในเวิร์กโฟลว์

TBC ยังระบุด้วยว่า Wonder Studios ทดสอบโมเดลในเวิร์กโฟลว์การผลิต ซึ่งสร้างคลิปความยาว 5 วินาทีได้ 100 คลิปในเวลาประมาณ 6 นาที นี่คือผลการทดสอบแบบชุดที่มีการรายงาน ไม่ใช่ตัวชี้วัดเวลาแฝงที่ผู้ใช้แต่ละคนควรคาดหวัง การทำงานพร้อมกัน ความละเอียด การตั้งค่าการสุ่มตัวอย่าง และฮาร์ดแวร์ที่ใช้ให้บริการ ล้วนเปลี่ยนความสัมพันธ์ระหว่างปริมาณงานที่ประมวลผลได้เป็นชุดกับเวลาที่ต้องใช้สำหรับคำขอเดียว

สำหรับทีมสร้างสรรค์ คำถามในทางปฏิบัติคือโมเดลที่เร็วขึ้นจะสร้างฟุตเทจที่ใช้งานได้มากขึ้นต่อหนึ่งดอลลาร์หรือไม่ ราคาการสร้างที่ต่ำลงมีความสำคัญน้อยลง หากต้องลองสร้างช็อตเดิมซ้ำหลายครั้ง ภาพขาดความต่อเนื่อง หรือไม่เป็นไปตามภาพที่ป้อนเข้าไป ดังนั้น การประเมิน Mischief จึงต้องเปรียบเทียบทั้งความเร็วและผลลัพธ์ที่สำเร็จภายใต้การตั้งค่าที่เทียบเคียงกัน

จากการบันทึกกิจกรรมของเซลล์ประสาทสู่ชั้นซอฟต์แวร์

บนเว็บไซต์ของ TBC บริษัทอธิบายกระบวนการเป็นลำดับ ตั้งแต่การแปลงโจทย์ด้านการคำนวณให้เป็นสัญญาณไฟฟ้า การวัดการตอบสนองของเครือข่ายเซลล์ประสาทที่เพาะเลี้ยง ไปจนถึงการสกัดหลักการที่นำไปใช้ในซอฟต์แวร์ได้ แนวทางเชิงพาณิชย์ของบริษัทคือการเพิ่มชั้นการฝึกหลังการฝึกรอบบล็อก diffusion transformer ซึ่งบริษัทระบุว่าเพิ่มจำนวนพารามิเตอร์ไม่ถึง 0.1% ของโมเดลพื้นฐาน

การเพิ่มส่วนประกอบเพียงเล็กน้อยนี้มีความสำคัญต่อแนวคิดของผลิตภัณฑ์ กล่าวคือสามารถปรับแต่งโมเดลที่มีอยู่ได้อย่างเฉพาะเจาะจง โดยไม่ต้องแทนที่ด้วยโมเดลพื้นฐานใหม่ทั้งหมด ส่วนประกอบทางชีวภาพมีบทบาทในขั้นตอนการค้นคว้าและพัฒนา ขณะที่ระบบอนุมานที่ได้ยังคงเป็นระบบดิจิทัล

บทความทางเทคนิคเกี่ยวกับ Neural Dynamics Adapter ของบริษัทแสดงตัวอย่างงานวิจัยก่อนหน้านี้ที่เป็นรูปธรรมมากขึ้น ในงานดังกล่าว TBC บันทึกกิจกรรมของเซลล์ประสาทที่เพาะเลี้ยงโดยใช้อาร์เรย์ความหนาแน่นสูงที่มีอิเล็กโทรด 4,096 ตัว แปลงข้อมูลที่บันทึกได้เป็นตัวแทนเชิงตัวเลข และผนวกอะแดปเตอร์ขนาดเล็กเข้ากับโมเดล diffusion งานวิจัยนี้ใช้ Oasis ซึ่งเป็นโมเดลวิดีโอ Minecraft แบบโต้ตอบ ไม่ใช่โมเดล Wan 2.2 ที่เป็นพื้นฐานของ Mischief

ความแตกต่างนี้มีความสำคัญ ผลการวิจัยในสภาพแวดล้อมแบบโต้ตอบหนึ่งอาจช่วยอธิบายวิธีการได้ แต่ไม่ได้พิสูจน์ประสิทธิภาพของผลิตภัณฑ์เชิงพาณิชย์อีกชิ้นหนึ่งโดยอัตโนมัติ บทความเกี่ยวกับอะแดปเตอร์ยังกล่าวถึงข้อจำกัดด้วย ซึ่งรวมถึงสภาพแวดล้อมการทดสอบที่มีขอบเขตแคบ และผลลัพธ์ที่เปลี่ยนแปลงตามการตั้งค่าการลดสัญญาณรบกวน งานนี้สนับสนุนแนวทางทางวิศวกรรมที่เป็นไปได้ แต่ยังต้องมีการพิสูจน์ว่าวิธีดังกล่าวใช้ได้ผลในวงกว้าง

ชีววิทยาและการเพิ่มประสิทธิภาพแบบทั่วไปสามารถทำงานร่วมกันได้

บทความอีกชิ้นของ TBC ชื่อ มิติของพื้นที่และเวลา สำรวจอีกแนวทางหนึ่งในการถ่ายทอดข้อสังเกตจากชีววิทยาสู่การสร้างวิดีโอ สถาปัตยกรรมการวิจัยนี้ผสานการประมวลผลเชิงพื้นที่เฉพาะจุดเข้ากับความจำระยะสั้นด้านเวลา โดยใช้การวัดสัญญาณประสาทเพื่อชี้นำการเก็บรักษาข้อมูลระหว่างเฟรม

บทความระบุอย่างชัดเจนด้วยว่า การปรับปรุงความเร็วของระบบที่นำไปใช้งานจริงเกิดจากทั้งการเปลี่ยนแปลงโมเดลและการเพิ่มประสิทธิภาพการให้บริการ ซึ่งรวมถึงการแคชบริบทที่ประมวลผลไปแล้ว การลดปริมาณงานในการสุ่มตัวอย่าง และการให้บริการหลายเซสชันอย่างมีประสิทธิภาพ ผลการศึกษานี้เกี่ยวข้องกับระบบวิดีโอแบบโต้ตอบที่ใช้ Oasis ไม่ใช่การทดสอบมาตรฐานของ Mischief โดยตรง

ข้อมูลนี้ช่วยให้เข้าใจบริบทของการเปิดตัวได้ดีขึ้น กล่าวคือ งานวิจัยทางชีววิทยาอาจใช้เป็นแนวทางในการออกแบบสถาปัตยกรรมโมเดล ขณะที่เทคนิคซอฟต์แวร์ที่คุ้นเคยก็ยังช่วยเพิ่มประสิทธิภาพให้ระบบขั้นสุดท้ายได้ การแยกแยะปัจจัยเหล่านี้จะช่วยให้นักพัฒนาเข้าใจว่าประสิทธิภาพที่เพิ่มขึ้นส่วนใดมาจากโมเดล ส่วนใดมาจากระบบอนุมาน และส่วนใดขึ้นอยู่กับการนำไปใช้งานในรูปแบบเฉพาะ

เส้นทางสู่โครงสร้างพื้นฐาน AI ที่มีอยู่

Mischief เปิดตัวต่อเนื่องจากประกาศความร่วมมือกับ Amazon Web Services ในเดือนกันยายนของ TBC ซึ่งระบุถึงการดำเนินงานที่เกี่ยวข้องกับ AWS Trainium, Amazon SageMaker AI และแนวทางสู่การจัดจำหน่ายซอฟต์แวร์ที่พัฒนาจากเซลล์ประสาทในเชิงพาณิชย์ผ่าน AWS Marketplace ความร่วมมือก่อนหน้านี้มุ่งเน้นงานแปลงข้อความเป็นวิดีโอ ส่วนการเปิดตัว Mischief เน้นการเข้าถึงการแปลงภาพเป็นวิดีโอผ่าน fal.ai

กลยุทธ์ทั่วไปคือการนำงานวิจัยไปใช้กับโครงสร้างพื้นฐานที่นักพัฒนาใช้อยู่แล้ว โมเดลที่เข้าถึงได้ผ่าน API ประเมินภายในเวิร์กโฟลว์สร้างสรรค์ที่มีอยู่ได้ง่ายกว่าระบบที่ต้องใช้ฮาร์ดแวร์กายภาพประเภทใหม่ อีกทั้งยังเปิดโอกาสให้ผู้ใช้ทดสอบคำกล่าวอ้างของบริษัทกับภาพ พรอมต์ และเกณฑ์การยอมรับของตนเองได้อย่างเป็นรูปธรรม

TBC ซึ่งมี Alex Ksendzovsky ดำรงตำแหน่งซีอีโอและผู้ร่วมก่อตั้ง และ Jon Pomeraniec ดำรงตำแหน่งประธานเจ้าหน้าที่ฝ่ายปฏิบัติการและผู้ร่วมก่อตั้ง ระบุว่าบริษัทยังกำลังสำรวจโมเดลวิดีโอรุ่นใหม่ โมเดลภาษา และ AI ทางกายภาพด้วย สิ่งเหล่านี้เป็นทิศทางการพัฒนา ไม่ใช่ความสามารถที่ได้รับการยืนยันจากการเปิดตัวครั้งนี้

อะไรจะทำให้การเปิดตัวครั้งนี้มีความหมาย

หลักฐานขั้นต่อไปที่เป็นประโยชน์ที่สุดคือการเปรียบเทียบกับ Wan 2.2 ที่ทำซ้ำได้ โดยใช้ฮาร์ดแวร์และความละเอียดเดียวกัน เปิดเผยการตั้งค่าการสุ่มตัวอย่าง วัดเวลาแฝงและปริมาณงานแยกจากกัน และประเมินคุณภาพด้วยชุดข้อมูลนำเข้าที่หลากหลาย นอกจากนี้ ยังจำเป็นต้องมีการวัดการใช้พลังงานเพื่อเชื่อมโยงต้นทุนการอนุมานที่ต่ำลงเข้ากับคำกล่าวอ้างเรื่องประสิทธิภาพด้านการคำนวณ

การเปิดตัว Mischief ทำให้แนวทางของ TBC ขยับจากคำอธิบายงานวิจัยไปสู่เครื่องมือที่นักพัฒนาสามารถนำไปทดสอบได้จริง ความสำคัญในระยะยาวจะขึ้นอยู่กับว่าข้อได้เปรียบต่าง ๆ ยังคงปรากฏให้เห็นนอกเหนือจากการสาธิตที่คัดเลือกมา และเมื่อใช้กับโมเดลที่แตกต่างกันหรือไม่ ในตอนนี้ ข้อเสนอที่เป็นรูปธรรมคือการปรับแก้ซอฟต์แวร์เพียงเล็กน้อย ซึ่งอาศัยข้อมูลจากการทดลองทางชีววิทยาและมีเป้าหมายเพื่อให้ใช้งานโมเดลวิดีโอที่มีอยู่แล้วได้อย่างประหยัดขึ้น