โมเดลและแพลตฟอร์ม AI
SHOW-O: ทรานส์ฟอร์เมอร์ตัวเดียวที่รวมความเข้าใจและการสร้างข้อมูลหลายรูปแบบ
ประเด็นสำคัญShow-O รวบรวมความสามารถในการทำความเข้าใจและการสร้างเนื้อหาหลายรูปแบบไว้ในโมเดล…
ดูเพิ่มเติม
- Show-O รวบรวมความสามารถในการทำความเข้าใจและการสร้างเนื้อหาหลายรูปแบบไว้ในโมเดล transformer เดียว
- โมเดลนี้ผสานการสร้างข้อความแบบออโตรีเกรสซีฟกับการกระจายตัวแบบไม่ต่อเนื่องสำหรับภาพ ซึ่งต้องการขั้นตอนการสุ่มตัวอย่างน้อยกว่ามาก
- โมเดลนี้ทำผลงานได้ทัดเทียมกับงานด้านวิสัยทัศน์-ภาษา โดยไม่จำเป็นต้องใช้โมเดลผู้เชี่ยวชาญแยกต่างหาก
ความก้าวหน้าของโมเดลภาษาขนาดใหญ่ (LLM) นำไปสู่การพัฒนาโมเดลภาษาขนาดใหญ่แบบหลายรูปแบบ (MLLM) รุ่นแรก ๆ เช่น LLaVA, MiniGPT-4 และ InstructBLIP ซึ่งแสดงความสามารถในการทำความเข้าใจข้อมูลหลายรูปแบบได้ดี งานเหล่านี้ฉายคุณลักษณะจากตัวเข้ารหัสที่ผ่านการฝึกมาแล้ว เช่น CLIP ไปยังพื้นที่อินพุตของ LLM เพื่อให้โครงข่ายทรานส์ฟอร์เมอร์เข้าใจและให้เหตุผลกับข้อมูลหลายรูปแบบได้ แม้จะเลือกตัวเข้ารหัสภาพ ตัวปรับแนวคุณลักษณะ และชุดข้อมูลต่างกัน แต่ส่วนใหญ่ยังฝึกด้วยการสร้างแบบออโตรีเกรสซีฟ ซึ่งได้ผลดีในการสร้างข้อความ อย่างไรก็ตาม โมเดลเหล่านี้เน้นการรับรู้ภาพและยังไม่สามารถสร้างผลลัพธ์รูปแบบอื่นนอกเหนือจากข้อความได้
ทรานส์ฟอร์เมอร์ประสบความสำเร็จอย่างมากในการจำลองภาษาแบบออโตรีเกรสซีฟ งานก่อนหน้าจึงนำวิธีนี้ไปเรียนรู้ความสัมพันธ์ระหว่างพิกเซลเพื่อสร้างภาพและวิดีโอ ตัวอย่างเช่น VideoPoet ใช้ทรานส์ฟอร์เมอร์แบบมีเฉพาะตัวถอดรหัสเพื่อสร้างวิดีโอคุณภาพสูงจากอินพุตหลายรูปแบบ ส่วน LlamaGen แสดงให้เห็นว่าสถาปัตยกรรมแบบ Llama สามารถจำลองโทเคนภาพแบบออโตรีเกรสซีฟและสร้างภาพตามเงื่อนไขหมวดหมู่ได้ดี
บทความนี้กล่าวถึง Show-O ทรานส์ฟอร์เมอร์แบบรวมที่รองรับทั้งการทำความเข้าใจและการสร้างข้อมูลหลายรูปแบบ Show-O ผสานการจำลองแบบออโตรีเกรสซีฟกับดิฟฟิวชันแบบไม่ต่อเนื่อง เพื่อจัดการอินพุตและเอาต์พุตที่ต่างรูปแบบหรือผสมกันได้อย่างเหมาะสม รองรับการตอบคำถามจากภาพ การสร้างภาพจากข้อความ การเติมและขยายภาพตามข้อความ และการสร้างข้อมูลผสมหลายรูปแบบ ผลทดสอบหลายชุดใกล้เคียงหรือดีกว่าโมเดลเฉพาะทางที่มีพารามิเตอร์เท่ากันหรือมากกว่า แสดงถึงศักยภาพในการเป็นโมเดลพื้นฐานรุ่นใหม่
ในดิฟฟิวชันแบบต่อเนื่อง โมเดลทำนายสัญญาณรบกวนเกาส์เซียนที่เติมลงในการแทนข้อมูลแฝงแบบต่อเนื่อง ขณะที่ D3PM, Mask-predict, ARDM และ MaskGIT ใช้กระบวนการทำให้ข้อมูลเสียหายแบบไม่ต่อเนื่อง ภาพถูกแปลงเป็นลำดับโทเคนที่แต่ละตัวมีป้ายหมวดหมู่ การสุ่มทำให้การแจกแจงของโทเคนเปลี่ยนเป็นแบบสม่ำเสมอ ระหว่างฝึกจะสุ่มปิดบังโทเคนบางส่วน แล้วให้โมเดลทำนายค่าเดิม Show-O ใช้ดิฟฟิวชันแบบไม่ต่อเนื่องสำหรับการสร้างภาพ
SHOW-O: รวมการทำความเข้าใจและการสร้างข้อมูลหลายรูปแบบ
ช่วงไม่กี่ปีที่ผ่านมาเกิดความก้าวหน้าในสองเสาหลักของปัญญาประดิษฐ์หลายรูปแบบ ได้แก่ ความเข้าใจและการสร้าง โมเดลภาษาขนาดใหญ่แบบหลายรูปแบบ (MLLM) เช่น LLaVA ทำงานด้านภาพและภาษาได้ดี เช่น การตอบคำถามจากภาพ (VQA) ส่วนโมเดลดิฟฟิวชันเชิงความน่าจะเป็นแบบลดสัญญาณรบกวน (DDPM) เปลี่ยนแนวทางการสร้างข้อมูลและให้ผลลัพธ์โดดเด่นในการสร้างภาพหรือวิดีโอจากข้อความ
ความสำเร็จทั้งสองด้านทำให้เกิดความสนใจที่จะเชื่อมเข้าด้วยกัน งานล่าสุดพยายามประกอบโมเดลผู้เชี่ยวชาญเป็นระบบเดียว แต่ยังมักแยกโมเดลสำหรับความเข้าใจและการสร้าง ตัวอย่างเช่น NExT-GPT ใช้โมเดลภาษาพื้นฐานเพื่อทำความเข้าใจหลายรูปแบบ แต่ต้องมีโมเดลดิฟฟิวชันที่ฝึกไว้แล้วอีกตัวเพื่อสร้างภาพ จึงเกิดคำถามว่าทรานส์ฟอร์เมอร์เพียงตัวเดียวทำทั้งสองอย่างได้หรือไม่
Chameleon แสดงให้เห็นว่าเป็นไปได้ โดยรวมข้อมูลต่างรูปแบบและสร้างโทเคนข้อความกับภาพแบบออโตรีเกรสซีฟ แม้วิธีนี้เหมาะกับข้อความ แต่ยังไม่ชัดเจนว่าเหมาะที่สุดกับแพตช์ภาพหรือพิกเซลหรือไม่ การสร้างภาพแบบออโตรีเกรสซีฟต้องสุ่มหลายขั้นตอน โดยเฉพาะภาพความละเอียดสูง โมเดลดิฟฟิวชันแบบต่อเนื่องให้คุณภาพการสร้างภาพดีกว่าในหลายกรณี
จึงมีการสำรวจว่าทรานส์ฟอร์เมอร์ตัวเดียวจะรวมออโตรีเกรสซีฟกับดิฟฟิวชันได้หรือไม่ แนวคิดของ Show-O คือแทนข้อความด้วยโทเคนไม่ต่อเนื่องและจำลองแบบออโตรีเกรสซีฟ ส่วนภาพสร้างด้วยดิฟฟิวชันลดสัญญาณรบกวน การรวมสองวิธีไม่ใช่เรื่องง่าย เพราะโทเคนข้อความกับการแทนภาพแบบต่อเนื่องมีลักษณะต่างกัน นอกจากนี้ โมเดลดิฟฟิวชันมักต้องใช้ทั้งตัวเข้ารหัสข้อความและโครงข่ายลดสัญญาณรบกวนแยกกัน
Show-O เสนอโมเดลรวมที่ใช้ทั้งออโตรีเกรสซีฟและดิฟฟิวชัน โดยต่อยอดจาก LLM ที่ฝึกไว้แล้วและใช้ความสามารถด้านข้อความเพื่อให้เหตุผล สำหรับภาพเลือกดิฟฟิวชันลดสัญญาณรบกวนแบบไม่ต่อเนื่องแทนการแทนข้อมูลแบบต่อเนื่อง โมเดลเข้ารหัสข้อมูลเงื่อนไขจากข้อความได้เอง จึงไม่ต้องเพิ่มตัวเข้ารหัสข้อความ เมื่อใช้ตัวแปลงข้อความและภาพเป็นโทเคน จึงประมวลผลข้อมูลและงานหลายชนิดได้ โดยตอบงานภาพและภาษาแบบออโตรีเกรสซีฟ และสร้างภาพด้วยดิฟฟิวชันแบบไม่ต่อเนื่อง
ผลทดสอบหลายชุดของ Show-O ใกล้เคียงหรือดีกว่าโมเดลเฉพาะทางที่มีพารามิเตอร์เท่ากันหรือมากกว่า และใช้ขั้นตอนสุ่มน้อยกว่าการสร้างภาพแบบออโตรีเกรสซีฟประมาณ 20 เท่า จึงทำงานได้เร็วกว่า นอกจากนี้ยังเติมและขยายภาพตามข้อความได้โดยไม่ต้องปรับละเอียด ดังภาพต่อไปนี้

Show-O ยังมีศักยภาพในการสร้างข้อมูลผสม เช่น สลับคีย์เฟรมวิดีโอกับคำบรรยายข้อความ ซึ่งอาจนำไปสู่การสร้างวิดีโอยาวได้ กรอบงานยังศึกษาว่าการแทนภาพแบบไม่ต่อเนื่องและต่อเนื่องส่งผลต่อความเข้าใจหลายรูปแบบอย่างไร เพื่อเป็นแนวทางออกแบบโมเดลรวมในอนาคต
ภาพต่อไปนี้เปรียบเทียบคุณลักษณะของ Show-O กับวิธีที่มีอยู่ในหลายด้าน โดย Show-O รวมเทคนิคขั้นสูงสำหรับทั้งความเข้าใจและการสร้างไว้ในโมเดลเดียว

ผลงานหลักของงานวิจัยนี้มีดังนี้:
- โมเดลรวม: Show-O ใช้ทรานส์ฟอร์เมอร์ตัวเดียวสำหรับความเข้าใจและการสร้างข้อมูลหลายรูปแบบ
- ผสานออโตรีเกรสซีฟกับดิฟฟิวชันแบบไม่ต่อเนื่อง: จัดการทั้งข้อความและภาพได้อย่างมีประสิทธิภาพ
- ผลทดสอบที่แข่งขันได้: เทียบเท่าหรือดีกว่าโมเดลอ้างอิงเฉพาะทางที่มีพารามิเตอร์เท่ากันหรือมากกว่า
- รองรับงานต่อยอด: เติมและขยายภาพตามข้อความโดยไม่ต้องปรับละเอียด และมีศักยภาพในการสร้างข้อมูลผสมหลายรูปแบบ
- ศึกษาการแทนข้อมูล: ให้ข้อมูลเชิงลึกเกี่ยวกับผลของรูปแบบการแทนข้อมูลต่อความเข้าใจของโมเดลรวม
งานวิจัยจำนวนมากขึ้นมุ่งพัฒนาโมเดลภาษาหลายรูปแบบที่ทั้งเข้าใจและสร้างข้อมูลได้ บางงานแทรกการแทนภาพแบบต่อเนื่องสลับกับโทเคนข้อความเพื่อสร้างภาพแบบออโตรีเกรสซีฟ SEED-X เสนอระบบพื้นฐานอเนกประสงค์ โดยรวมการแทนภาพจาก CLIP ViT กับโทเคนข้อความ แล้วส่งเข้า LLM เพื่อทำนายคำถัดไปและถดถอยการแทนภาพ Chameleon แทนข้อมูลทุกรูปแบบด้วยโทเคนไม่ต่อเนื่อง ใช้สถาปัตยกรรมทรานส์ฟอร์เมอร์เดียวและฝึกตั้งแต่ต้นแบบครบวงจร Show-O ก็ใช้โทเคนไม่ต่อเนื่องสำหรับทุกรูปแบบ แต่เลือกดิฟฟิวชันแบบไม่ต่อเนื่องแทนออโตรีเกรสซีฟในการสร้างภาพ
SHOW-O: วิธีการและสถาปัตยกรรม
เป้าหมายหลักคือพัฒนาโมเดลรวมที่ผสานออโตรีเกรสซีฟกับดิฟฟิวชันเพื่อความเข้าใจและการสร้างข้อมูลหลายรูปแบบ ความท้าทายได้แก่ การกำหนดพื้นที่อินพุตและเอาต์พุต การรวมข้อมูลต่างรูปแบบ การรวมสองวิธีในทรานส์ฟอร์เมอร์เดียว และการฝึกโมเดลให้มีประสิทธิภาพ
Show-O จัดการความท้าทายด้วยวิธีต่อไปนี้:
- สร้างพื้นที่อินพุตและเอาต์พุตด้วยการแปลงข้อความและภาพเป็นโทเคนไม่ต่อเนื่อง
- กำหนดสถาปัตยกรรมพื้นฐานและกลยุทธ์พรอมป์ต์ร่วมสำหรับจัดโครงสร้างข้อมูลต่างรูปแบบ
- รวมการจำลองแบบออโตรีเกรสซีฟและดิฟฟิวชันไว้ในทรานส์ฟอร์เมอร์ตัวเดียว
- ใช้กระบวนการฝึกสามขั้นตอนสำหรับโมเดลรวม
การแปลงเป็นโทเคน
เนื่องจาก Show-O ต่อยอดจาก LLM ที่ผ่านการฝึกมาแล้ว การเรียนรู้ร่วมในพื้นที่ไม่ต่อเนื่องจึงเป็นทางเลือกที่เหมาะสม โมเดลมีคลังโทเคนร่วมสำหรับข้อความและภาพ และใช้เป้าหมายการเรียนรู้เดียวกัน คือทำนายโทเคนไม่ต่อเนื่อง
โทเคนข้อความ
Show-O ใช้ตัวแปลงข้อความเป็นโทเคนตัวเดียวกับ LLM ที่ฝึกไว้แล้ว โดยไม่แก้ไข
โทเคนภาพ
ตามแนวทาง MAGVIT-v2 โมเดลฝึกตัวควอนไทซ์แบบไม่ใช้ตารางค้นหาด้วยภาพประมาณ 35 ล้านภาพ มีชุดรหัสขนาด 8,192 และเข้ารหัสภาพ 256×256 เป็นโทเคน 16×16 เลือก MAGVIT-v2 เพราะปรับละเอียดได้ง่ายและเหมาะกับการแปลงวิดีโอเป็นโทเคนพร้อมบีบอัดตามเวลา ซึ่งเป็นประเด็นที่จะศึกษาต่อ ทางเลือกอีกแบบคือใช้ตัวแปลงแยกสำหรับความเข้าใจและการสร้าง Show-O ยังดึงการแทนภาพแบบต่อเนื่องจาก MAGVIT-v2 และ CLIP-ViT ที่ฝึกไว้แล้วเพื่อศึกษาการปรับปรุงความเข้าใจ ส่วนวิธีที่อธิบายในบทความนี้ใช้โทเคนภาพไม่ต่อเนื่องเป็นอินพุตสำหรับทั้งสองงาน

สถาปัตยกรรม
Show-O ใช้สถาปัตยกรรมของ LLM ที่มีอยู่ โดยเพิ่มเพียง QK-Norm ก่อนชั้นแอตเทนชันแต่ละชั้น เริ่มต้นด้วยน้ำหนักของ LLM ที่ฝึกไว้แล้ว และขยายชั้นเอ็มเบดดิงด้วยเวกเตอร์ที่เรียนรู้ได้ใหม่ 8,192 ตัวสำหรับโทเคนภาพ ต่างจากโมเดลดิฟฟิวชันที่ต้องมีตัวเข้ารหัสข้อความเพิ่มเติม Show-O เข้ารหัสเงื่อนไขข้อความสำหรับสร้างภาพได้เอง
พรอมป์ต์แบบรวม
Show-O ใช้กลยุทธ์พรอมป์ต์ร่วมเพื่อจัดรูปแบบอินพุตสำหรับความเข้าใจและการสร้าง คู่ภาพและข้อความ (x, y) ถูกแปลงเป็นโทเคนภาพ M ตัวและโทเคนข้อความ N ตัว จากนั้นจัดเป็นลำดับอินพุตตามประเภทงาน ดังภาพต่อไปนี้

การออกแบบนี้ทำให้เข้ารหัสอินพุตสำหรับความเข้าใจหลายรูปแบบ การสร้างภาพจากข้อความ และการสร้างข้อมูลผสมเป็นข้อมูลลำดับได้ การเรียนรู้ร่วมจึงทำงานกับงานต่าง ๆ ได้อย่างสอดคล้อง หลังฝึก โมเดลรับพรอมป์ต์เพื่อทำงานภาพและภาษาได้หลากหลาย รวมถึงตอบคำถามจากภาพและสร้างภาพจากข้อความ
กลไก Omni-Attention
ต่างจากงานที่จำลองลำดับแบบออโตรีเกรสซีฟเท่านั้น Show-O เสนอ omni-attention เพื่อจัดการสัญญาณต่างชนิดด้วยวิธีต่างกัน โดยสลับระหว่างแอตเทนชันแบบเชิงเหตุและแบบเต็มตามโครงสร้างอินพุต ภาพต่อไปนี้แสดงตัวอย่างสำหรับลำดับต่าง ๆ

โทเคนข้อความใช้แอตเทนชันเชิงเหตุ ส่วนโทเคนภาพใช้แอตเทนชันแบบเต็มเพื่อปฏิสัมพันธ์กับโทเคนภาพอื่นทั้งหมด ในงานทำความเข้าใจ โทเคนข้อความมองเห็นโทเคนภาพก่อนหน้าทั้งหมดได้ ส่วนงานสร้างภาพ โทเคนภาพปฏิสัมพันธ์กับโทเคนข้อความก่อนหน้าทั้งหมดได้ Omni-attention รักษาความรู้ด้านการให้เหตุผลของ LLM และเพิ่มประสิทธิภาพสร้างภาพด้วยการลดขั้นตอนสุ่ม ยังรองรับการเติมและขยายภาพโดยไม่ต้องปรับละเอียด หากอินพุตมีเฉพาะข้อความ จะใช้แอตเทนชันเชิงเหตุเป็นค่าเริ่มต้น
SHOW-O: การทดลองและผลลัพธ์
ตารางต่อไปนี้แสดงความสามารถในการทำความเข้าใจหลายรูปแบบบนชุดทดสอบสาธารณะ เช่น การบรรยายภาพและการตอบคำถามจากภาพ

Show-O รุ่นที่ประเมินนี้สร้างบน Phi-1.5 จึงใช้ LLaVA-v1.5-Phi-1.5 ซึ่งเน้นความเข้าใจอย่างเดียวเป็นตัวอ้างอิงโดยตรง ผลของ Show-O ใกล้เคียงกันในทุกตัวชี้วัด แสดงศักยภาพในการรวมความเข้าใจและการสร้างไว้ในทรานส์ฟอร์เมอร์เดียว แม้มีขนาดเล็กกว่า InstructBLIP, Qwen-VL-Chat และ mPLUG-Owl2 มาก แต่แข่งขันได้ใน POPE, MME, Flickr30k และ VQAv2 และดีกว่าใน GQA เมื่อเทียบกับโมเดลรวมที่ใหญ่กว่ามากอย่าง NExT-GPT-13B และ Chameleon-34B ก็ยังทำได้ดีใน Flickr30k และดีกว่าอย่างชัดเจนใน VQAv2
ผลเหล่านี้ชี้ว่า Show-O อาจเป็นโมเดลพื้นฐานรุ่นใหม่สำหรับรวมความเข้าใจและการสร้าง และการเพิ่มขนาดโมเดลอาจนำไปสู่ประสิทธิภาพระดับแนวหน้าได้
การเปรียบเทียบเชิงคุณภาพ
ภาพต่อไปนี้เปรียบเทียบกับโมเดลดิฟฟิวชัน SDv1.5 และ SDXL โมเดลออโตรีเกรสซีฟ LlamaGen และโมเดลรวม LWM กับ SEED-X

Show-O สร้างภาพสมจริงที่ตรงกับเนื้อหาในพรอมป์ต์ทั้งสั้นและยาว เมื่อเทียบกับ SDv1.5 และ LlamaGen มีคุณภาพภาพและความสอดคล้องกับข้อความดีกว่า เช่น คอลัมน์ที่สอง ทั้งสองโมเดลพลาดรายละเอียดอย่างพระอาทิตย์ตกและโดมสีน้ำเงิน ส่วนเมื่อเทียบกับ SDXL ให้คุณภาพและความสอดคล้องใกล้เคียงกัน ดังตัวอย่างการแข่งขันรถแรลลีและความตัดกันเด่นชัดกับท้องฟ้ายามพระอาทิตย์ตก

การเติมและขยายภาพตามข้อความ
Show-O รองรับการเติมและขยายภาพตามข้อความได้โดยไม่ต้องปรับละเอียด ภาพต่อไปนี้แสดงตัวอย่าง

ส่วนบนของภาพแสดงว่า เมื่อได้รับภาพอินพุตและหน้ากากระบุพื้นที่แก้ไข Show-O เปลี่ยนรถรางสีแดงเป็นรถสปอร์ตสีน้ำเงินที่มีเส้นโค้งเรียบและกระจกสีเข้มตามพรอมป์ต์ได้ นอกจากนี้ยังขยายภาพตามแนวนอนหรือแนวตั้ง เช่น แถวที่สองเพิ่มดอกไม้ป่าสีแดง พิกเซลในส่วนที่เติมและขยายยังสอดคล้องกับภาพเดิม ตัวอย่างเหล่านี้แสดงข้อได้เปรียบของ Show-O เหนือโมเดลออโตรีเกรสซีฟสำหรับงานต่อยอด
ข้อสรุป
Show-O รวมความเข้าใจและการสร้างข้อมูลหลายรูปแบบในทรานส์ฟอร์เมอร์ตัวเดียว โดยผสานออโตรีเกรสซีฟกับดิฟฟิวชันแบบไม่ต่อเนื่องเพื่อจัดการข้อมูลต่างรูปแบบ รองรับการตอบคำถามจากภาพ การสร้างภาพจากข้อความ การเติมและขยายภาพ และการสร้างข้อมูลผสม ผลทดสอบใกล้เคียงหรือดีกว่าโมเดลเฉพาะทางที่มีพารามิเตอร์เท่ากันหรือมากกว่า ดิฟฟิวชันแบบต่อเนื่องทำนายสัญญาณรบกวนเกาส์เซียนในการแทนข้อมูลแฝง ส่วน D3PM, Mask-predict, ARDM และ MaskGIT ใช้การทำให้ข้อมูลเสียหายแบบไม่ต่อเนื่อง Show-O ผสานออโตรีเกรสซีฟกับดิฟฟิวชันแบบไม่ต่อเนื่องเพื่อจัดการแต่ละรูปแบบอย่างเหมาะสม ผลทดลองในงานภาพและภาษาหลากหลายแสดงศักยภาพในการเป็นโมเดลพื้นฐานรุ่นใหม่












