โมเดลและแพลตฟอร์ม AI
MiniGPT-5: การสร้างข้อความและภาพสลับกันด้วย Generative Vokens
ประเด็นสำคัญMiniGPT-5 นำเสนอ generative vokens เพื่อเชื่อมโยงการสร้างข้อความและภาพภายในโมเดลเดียว
ดูเพิ่มเติม
- MiniGPT-5 นำเสนอ generative vokens เพื่อเชื่อมโยงการสร้างข้อความและภาพภายในโมเดลเดียว
- กลยุทธ์การฝึกสองขั้นตอนของมันเริ่มจากการจัดเรียงคุณลักษณะโดยไม่มีคำอธิบาย จากนั้นจึงปรับแต่งอย่างละเอียดด้วยข้อมูลที่สลับกัน
- เฟรมเวิร์กนี้ทำได้ดีกว่าโมเดลฐานในการประเมินโดยมนุษย์ด้านความเชื่อมโยงหลายรูปแบบและคุณภาพของภาพ
ในช่วงไม่กี่ปีที่ผ่านมา โมเดลภาษาขนาดใหญ่ (LLMs) ได้รับความสนใจจากนักพัฒนา AI ทั่วโลกเนื่องจากความก้าวหน้าในด้านการประมวลผลภาษาธรรมชาติ (NLP) โมเดลเหล่านี้ได้ตั้งมาตรฐานใหม่ในการสร้างและเข้าใจข้อความ อย่างไรก็ตาม แม้ว่าจะมีการพัฒนาการสร้างข้อความ แต่การสร้างภาพที่สอดคล้องกับเรื่องราวข้อความยังคงเป็นเรื่องที่ท้าทาย เพื่อแก้ไขปัญหานี้ นักพัฒนาจึงได้แนะนำแนวทางใหม่ในการสร้างภาพและภาษาโดยใช้ “generative vokens” ซึ่งเป็นแนวทางที่เชื่อมช่องว่างระหว่างการสร้างข้อความและภาพ
รากฐานของ MiniGPT-5 คือยุทธวิธีการฝึกอบรมสองขั้นตอนที่เน้นการสร้างข้อมูลหลายรูปแบบโดยไม่ต้องมีการอธิบายภาพที่ครอบคลุม นอกจากนี้ เพื่อเพิ่มความสมบูรณ์ของโมเดล โมเดลนี้ยังรวมถึงระบบการชี้นำโดยไม่ใช้ตัวจำแนก (classifier-free guidance) ซึ่งช่วยเพิ่มประสิทธิภาพของ voken ในการสร้างภาพ ในขั้นตอนแรกของการฝึกอบรม MiniGPT-5 แสดงให้เห็นถึงประสิทธิภาพที่แข็งแกร่งและความก้าวหน้าที่สำคัญเมื่อเทียบกับโมเดล Divter ที่ฝึกอบรมบนชุดข้อมูล MMDialog และแสดงให้เห็นถึงความสามารถในการส่งมอบผลลัพธ์หลายรูปแบบที่เทียบเท่าหรือเหนือกว่าในแบบทดสอบของมนุษย์ที่ดำเนินการบนชุดข้อมูล VIST ซึ่งเน้นย้ำถึงประสิทธิภาพและประสิทธิผลของโมเดลนี้
MiniGPT5 : การแนะนำ
ด้วยความก้าวหน้าล่าสุดของเฟรมเวิร์ก LLM และการประยุกต์ใช้โครงสร้างเหล่านี้ การบูรณาการคุณลักษณะมัลติมีเดียเป็นสาขาที่ได้รับความนิยมมากขึ้น เนื่องจากเป็นการพัฒนาที่สำคัญซึ่งสนับสนุนการทำงานของแอปพลิเคชันต่างๆ ตั้งแต่เครื่องมือสร้างเนื้อหาที่ทันสมัยจนถึงตัวแทนการสนทนา มัลติม็อดัลที่ทันสมัย ด้วยการวิจัยและพัฒนาอย่างต่อเนื่อง โมเดลภาษาและภาพถึงจุดที่สามารถสร้างข้อความและข้อมูลภาพได้อย่างราบรื่น ความสามารถของ LLM ในการสร้างข้อมูลหลายรูปแบบได้อย่างราบรื่นจะช่วยปรับปรุงการโต้ตอบระหว่างโดเมนต่างๆ รวมถึงอีคอมเมิร์ซ สื่อ และความเป็นจริงเสมือน

สุดท้าย เป้าหมายคือการทำให้โมเดลสามารถสังเคราะห์ รับรู้ และตอบสนองในลักษณะที่สอดคล้องกันและตรรกะโดยใช้ทั้งรูปแบบข้อความและภาพ ดังนั้นจึงมีบทบาทสำคัญในการสร้างความสม่ำเสมอของการไหลของข้อมูล และสร้างเรื่องราวที่สอดคล้องกันและสม่ำเสมอ ความจำเป็นในการบรรลุการผสมผสานระหว่างรูปแบบข้อความและภาพถูกขับเคลื่อนด้วยความต้องการการโต้ตอบมัลติม็อดัลที่มีการโต้ตอบและสม่ำเสมอใน LLMs และสุดท้ายคือการบรรลุการสร้างภาษาและภาพแบบแทรกซ้อน อย่างไรก็ตาม การบรรลุการโต้ตอบมัลติม็อดัลที่มีการโต้ตอบใน LLMs เป็นงานที่ซับซ้อนและมีหลายความท้าทาย รวมถึง
- แม้ว่า LLMs ปัจจุบันจะมีประสิทธิภาพและสามารถสร้างข้อความได้ดี แต่ก็ไม่สามารถสร้างภาพได้ดี
- การพัฒนาของโมเดลเหล่านี้ขึ้นอยู่กับข้อมูลที่มุ่งเน้นเฉพาะหัวข้อ ซึ่งทำให้โมเดลมีความยากในการจัดตำแหน่งข้อความที่สอดคล้องกับภาพที่สอดคล้องกัน
- สุดท้าย มีความจำเป็นในการค้นหาวิธีการที่มีประสิทธิภาพมากขึ้น เนื่องจากเมื่อความสามารถของ LLMs เพิ่มขึ้น ความต้องการหน่วยความจำของ LLMs ก็เพิ่มขึ้นด้วย โดยเฉพาะอย่างยิ่งเมื่อทำงานประยุกต์ในขั้นถัดไป (downstream tasks)
MiniGPT-5 เป็นเทคนิคการสร้างภาษาและภาพแบบแทรกซ้อนโดยใช้ “generative vokens” เพื่อแก้ไขความท้าทายเหล่านี้ โมเดลนี้เสนอแนวทางใหม่ในการสร้างข้อมูลหลายรูปแบบโดยการผสมผสาน LLMs ที่มีเทคนิคของ Stable Diffusionโดยใช้โทเคนภาพพิเศษ วิธีฝึกสองขั้นตอนให้ความสำคัญกับช่วงพื้นฐานที่ไม่ต้องมีคำอธิบายภาพละเอียด และเตรียมโมเดลให้ทำงานได้อย่างมีประสิทธิภาพแม้มีข้อมูลจำกัด

แต่สิ่งที่ทำให้ MiniGPT-5 แตกต่างจากโครงสร้างที่มีอยู่คือขั้นตอนทั่วไปไม่ต้องใช้ป้ายกำกับเฉพาะโดเมน นอกจากนี้ เพื่อให้แน่ใจว่าข้อความและภาพที่สร้างขึ้นเป็นไปตามกัน MiniGPT-5 ใช้กลยุทธ์ dual-loss ที่เพิ่มประสิทธิภาพของการใช้ vokens และการชี้นำโดยไม่ใช้ตัวจำแนก นอกจากนี้ วิธีปรับแต่งโมเดลที่ใช้พารามิเตอร์อย่างมีประสิทธิภาพยังช่วยเพิ่มประสิทธิภาพการฝึกและแก้ข้อจำกัดด้านหน่วยความจำ
เพื่อให้ได้สรุปอย่างรวดเร็ว MiniGPT-5
- เสนอวิธีการที่ใช้การเข้ารหัสหลายรูปแบบที่เป็นวิธีการใหม่และทั่วไปที่มีประสิทธิภาพมากกว่า LLMs แบบดั้งเดิม และใช้ตัวแทนการสร้างภาพร่วมกับเทคนิคของ Stable Diffusionเพื่อสร้างผลลัพธ์ภาษาและภาพแบบแทรกซ้อน
- เสนอการฝึกอบรมสองขั้นตอนสำหรับการสร้างข้อมูลหลายรูปแบบโดยไม่ต้องมีการอธิบาย และการชี้นำโดยไม่ใช้ตัวจำแนก (classifier-free guidance)เพื่อเพิ่มคุณภาพของข้อมูลที่สร้างขึ้น
MiniGPT-5 ได้รับแรงบันดาลใจจากงานวิจัยและงานที่ทำในด้าน
- การสร้างภาพจากข้อความ : การเปลี่ยนข้อความเป็นภาพที่สอดคล้องกัน และการสร้างภาพจากข้อความ
- MLLMs หรือโมเดลภาษาขนาดใหญ่มัลติม็อดัล : การใช้ LLMs ที่ฝึกอบรมไว้เพื่อสำรวจการประยุกต์ใช้และประสิทธิภาพในการสร้างข้อมูลหลายรูปแบบ
- การสร้างหลายรูปแบบด้วย LLMs : การเพิ่มความสามารถของ LLMs เพื่อสร้างข้อมูลหลายรูปแบบได้อย่างราบรื่น
MiniGPT-5 : วิธีการ อาร์กิตเทคเจอร์ และโครงสร้าง
เพื่อให้ LLMs มีความสามารถในการสร้างข้อมูลหลายรูปแบบ MiniGPT-5 นำเสนอโครงสร้างที่รวม LLMs ที่มีเทคนิคการสร้างภาพจากข้อความและโมเดลภาษาขนาดใหญ่มัลติม็อดัลที่ฝึกอบรมไว้ โครงสร้างนี้ยังรวมถึง “generative vokens” ซึ่งเป็นตัวแทนภาพพิเศษที่ช่วยให้นักพัฒนาสามารถแก้ความแตกต่างระหว่างโดเมนด้วยการฝึกโดยตรงบนภาพดิบ โดยใช้การชี้นำโดยไม่ใช้ตัวจำแนกควบคู่กับวิธีฝึกสองขั้นตอนขั้นสูงเพื่อเพิ่มคุณภาพข้อมูลที่สร้าง
ขั้นตอนการรับข้อมูลหลายรูปแบบ
การพัฒนาของ LLMs ในช่วงไม่กี่ปีที่ผ่านมาได้แสดงให้เห็นถึงความสามารถในการประมวลผลภาพเป็นข้อมูลรับเข้า MiniGPT-5 ใช้ตัวแทนภาพพิเศษเพื่อสร้างคุณลักษณะภาพในความพยายามที่จะขยายความสามารถในการเข้าใจหลายรูปแบบของ LLMs ไปสู่การสร้างข้อมูลหลายรูปแบบ พร้อมใช้เทคนิคปรับแต่งขั้นสูงที่มีประสิทธิภาพด้านพารามิเตอร์สำหรับการเรียนรู้ผลลัพธ์หลายรูปแบบ
การเข้ารหัสหลายรูปแบบ
ตัวเข้ารหัสภาพที่ฝึกอบรมไว้ใน MiniGPT-5 แปลงภาพที่รับเข้ามาเป็นคุณลักษณะ และโทเคนข้อความแต่ละตัวจะถูกฝังเป็นเวกเตอร์ และคุณลักษณะการรับเข้าจะถูกสร้างขึ้นเมื่อเวกเตอร์เหล่านี้ถูกต่อกัน
การเพิ่มตัวแทนภาพใน LLMs
โดยทั่วไป คลังคำของ LLM ประกอบด้วยโทเคนข้อความเท่านั้น นักพัฒนา MiniGPT-5 จึงต้องเชื่อมช่องว่างระหว่างโมเดลเชิงกำเนิดกับ LLM แบบดั้งเดิม โดยเพิ่มโทเคนภาพพิเศษที่เรียกว่า generative vokens เข้าไปในคลังคำ สถานะเอาต์พุตแฝงของ LLM ที่ตำแหน่ง voken ใช้สร้างภาพในขั้นถัดไป และตำแหน่งของ voken ระบุตำแหน่งแทรกภาพในข้อความ
PEFT หรือการปรับแต่งอย่างละเอียดที่ใช้พารามิเตอร์อย่างมีประสิทธิภาพ
PEFT หรือการปรับแต่งอย่างละเอียดที่ใช้พารามิเตอร์อย่างมีประสิทธิภาพเป็นแนวคิดที่สำคัญในการฝึกอบรม LLMs แต่การประยุกต์ใช้ PEFT ในการสร้างหลายรูปแบบยังคงเป็นเรื่องที่ไม่ได้สำรวจอย่างเต็มที่ MiniGPT-5 ใช้การปรับแต่งอย่างละเอียดที่ใช้พารามิเตอร์อย่างมีประสิทธิภาพกับตัวเข้ารหัสของ MiniGPT-4 เพื่อฝึกอบรมโมเดลให้เข้าใจคำสั่งได้ดีขึ้นและเพิ่มประสิทธิภาพของโมเดลในสถานการณ์ zero-shot ซึ่งไม่มีตัวอย่างของงานเป้าหมาย หรือสภาพแวดล้อมใหม่
การสร้างหลายรูปแบบ
เพื่อจัดตำแหน่งโมเดลการสร้างภาพให้ตรงกับตัวแทนภาพพิเศษ MiniGPT-5 สร้างโมดูลการแมปที่กะทัดรัดเพื่อจัดตำแหน่งมิติและรวมถึงค่าความสูญเสียสำหรับการเรียนรู้แบบมีผู้สอน เช่น ค่าความสูญเสียของโมเดลการแพร่แบบแฝงและค่าความสูญเสียในปริภูมิข้อความ ค่าความสูญเสียของโมเดลการแพร่แบบแฝงจะจัดตำแหน่งคุณลักษณะภาพที่เหมาะสมกับตัวแทนภาพพิเศษโดยตรง ในขณะที่ค่าความสูญเสียในปริภูมิข้อความจะช่วยให้โมเดลเรียนรู้ตำแหน่งที่ถูกต้องของโทเคนภาพพิเศษ เนื่องจากภาพเป็นตัวชี้นำ voken โดยตรง จึงไม่ต้องมีคำอธิบายภาพอย่างละเอียดในการเรียนรู้
การสร้างพื้นที่ข้อความ
MiniGPT-5 ใช้วิธีการจำลองภาษาเชิงเหตุ (causal language modeling)เพื่อสร้างตัวแทนภาพพิเศษและข้อความในพื้นที่ข้อความร่วมกัน และในระหว่างการฝึกอบรม ตัวแทนภาพพิเศษจะถูกเพิ่มเข้าไปในตำแหน่งของภาพที่แท้จริง และโมเดลจะถูกฝึกอบรมให้ทำนายตัวแทนภาพพิเศษในระหว่างการสร้างข้อความ
การแมปคุณลักษณะตัวแทนภาพสำหรับการสร้างภาพ
หลังจากสร้างพื้นที่ข้อความแล้ว โครงสร้างจะจัดตำแหน่งสถานะเอาต์พุตแฝงให้ตรงกับปริภูมิคุณลักษณะที่มีข้อความเป็นเงื่อนไขของโมเดลสร้างภาพจากข้อความ และโครงสร้างยังรวมถึงโมดูลการแมปคุณลักษณะที่ประกอบด้วยMLP สองชั้น ลำดับคุณลักษณะของตัวถอดรหัสที่เรียนรู้ได้ และทรานส์ฟอร์เมอร์แบบตัวเข้ารหัส–ตัวถอดรหัสสี่ชั้น
การสร้างภาพด้วย LDM หรือโมเดลการแพร่แบบแฝง
เพื่อสร้างภาพที่ต้องการในกระบวนการขจัดสัญญาณรบกวน โครงสร้างจะใช้คุณลักษณะการแมปเป็นข้อมูลรับเข้า และโครงสร้างยังใช้ LDM หรือโมเดลการแพร่แบบแฝงเพื่อการกำกับดูแล และในระหว่างการฝึกอบรม ภาพที่แท้จริงจะถูกแปลงเป็นคุณลักษณะแฝงโดยใช้ VAE ที่ฝึกอบรมไว้ และคุณลักษณะแฝงที่มีสัญญาณรบกวนจะได้มาจากการเพิ่มสัญญาณรบกวนเข้าไป
แนวทางที่ครอบคลุมของ MiniGPT-5 ช่วยให้นักพัฒนาสามารถเข้าใจและสร้างเนื้อหาที่เป็นภาพและภาษาได้อย่างสอดคล้องกัน โดยใช้ตัวแทนภาพพิเศษ การใช้ความสามารถของโมเดลที่ฝึกอบรมไว้ และการฝึกอบรมที่มีประสิทธิภาพ
MiniGPT-5 : การฝึกอบรมและการทดสอบ
เมื่อทำงานกับ MiniGPT-5 นักพัฒนาพบว่าการฝึกอบรมโดยตรงบนชุดข้อมูลที่มีการแทรกภาพและข้อความอาจทำให้ได้ภาพที่มีคุณภาพลดลง และการไม่สอดคล้องกันเนื่องจากการเปลี่ยนแปลงโดเมนที่สำคัญระหว่างโดเมนภาพและข้อความ เพื่อแก้ไขปัญหานี้ นักพัฒนาจึงใช้กลยุทธ์การฝึกอบรมสองแบบ
- การรวมถึงเทคนิคการชี้นำโดยไม่ใช้ตัวจำแนก (classifier-free guidance)เพื่อเพิ่มประสิทธิภาพของตัวแทนภาพพิเศษในระหว่างกระบวนการแพร่
- กลยุทธ์ที่สองแบ่งออกเป็นสองขั้นตอน
- ขั้นตอนการฝึกอบรมเบื้องต้นซึ่งเน้นการปรับตำแหน่งคุณลักษณะที่หยาบ
- ขั้นตอนการปรับแต่งอย่างละเอียดซึ่งอำนวยความสะดวกในการเรียนรู้คุณลักษณะ
CFG หรือการชี้นำโดยไม่ใช้ตัวจำแนก (classifier-free guidance)
แนวคิดในการใช้ CFG สำหรับการสร้างหลายรูปแบบมาจากความพยายามที่จะเพิ่มความสอดคล้องกันและตรรกะระหว่างภาพและข้อความที่สร้างขึ้น และ CFG ถูกนำมาใช้ในระหว่างกระบวนการแพร่จากข้อความเป็นภาพ การฝึกทั้งแบบไม่มีเงื่อนไขและแบบมีเงื่อนไข พร้อมสุ่มตัดข้อมูลเงื่อนไขออก (conditioning dropout) ช่วยปรับปรุงผลการสร้างแบบมีเงื่อนไขได้
กลยุทธ์การฝึกอบรมสองขั้นตอน
เนื่องจากการเปลี่ยนแปลงโดเมนที่สำคัญระหว่างการสร้างภาพและข้อความ MiniGPT-5 ใช้กลยุทธ์การฝึกอบรมสองขั้นตอน
- ขั้นตอนการจัดแนวแบบรูปแบบเดียว หรือ UAS
- ขั้นตอนการเรียนรู้หลายรูปแบบหรือ MLS
ในขั้นตอนแรก โครงสร้างจะจัดตำแหน่งคุณลักษณะการสร้างภาพให้ตรงกับตัวแทนภาพพิเศษในชุดข้อมูลคู่ข้อความ–ภาพที่แต่ละตัวอย่างมีข้อความหนึ่งรายการกับภาพหนึ่งภาพ โดยข้อความมักเป็นคำบรรยายภาพ และในขั้นตอนนี้ โครงสร้างจะทำให้ LLMs สามารถสร้างตัวแทนภาพพิเศษได้โดยใช้คำบรรยายภาพเป็นข้อมูลรับเข้า
หลังจากที่ UAS สำเร็จแล้ว โมเดลสามารถสร้างภาพสำหรับคำบรรยายภาพเดี่ยวได้ แต่จะพบปัญหาในการสร้างภาพและข้อความที่แทรกซ้อน รวมถึงการให้เหตุผลที่ซับซ้อนในการสร้างภาพและข้อความ เพื่อแก้ไขปัญหานี้ นักพัฒนาจึงได้ปรับโมเดล MiniGPT-5 โดยใช้ PEFT และชุดข้อมูลที่มีการแทรกภาพและข้อความ เช่น VIST ในระหว่างขั้นตอนนี้ โครงสร้างจะสร้างงานที่แตกต่างกันสามงานจากชุดข้อมูล
- การสร้างข้อความเท่านั้น : สร้างข้อความที่เกี่ยวข้องกับภาพถัดไป
- การสร้างภาพเท่านั้น : สร้างภาพที่เกี่ยวข้องกับข้อความถัดไป
- การสร้างหลายรูปแบบ : สร้างภาพและข้อความที่เกี่ยวข้องกันโดยใช้ข้อมูลรับเข้า
MiniGPT-5 : การทดสอบและการประเมิน
เพื่อประเมินประสิทธิภาพของ MiniGPT-5 ในการสร้างหลายรูปแบบอย่างครอบคลุม ทีมพัฒนาของ MiniGPT-5 ได้เปรียบเทียบประสิทธิภาพของโมเดลนี้กับโมเดลที่มีอยู่ เช่น Divter, GILL และโมเดลสร้างข้อมูลแบบรูปแบบเดียวที่ปรับแต่งอย่างละเอียดแล้ว และการเปรียบเทียบนี้แสดงไว้ในตารางด้านล่าง

MiniGPT-5 ตระหนักว่าผลลัพธ์หลายรูปแบบอาจมีความหมายตามบริบท แต่อาจแตกต่างจากความเป็นจริง ซึ่งเป็นเหตุผลหลักที่ MiniGPT-5 รวมถึงการรับเข้าจากมนุษย์เพื่อประเมินประสิทธิภาพของโมเดลโดยรวม ประสิทธิภาพของ MiniGPT-5 ในการสร้างหลายรูปแบบจะถูกวัดจากสามมุมมอง
- ความต่อเนื่องของภาษา : ประเมินว่าข้อความที่สร้างขึ้นเป็นไปตามบริบทที่ให้มาหรือไม่
- คุณภาพของภาพ : ประเมินความเกี่ยวข้องและความชัดเจนของภาพที่สร้างขึ้น
- ความสอดคล้องของหลายรูปแบบ : ประเมินว่าผลลัพธ์ภาพและข้อความที่สร้างขึ้นเป็นไปตามกันหรือไม่
การประเมินขั้นตอนสุดท้ายของ VIST
ในขั้นตอนแรกของการทดสอบ MiniGPT-5 มีเป้าหมายในการสร้างภาพที่เกี่ยวข้องกับข้อความ และตารางด้านล่างสรุปผลลัพธ์ที่ได้รับจากการตั้งค่านี้

ดังที่เห็น MiniGPT-5 สามารถทำได้ดีกว่าโมเดล SD2 ที่ฝึกอบรมไว้ในทั้งสามการตั้งค่า ซึ่งแสดงให้เห็นถึงประสิทธิภาพของ MiniGPT-5

รูปด้านบนเปรียบเทียบประสิทธิภาพของ MiniGPT-5 กับโมเดล MiniGPT-4 ที่ปรับแต่งอย่างละเอียด (หมายเหตุเกี่ยวกับลิงก์: ต้นฉบับภาษาอังกฤษเชื่อมไปยังบทความเรื่อง GPT-4 และ AGI ไม่ใช่เอกสาร MiniGPT-4)บน S-BERT, Rouge-L และ Meteor ผลลัพธ์แสดงให้เห็นว่าการใช้ตัวแทนภาพพิเศษไม่ส่งผลเสียต่อประสิทธิภาพของโมเดลเมื่อทำงานด้านความเข้าใจหลายรูปแบบ และ MiniGPT-5 สามารถใช้พรอมป์ต์หลายรูปแบบที่มีขอบเขตบริบทยาวเพื่อสร้างภาพที่มีคุณภาพและสอดคล้องกันโดยไม่ลดทอนความสามารถเดิมในการเข้าใจหลายรูปแบบ

ตารางด้านบนเปรียบเทียบประสิทธิภาพของสามโมเดลบน 5,000 ตัวอย่างสำหรับการสร้างหลายรูปแบบจากมุมมองของความสอดคล้องของหลายรูปแบบ คุณภาพของภาพ และความต่อเนื่องของภาษา ดังที่เห็น MiniGPT-5 สามารถทำได้ดีกว่าโมเดลอื่นๆ มากกว่า 70% ของกรณี และตารางด้านล่างแสดงถึงประสิทธิภาพของ MiniGPT-5 บนชุดข้อมูลตรวจสอบ CC3M สำหรับการสร้างภาพเดี่ยว ข้อจำกัดด้านข้อมูลทำให้พบปัญหาการจัดแนว voken เมื่อใช้ Stable Diffusion แม้มีข้อจำกัดนี้ MiniGPT-5 ยังทำได้ดีกว่าโมเดลอ้างอิง GILL ในทุกตัวชี้วัด


สรุป
ในบทความนี้ เราได้พูดถึง MiniGPT-5 ซึ่งเป็นเทคนิคการสร้างภาษาและภาพแบบแทรกซ้อนโดยใช้ “generative vokens” เพื่อใช้ความสามารถของ LLMs ในการสร้างข้อมูลหลายรูปแบบโดยการผสมผสาน LLMs ที่มีเทคนิคการสร้างภาพจากข้อความ และโมเดลภาษาขนาดใหญ่มัลติม็อดัลที่ฝึกอบรมไว้ เราได้พูดถึงส่วนประกอบที่สำคัญและโครงสร้างโดยรวมของ MiniGPT-5 พร้อมด้วยผลลัพธ์ที่แสดงถึงความก้าวหน้าที่สำคัญในด้านประสิทธิภาพและประสิทธิผลเมื่อเทียบกับโมเดลที่มีอยู่และโมเดลที่เป็นรากฐาน MiniGPT-5 มีเป้าหมายที่จะสร้างมาตรฐานใหม่ในด้านการสร้างเนื้อหาที่เป็นภาพและภาษา และมีเป้าหมายที่จะแก้ไขปัญหาที่เกิดขึ้นกับโมเดลก่อนหน้านี้ที่พยายามแก้ไขปัญหาเดียวกัน












