เจาะลึก DALL-E 3 ของ OpenAI

การเพิ่มขึ้นของแบบจำลองการแพร่กระจาย

ในช่วง 3 ปีที่ผ่านมา Vision AI ได้เห็นการเพิ่มขึ้นของแบบจำลองการแพร่กระจาย ซึ่งก้าวไปข้างหน้าอย่างมาก โดยเฉพาะอย่างยิ่งในการสร้างภาพ ก่อนแบบจำลองการแพร่กระจาย Generative Adversarial Networks (GAN) เป็นเทคโนโลยีที่ใช้ในการสร้างภาพที่สมจริง

GAN

อย่างไรก็ตาม พวกเขามีส่วนแบ่งของความท้าทาย รวมถึงความต้องการข้อมูลจำนวนมหาศาลและพลังในการคำนวณ ซึ่งมักจะทำให้จัดการได้ยาก

เข้าสู่ การกระจายเสียง โมเดล พวกเขากลายเป็นทางเลือกที่เสถียรและมีประสิทธิภาพมากกว่าสำหรับ GAN ต่างจาก GAN ตรงที่โมเดลการแพร่กระจายทำงานโดยการเพิ่มสัญญาณรบกวนให้กับข้อมูล โดยบดบังข้อมูลจนกว่าจะเหลือเพียงการสุ่มเท่านั้น จากนั้นพวกเขาจะทำงานย้อนกลับเพื่อย้อนกลับกระบวนการนี้ โดยสร้างข้อมูลที่มีความหมายขึ้นมาใหม่จากเสียงรบกวน กระบวนการนี้ได้รับการพิสูจน์แล้วว่ามีประสิทธิภาพและใช้ทรัพยากรน้อยกว่า ทำให้แบบจำลองการแพร่กระจายเป็นประเด็นร้อนในชุมชน AI

จุดเปลี่ยนที่แท้จริงเกิดขึ้นประมาณปี 2020 ด้วยชุดรายงานนวัตกรรมและการเปิดตัว คลิปของ OpenAI เทคโนโลยีซึ่งมีขีดความสามารถของโมเดลการแพร่กระจายขั้นสูงอย่างมีนัยสำคัญ สิ่งนี้ทำให้โมเดลการแพร่กระจายเก่งเป็นพิเศษในการสังเคราะห์ข้อความเป็นรูปภาพ ช่วยให้สร้างภาพที่สมจริงจากคำอธิบายที่เป็นข้อความ ความก้าวหน้าเหล่านี้ไม่ได้เป็นเพียงการสร้างภาพเท่านั้น แต่ยังรวมถึงในสาขาต่างๆ เช่น ด้วย การแต่งเพลง และ การวิจัยทางชีวการแพทย์.

ปัจจุบัน แบบจำลองการแพร่กระจายไม่ได้เป็นเพียงหัวข้อที่น่าสนใจทางวิชาการเท่านั้น แต่ยังถูกนำมาใช้ในสถานการณ์จริงและในทางปฏิบัติอีกด้วย

การสร้างแบบจำลองเชิงสร้างสรรค์และเลเยอร์การเอาใจใส่ตนเอง: DALL-E 3

แหล่ง

ความก้าวหน้าที่สำคัญอย่างหนึ่งในสาขานี้คือวิวัฒนาการของการสร้างแบบจำลองเชิงกำเนิด โดยมีแนวทางการสุ่มตัวอย่างเช่นการสร้างแบบจำลองแบบกำเนิดแบบอัตโนมัติและกระบวนการแพร่กระจายที่เป็นผู้นำ พวกเขาได้เปลี่ยนแปลงโมเดลข้อความเป็นรูปภาพ ซึ่งนำไปสู่การปรับปรุงประสิทธิภาพอย่างมาก ด้วยการแยกย่อยการสร้างภาพออกเป็นขั้นตอนแยกกัน โมเดลเหล่านี้จึงเข้าใจได้ง่ายขึ้นและง่ายขึ้นสำหรับโครงข่ายประสาทเทียมในการเรียนรู้

ในขณะเดียวกัน การใช้ชั้นการเอาใจใส่ตนเองก็มีบทบาทสำคัญเช่นกัน เลเยอร์เหล่านี้ซึ่งซ้อนกันช่วยสร้างภาพโดยไม่จำเป็นต้องมีความลำเอียงเชิงพื้นที่โดยปริยาย ซึ่งเป็นปัญหาทั่วไปของการบิดเบี้ยว การเปลี่ยนแปลงนี้ทำให้โมเดลข้อความเป็นรูปภาพสามารถปรับขนาดและปรับปรุงได้อย่างน่าเชื่อถือ เนื่องจากคุณสมบัติการปรับขนาดของหม้อแปลงที่เข้าใจกันดี

ความท้าทายและแนวทางแก้ไขในการสร้างภาพ

แม้จะมีความก้าวหน้าเหล่านี้ ความสามารถในการควบคุมในการสร้างภาพยังคงเป็นเรื่องท้าทาย ปัญหาต่างๆ เช่น การปฏิบัติตามทันที ซึ่งโมเดลอาจไม่ยึดติดกับข้อความอินพุตอย่างใกล้ชิด เป็นที่แพร่หลาย เพื่อแก้ไขปัญหานี้ มีการเสนอแนวทางใหม่ๆ เช่น การปรับปรุงคำอธิบายภาพ โดยมีจุดมุ่งหมายเพื่อเพิ่มคุณภาพของการจับคู่ข้อความและรูปภาพในชุดข้อมูลการฝึกอบรม

การปรับปรุงคำบรรยาย: แนวทางใหม่

การปรับปรุงคำบรรยายเกี่ยวข้องกับการสร้างคำบรรยายคุณภาพที่ดีขึ้นสำหรับรูปภาพ ซึ่งจะช่วยฝึกโมเดลข้อความเป็นรูปภาพที่แม่นยำยิ่งขึ้น ซึ่งสามารถทำได้โดยใช้คำบรรยายภาพที่มีประสิทธิภาพซึ่งให้คำอธิบายภาพโดยละเอียดและถูกต้อง ด้วยการฝึกอบรมคำบรรยายที่ได้รับการปรับปรุงเหล่านี้ DALL-E 3 จึงสามารถบรรลุผลลัพธ์ที่น่าทึ่ง โดยมีความคล้ายคลึงกับภาพถ่ายและงานศิลปะที่มนุษย์สร้างขึ้นอย่างใกล้ชิด

การฝึกอบรมเกี่ยวกับข้อมูลสังเคราะห์

แนวคิดของการฝึกอบรมเกี่ยวกับข้อมูลสังเคราะห์ไม่ใช่เรื่องใหม่ อย่างไรก็ตาม การมีส่วนร่วมที่ไม่เหมือนใครในที่นี้คือการสร้างระบบคำบรรยายภาพเชิงพรรณนาที่แปลกใหม่ ผลกระทบของการใช้คำบรรยายสังเคราะห์สำหรับการฝึกโมเดลกำเนิดนั้นมีความสำคัญมาก ซึ่งนำไปสู่การปรับปรุงความสามารถของโมเดลในการปฏิบัติตามคำแนะนำอย่างแม่นยำ

การประเมิน DALL-E 3

จากการประเมินและการเปรียบเทียบกับรุ่นก่อนหน้า เช่น DALL-E 2 และ Stable Diffusion XL หลายครั้ง ทำให้ DALL-E 3 แสดงให้เห็นถึงประสิทธิภาพที่เหนือกว่า โดยเฉพาะอย่างยิ่งในงานที่เกี่ยวข้องกับการปฏิบัติตามทันที

การเปรียบเทียบแบบจำลองข้อความเป็นรูปภาพในการประเมินต่างๆ

การใช้การประเมินอัตโนมัติและการวัดประสิทธิภาพได้ให้หลักฐานที่ชัดเจนเกี่ยวกับความสามารถ ซึ่งทำให้จุดยืนของตนแข็งแกร่งขึ้นในฐานะเครื่องมือสร้างข้อความเป็นรูปภาพที่ล้ำสมัย