การสังเกตที่ใกล้ชิดกับ DALL-E 3 ของ OpenAI

ในโลกของ Generative AI การติดตามความก้าวหน้าล่าสุดเป็นสิ่งสำคัญ และเมื่อพูดถึงการสร้างภาพ Midjourney และ Stable Diffusion เป็นแพลตฟอร์มที่ทุกคนพูดถึง – จนถึงตอนนี้

OpenAI ซึ่งได้รับการสนับสนุนจาก Microsoft (MSFT ) ได้เปิดตัว DALL·E 3 เมื่อวันที่ 20 กันยายน 2023

DALL-E 3 ไม่ใช่แค่การสร้างภาพ แต่เป็นการนำความคิดของคุณมาเป็นจริงตามที่คุณคิดไว้ และสิ่งที่ดีที่สุดคือ มันเร็วมาก คุณมีไอเดีย คุณให้ DALL-E 3 และมันจะสร้างภาพให้คุณในทันที

ดังนั้น ในบทความนี้ เราจะพูดถึง DALL-E 3 ว่ามันคืออะไร เราจะพูดถึงวิธีการทำงานของมัน สิ่งที่ทำให้มันแตกต่างจากคนอื่น และทำไมมันอาจเป็นเครื่องมือที่คุณไม่เคยรู้ว่าคุณต้องการ ไม่ว่าคุณจะเป็นนักออกแบบ ศิลปิน หรือคนที่มีไอเดียมากมาย บทความนี้จะช่วยให้เข้าใจเครื่องมือนี้ได้ดีขึ้น

สิ่งที่ใหม่เกี่ยวกับ DALL·E 3 คือมันเข้าใจบริบทได้ดีกว่า DALL·E 2 รุ่นก่อนหน้าอาจพลาดรายละเอียดบางอย่างหรือเพิกเฉยต่อรายละเอียดบางอย่าง แต่ DALL·E 3 เป็นไปตามรายละเอียดที่แน่นอนของสิ่งที่คุณถาม มันให้ภาพที่ใกล้เคียงกับสิ่งที่คุณคิดไว้

สิ่งที่น่าสนใจคือ DALL·E 3 และ ChatGPT ได้รับการรวมเข้าด้วยกันแล้ว พวกมันทำงานร่วมกันเพื่อช่วยปรับแต่งไอเดียของคุณ คุณเสนอไอเดีย ChatGPT ช่วยปรับแต่งคำสั่ง และ DALL·E 3 นำมันมาเป็นจริง หากคุณไม่ชอบภาพ คุณสามารถขอให้ ChatGPT ปรับแต่งคำสั่งและให้ DALL·E 3 ลองอีกครั้ง สำหรับค่าใช้จ่ายรายเดือน 20 ดอลลาร์ คุณจะได้รับการเข้าถึง GPT-4, DALL·E 3 และคุณสมบัติอื่นๆ อีกมากมาย

Bing Chat ของ Microsoft ได้รับ DALL·E 3 มาก่อน ChatGPT ของ OpenAI และตอนนี้ไม่ใช่แค่บริษัทขนาดใหญ่ที่ได้รับประโยชน์ แต่ทุกคนสามารถเล่นกับมันฟรี การรวมเข้ากับ Bing Chat และ Bing Image Creator ทำให้ง่ายต่อการใช้งานสำหรับทุกคน

การเติบโตของโมเดลดิฟฟิวชัน

ตลอด 3 ปีที่ผ่านมา AI ด้านการมองเห็นก้าวหน้าอย่างมากจากการเติบโตของโมเดลดิฟฟิวชัน โดยเฉพาะการสร้างภาพ ก่อนหน้านั้น เครือข่ายปฏิปักษ์เชิงกำเนิด (GAN) เป็นเทคโนโลยีหลักในการสร้างภาพสมจริง

GANs

อย่างไรก็ตาม GAN มีข้อท้าทาย เช่น ต้องใช้ข้อมูลและกำลังประมวลผลจำนวนมาก จึงมักใช้งานได้ยาก

โมเดลดิฟฟิวชันจึงเข้ามาเป็นทางเลือกที่เสถียรและมีประสิทธิภาพมากกว่า ต่างจาก GAN โมเดลเหล่านี้เติมสัญญาณรบกวนลงในข้อมูลจนเหลือเพียงความสุ่ม แล้วดำเนินกระบวนการย้อนกลับเพื่อสร้างข้อมูลที่มีความหมายจากสัญญาณรบกวน กระบวนการนี้ได้ผลดีและใช้ทรัพยากรน้อยกว่า จึงเป็นประเด็นที่ได้รับความสนใจในชุมชน AI

จุดเปลี่ยนเกิดขึ้นราวปี 2020 จากงานวิจัยใหม่หลายชิ้นและการเปิดตัวเทคโนโลยี CLIP ของ OpenAI ซึ่งช่วยยกระดับความสามารถของโมเดลดิฟฟิวชัน โดยเฉพาะการสร้างภาพสมจริงจากคำอธิบายข้อความ ความก้าวหน้านี้ไม่ได้จำกัดอยู่ที่ภาพ แต่ยังครอบคลุมการแต่งเพลงและการวิจัยชีวการแพทย์ด้วย

ปัจจุบันโมเดลดิฟฟิวชันไม่ได้เป็นเพียงหัวข้อวิชาการ แต่ถูกนำไปใช้งานจริงแล้ว

การสร้างแบบจำลองเชิงกำเนิดและชั้น Self-Attention: DALL-E 3

ที่มา

ความก้าวหน้าสำคัญประการหนึ่งคือพัฒนาการของแบบจำลองเชิงกำเนิด โดยมีแนวทางการสุ่มตัวอย่าง เช่น แบบจำลองเชิงกำเนิดแบบออโตรีเกรสซีฟและกระบวนการดิฟฟิวชันเป็นตัวขับเคลื่อน วิธีเหล่านี้ช่วยปรับปรุงประสิทธิภาพของโมเดลสร้างภาพจากข้อความอย่างมาก การแบ่งการสร้างภาพออกเป็นขั้นตอนย่อยทำให้ปัญหาจัดการได้ง่ายขึ้นและโครงข่ายประสาทเรียนรู้ได้ง่ายขึ้น

ชั้น Self-Attention ก็มีบทบาทสำคัญ การซ้อนชั้นเหล่านี้ช่วยให้สร้างภาพได้โดยไม่ต้องพึ่งสมมติฐานเชิงพื้นที่โดยนัยที่มักมากับคอนโวลูชัน การเปลี่ยนแปลงนี้ทำให้ขยายขนาดและปรับปรุงโมเดลสร้างภาพจากข้อความได้อย่างน่าเชื่อถือ โดยอาศัยคุณสมบัติการขยายขนาดของ Transformer ที่มีความเข้าใจเป็นอย่างดี

ข้อท้าทายและแนวทางแก้ไขในการสร้างภาพ

แม้เทคโนโลยีก้าวหน้า การควบคุมภาพที่สร้างยังเป็นปัญหา โมเดลอาจไม่ทำตามข้อความคำสั่งอย่างใกล้ชิด จึงมีการเสนอวิธีใหม่ เช่น การปรับปรุงคำบรรยาย เพื่อยกระดับคุณภาพของคู่ข้อความและภาพในข้อมูลฝึก

การปรับปรุงคำบรรยายภาพ: แนวทางใหม่

การสร้างคำบรรยายภาพที่มีคุณภาพดีขึ้นช่วยฝึกโมเดลสร้างภาพจากข้อความให้แม่นยำขึ้น โดยใช้โมเดลบรรยายภาพที่มีประสิทธิภาพเพื่อสร้างคำอธิบายอย่างละเอียดและถูกต้อง เมื่อฝึกด้วยคำบรรยายที่ปรับปรุงแล้ว DALL-E 3 สามารถสร้างผลลัพธ์ที่ใกล้เคียงกับภาพถ่ายและงานศิลปะที่มนุษย์สร้างได้อย่างโดดเด่น

การฝึกด้วยข้อมูลสังเคราะห์

การฝึกด้วยข้อมูลสังเคราะห์ไม่ใช่แนวคิดใหม่ แต่จุดเด่นในที่นี้คือระบบใหม่ที่สร้างคำบรรยายภาพอย่างละเอียด การใช้คำบรรยายสังเคราะห์ฝึกโมเดลเชิงกำเนิดช่วยปรับปรุงความสามารถในการทำตามคำสั่งได้อย่างแม่นยำ

การประเมิน DALL-E 3

การประเมินหลายครั้งและการเปรียบเทียบกับ DALL-E 2 และ Stable Diffusion XL พบว่า DALL-E 3 มีประสิทธิภาพเหนือกว่า โดยเฉพาะงานที่ต้องทำตามคำสั่ง

การเปรียบเทียบโมเดลสร้างภาพจากข้อความในการประเมินต่าง ๆ

การประเมินอัตโนมัติและเบนช์มาร์กให้หลักฐานชัดเจนถึงความสามารถของโมเดล และตอกย้ำสถานะของโมเดลสร้างภาพจากข้อความระดับแนวหน้า

คำสั่งและความสามารถของ DALL-E 3

DALL-E 3 มีวิธีสร้างภาพที่เป็นเหตุเป็นผลและประณีตขึ้น ผลลัพธ์ผสานความแม่นยำกับจินตนาการให้สอดคล้องกับคำสั่ง

เมื่อเทียบกับรุ่นก่อน โมเดลนี้จัดวางวัตถุในฉากได้อย่างเป็นธรรมชาติและวาดลักษณะมนุษย์ได้แม่นยำขึ้น รวมถึงจำนวนนิ้วบนมือที่ถูกต้อง รายละเอียดเล็กน้อยก็ดีขึ้น พร้อมความละเอียดภาพที่สูงขึ้น ทำให้ผลลัพธ์สมจริงและดูเป็นมืออาชีพมากขึ้น

การแสดงตัวอักษรดีขึ้นอย่างมาก จากเดิมที่มักได้ข้อความไร้ความหมาย DALL-E 3 สามารถสร้างข้อความที่อ่านออกและมีรูปแบบเป็นมืออาชีพได้ในบางครั้ง รวมถึงโลโก้ที่ชัดเจนเป็นบางครั้ง

โมเดลเข้าใจคำขอภาพที่ซับซ้อนและมีรายละเอียดปลีกย่อยได้ดีขึ้น สามารถทำตามคำอธิบายที่มีหลายองค์ประกอบและคำแนะนำเฉพาะ เพื่อให้ได้ภาพที่สอดคล้องและมีองค์ประกอบเหมาะสม ต่อไปนี้คือคำสั่งที่ทดลองและผลลัพธ์

ออกแบบบรรจุภัณฑ์สำหรับผลิตภัณฑ์ชาออร์แกนิกหลายชนิด โดยเว้นพื้นที่สำหรับชื่อสินค้าและคำอธิบาย

ภาพจากคำสั่งข้อความของ DALL-E 3 (สังเกตว่าตัวสะกดบนโปสเตอร์ด้านซ้ายผิด)