การสอน AI ให้ให้คำวิจารณ์วิดีโอที่ดีขึ้น

แม้ว่าโมเดลภาษาและวิชาการขนาดใหญ่ (LVLMs) จะเป็นเครื่องมือที่มีประโยชน์ในการตีความบางส่วนของการ提出ทางวิทยาศาสตร์ที่ท้าทายหรือไม่ชัดเจน แต่ก็มีข้อจำกัดอยู่ในด้านหนึ่ง: การพิจารณาคุณสมบัติและคุณภาพของวิดีโอที่ร่วมมาด้วย* นี่เป็นประเด็นสำคัญของการยื่นขอ เพราะว่าเอกสารวิชาการมักพยายามสร้างความตื่นเต้นผ่านข้อความหรือภาพที่น่าดึงดูด – หรือทั้งสองอย่าง

ในกรณีของโครงการที่เกี่ยวข้องกับการสังเคราะห์วิดีโอ ผู้เขียนต้องแสดงวิดีโอเอาท์พุตที่แท้จริงหรือเสี่ยงต่อการถูกปฏิเสธ และในนิทรรศการเหล่านี้ ช่องว่างระหว่างคำกล่าวอ้างที่กล้าได้กล้าเสียและประสิทธิภาพในโลกแห่งความเป็นจริงมักจะปรากฏให้เห็นบ่อยที่สุด

ฉันอ่านหนังสือแล้ว ไม่ได้ดูหนัง

ปัจจุบัน โมเดลภาษาขนาดใหญ่ (LLMs) และโมเดลภาษาและวิชาการขนาดใหญ่ (LVLMs) ที่ได้รับความนิยมส่วนใหญ่จะไม่วิเคราะห์วิดีโอเนื้อหาทางตรง ในทางใดทางหนึ่ง ไม่ว่าจะเป็นคุณภาพหรือไม่ แต่จะวิเคราะห์เฉพาะข้อความที่เกี่ยวข้อง – และอาจจะแสดงความคิดเห็นหรือสิ่งอื่นๆ ที่เกี่ยวข้องกับข้อความเท่านั้น

การคัดค้านที่หลากหลายของ GPT-4o, Google Gemini และ Perplexity เมื่อถูกขอให้วิเคราะห์วิดีโอโดยตรงโดยไม่ใช้ข้อความหรือแหล่งข้อมูลอื่นๆ

อย่างไรก็ตาม โมเดลภาษาขนาดใหญ่อาจซ่อนหรือปฏิเสธความไม่สามารถวิเคราะห์วิดีโอจริงๆ ได้ เว้นแต่คุณจะเรียกร้องให้พวกมันทำเช่นนั้น:

หลังจากที่ถูกขอให้ให้การประเมินวิดีโอที่เกี่ยวข้องกับเอกสารวิจัยใหม่ และหลังจากที่ปลอมการให้ความคิดเห็นที่แท้จริง ChatGPT-4o สุดท้ายก็ยอมรับว่าไม่สามารถดูวิดีโอได้จริงๆ

แม้ว่าโมเดล เช่น ChatGPT-4o จะเป็นแบบหลายรูปแบบและสามารถวิเคราะห์ภาพถ่าย รายบุคคล (เช่น เฟรมที่ถูกดึงออกมาจากวิดีโอ ดูภาพด้านบน) ก็มีปัญหาอยู่บ้าง เช่น:

ประการแรก ไม่มีเหตุผลที่จะเชื่อถือความคิดเห็นเชิงคุณภาพของโมเดลภาษาขนาดใหญ่ เนื่องจากโมเดลภาษาขนาดใหญ่มักจะ ชอบที่จะทำให้ผู้คนพอใจ มากกว่าที่จะพูดอย่างจริงใจ

ประการที่สอง ปัญหาส่วนใหญ่ของวิดีโอที่สร้างขึ้นอาจมี ด้านเวลา ที่สูญเสียไปในเฟรมเดียว – ดังนั้นการตรวจสอบเฟรมเดียวจึงไม่มีประโยชน์

สุดท้าย โมเดลภาษาขนาดใหญ่สามารถให้ ‘การประเมินค่า’ ได้โดยอาศัยการเรียนรู้จากข้อความเท่านั้น เช่น ในเรื่องของภาพลวงตาหรือประวัติศาสตร์ศิลปะ ในกรณีนี้ ความรู้ในโดเมนที่ได้รับการฝึกอบรมจะช่วยให้โมเดลภาษาขนาดใหญ่สัมพันธ์ระหว่างคุณลักษณะภาพที่วิเคราะห์จากการเรียนรู้จาก มนุษย์:

โครงการ FakeVLM เสนอการตรวจจับภาพลวงตาที่มุ่งเป้าไปที่โมเดลภาษาและวิชาการหลายรูปแบบที่พิเศษ Source: https://arxiv.org/pdf/2503.14905

นี่ไม่ได้หมายความว่าโมเดลภาษาขนาดใหญ่ไม่สามารถรับข้อมูลจากวิดีโอได้โดยตรง ตัวอย่างเช่น โดยใช้ระบบ AI ที่เกี่ยวข้อง เช่น YOLO โมเดลภาษาขนาดใหญ่อาจระบุวัตถุในวิดีโอ – หรือสามารถทำได้โดยตรงหากได้รับการฝึกอบรมสำหรับ ฟังก์ชันหลายรูปแบบที่มากกว่าปกติ

แต่วิธีเดียวที่โมเดลภาษาขนาดใหญ่สามารถประเมินวิดีโอได้โดยอิงจากความชอบส่วนบุคคล (เช่น ‘ไม่ดูเหมือนจริงสำหรับฉัน’) คือการประยุกต์ใช้ ฟังก์ชันการสูญเสีย ที่อิงจากค่าเฉลี่ยหรือได้รับแจ้งจากความชอบของมนุษย์

ฟังก์ชันการสูญเสียเป็นเครื่องมือทางคณิตศาสตร์ที่ใช้ในการฝึกอบรมเพื่อวัดว่าผลลัพธ์ของโมเดลอยู่ห่างจากคำตอบที่ถูกต้องมากน้อยเพียงใด ฟังก์ชันการสูญเสียให้ข้อมูลที่ช่วยให้โมเดลเรียนรู้ได้: ความผิดพลาดที่มากขึ้นจะทำให้ฟังก์ชันการสูญเสียสูงขึ้น เมื่อฝึกอบรมดำเนินต่อไป โมเดลจะปรับพารามิเตอร์ของตนเพื่อลดความสูญเสียนี้และปรับปรุงความสามารถในการทำนายที่ถูกต้อง

ฟังก์ชันการสูญเสียใช้ทั้งในการควบคุมการฝึกอบรมของโมเดลและในการปรับเทคนิคที่ออกแบบมาเพื่อประเมินผลลัพธ์ของโมเดล AI (เช่น การประเมินเนื้อหาสังเคราะห์จากโมเดลวิดีโอที่สร้างขึ้น)

การมองเห็นแบบมีเงื่อนไข

หนึ่งในเมตริก/ฟังก์ชันการสูญเสียที่ได้รับความนิยมมากที่สุดคือ ระยะทาง Fréchet Inception (FID) ซึ่งประเมินคุณภาพของภาพที่สร้างขึ้นโดยการวัดความคล้ายคลึงกันระหว่างการกระจาย (ซึ่งหมายถึง ‘วิธีการกระจายภาพตามคุณลักษณะที่มองเห็น’) ของภาพที่สร้างขึ้นและของภาพจริง

โดยเฉพาะ FID คำนวณความแตกต่างทางสถิติ โดยใช้ค่าเฉลี่ยและ ความแปรผัน ระหว่างคุณลักษณะที่ถูกดึงออกมาจากทั้งสองชุดของภาพโดยใช้เครือข่ายการจำแนกประเภท Inception v3 (ซึ่งมักถูกวิพากษ์วิจารณ์) ค่า FID ที่ต่ำกว่าบ่งชี้ว่าภาพที่สร้างขึ้นมีความคล้ายคลึงกับภาพจริงมากขึ้น ซึ่งหมายถึงคุณภาพและความหลากหลายที่ดีกว่า

อย่างไรก็ตาม FID เป็นเชิงเปรียบเทียบและอาจถูกมองว่าเป็นแบบอ้างอิงตนเอง เพื่อแก้ไขปัญหานี้ การเข้าใกล้ ระยะทาง Fréchet ที่มีเงื่อนไข (CFD, 2021) แตกต่างจาก FID โดยการเปรียบเทียบภาพที่สร้างขึ้นกับภาพจริง และประเมินคะแนนตามวิธีที่ทั้งสองชุดตรงกับ เงื่อนไขเพิ่มเติม เช่น ลักษณะหรือภาพเข้า

ในทางนี้ CFD พิจารณาว่าภาพตรงกับเงื่อนไขที่ตั้งใจไว้หรือไม่ ไม่ใช่แค่ความสมจริงหรือความหลากหลายโดยรวมเท่านั้น

ตัวอย่างจาก CFD ในปี 2021 Source: https://github.com/Michael-Soloveitchik/CFID/

CFD เป็นส่วนหนึ่งของแนวโน้มที่จะรวมการวิเคราะห์คุณภาพของมนุษย์เข้ากับฟังก์ชันการสูญเสียและอัลกอริธึมการวัด แม้ว่าการเข้าใกล้ที่อิงจากมนุษย์จะรับประกันว่าผลลัพธ์ไม่จะ ‘ไม่มีจิตวิญญาณ’ หรือกลายเป็นกลไก แต่ก็ทำให้เกิดปัญหาหลายประการ เช่น ความเป็นไปได้ของการเอนเอียง การต้องอัปเดตอัลกอริธึมตามแนวปฏิบัติใหม่ และข้อจำกัดด้านงบประมาณ (ผู้ร่วมให้ข้อมูลที่มีน้อยกว่าจะทำให้การตัดสินใจมีความไม่แน่นอน ในขณะที่จำนวนผู้ร่วมให้ข้อมูลที่มากกว่าอาจป้องกันการอัปเดตที่มีประโยชน์เนื่องจากต้นทุน)

cFreD

สิ่งนี้นำเราไปสู่ เอกสารใหม่ จากสหรัฐอเมริกาที่เสนอ ระยะทาง Fréchet ที่มีเงื่อนไข (cFreD) ซึ่งเป็นแนวคิดใหม่เกี่ยวกับ CFD ที่ออกแบบมาเพื่อสะท้อนความชอบของมนุษย์ได้ดีขึ้นโดยการประเมินคุณภาพที่มองเห็นและความสอดคล้องกับข้อความ

ผลลัพธ์บางส่วนจากเอกสารใหม่: การจัดอันดับภาพ (1–9) โดยเมตริกต่างๆ สำหรับคำสั่ง "ห้องรับแขกที่มีโซฟาและคอมพิวเตอร์โน้ตบุ๊กที่วางอยู่บนโซฟา" สีเขียวเน้นย้ำถึงโมเดลที่ได้รับการจัดอันดับสูงสุดจากมนุษย์ (FLUX.1-dev) สีม่วงเน้นย้ำถึงโมเดลที่ต่ำที่สุด (SDv1.5) โปรดดูเอกสารต้นฉบับสำหรับผลลัพธ์ที่สมบูรณ์ ซึ่งเราไม่มีพื้นที่ในการนำเสนอที่นี่ Source: https://arxiv.org/pdf/2503.21721

ผู้เขียนโต้แย้งว่าวิธีการประเมินที่มีอยู่สำหรับการสังเคราะห์ภาพจากข้อความ เช่น คะแนน Inception (IS) และ FID ไม่สอดคล้องกับการตัดสินของมนุษย์เพราะว่าพวกมันเพียงแต่วัดคุณภาพของภาพโดยไม่พิจารณาว่าภาพเหล่านั้นสอดคล้องกับคำสั่งหรือไม่:

‘ตัวอย่างเช่น ลองพิจารณาเซตข้อมูลที่มีภาพสองภาพ: หนึ่งภาพของสุนัขและอีกภาพหนึ่งของแมว แต่ละภาพมีคำสั่งซื้อตามลำดับ ภาพที่สมบูรณ์แบบของโมเดลภาพจากข้อความที่สับสนในการจับคู่ (เช่น การสร้างแมวสำหรับคำสั่งสุนัขและในทางกลับกัน) จะได้คะแนน FID ที่ใกล้เคียงกับศูนย์ เนื่องจากการกระจายภาพรวมของสุนัขและแมวยังคงอยู่ แม้ว่าจะไม่สอดคล้องกับคำสั่งที่ตั้งใจไว้ก็ตาม ‘

‘เราแสดงให้เห็นว่า cFreD สามารถจับประเมินคุณภาพของภาพได้ดีขึ้นและให้ผลลัพธ์ที่สอดคล้องกับความชอบของมนุษย์มากขึ้น’

การทดสอบของเอกสารแสดงให้เห็นว่าเมตริกที่เสนอ cFreD ได้รับการจัดอันดับที่สอดคล้องกับความชอบของมนุษย์สูงสุดเมื่อเทียบกับ FID, FDDINOv2, CLIPScore และ CMMD ในชุดข้อมูลมาตรฐานสามชุด (PartiPrompts, HPDv2 และ COCO)

แนวคิดและวิธีการ

ผู้เขียนสังเกตว่ามาตรฐานทองคำในปัจจุบันสำหรับการประเมินโมเดลภาพจากข้อความเกี่ยวข้องกับการรวบรวมข้อมูลความชอบของมนุษย์ผ่านการเปรียบเทียบแบบสาธารณะ เช่นเดียวกับวิธีการที่ใช้กับโมเดลภาษาขนาดใหญ่ (เช่น LMSys Arena)

ตัวอย่างเช่น PartiPrompts Arena ใช้คำสั่งภาษาอังกฤษ 1,600 คำสั่ง โดยนำเสนอผู้เข้าร่วมด้วยคู่ของภาพจากโมเดลต่างๆ และขอให้เลือกภาพที่พวกเขาชอบ

ในทำนองเดียวกัน Text-to-Image Arena Leaderboard ใช้การเปรียบเทียบของผู้ใช้เพื่อสร้างการจัดอันดับโดยใช้คะแนน ELO อย่างไรก็ตาม การรวบรวมข้อมูลการประเมินของมนุษย์ประเภทนี้มีค่าใช้จ่ายสูงและช้า ซึ่งนำไปสู่การหยุดอัปเดตบนแพลตฟอร์มบางแห่ง เช่น PartiPrompts Arena

Artificial Analysis Image Arena Leaderboard ซึ่งจัดอันดับผู้นำปัจจุบันใน AI ที่สร้างภาพ Source: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

แม้ว่าจะมีวิธีการอื่นๆ ที่ฝึกอบรมจากข้อมูลความชอบของมนุษย์ แต่ประสิทธิภาพของวิธีการเหล่านี้สำหรับการประเมินโมเดลในอนาคยังคงไม่แน่นอน เนื่องจากความชอบของมนุษย์เปลี่ยนแปลงอย่างต่อเนื่อง ดังนั้น เมตริกอัตโนมัติ เช่น FID, CLIPScore และ cFreD ที่เสนอโดยผู้เขียนดูเหมือนจะยังคงเป็นเครื่องมือประเมินที่สำคัญ

ผู้เขียนสมมติว่าภาพที่แท้จริงและภาพที่สร้างขึ้นตามคำสั่งจะกระจายตัวตาม การกระจายตัวแบบกอชี แต่ละอันถูกกำหนดโดยค่าเฉลี่ยและความแปรผันตามเงื่อนไข cFreD วัดระยะทาง Fréchet ที่คาดหวังระหว่างการกระจายตัวเหล่านี้ตามคำสั่ง

โดยการรวมคำสั่งเข้าไปในลักษณะนี้ cFreD สามารถประเมินได้ทั้งความสมจริงของภาพและความสอดคล้องกับข้อความที่ให้ไว้

ข้อมูลและการทดสอบ

เพื่อประเมินว่า cFreD สอดคล้องกับความชอบของมนุษย์มากเพียงใด ผู้เขียนใช้การจัดอันดับภาพจากหลายโมเดลที่ได้รับคำสั่งเดียวกัน การประเมินของพวกเขาได้รับจากแหล่งที่มาสองแห่ง: ชุดการทดสอบ Human Preference Score v2 (HPDv2) ซึ่งรวมภาพที่สร้างขึ้น 9 ภาพและ 1 ภาพ COCO ที่แท้จริงต่อคำสั่ง และ PartiPrompts Arena ซึ่งมีผลลัพธ์จากโมเดล 4 แบบที่มี 1,600 คำสั่ง

ผู้เขียนรวบรวมจุดข้อมูลที่กระจายอยู่ใน Arena เป็นชุดข้อมูลเดียว ในกรณีที่ภาพที่แท้จริงไม่ได้รับการจัดอันดับสูงสุดในการประเมินของมนุษย์ พวกเขาจะใช้ภาพที่ได้รับการจัดอันดับสูงสุดเป็นภาพอ้างอิง

เพื่อทดสอบโมเดลใหม่ๆ พวกเขาตัวอย่าง 1,000 คำสั่งจากชุดฝึกอบรมและชุดตรวจสอบของ COCO โดยไม่ซ้ำกับ HPDv2 และสร้างภาพโดยใช้ 9 โมเดลจาก Leaderboard ของ Arena ภาพที่แท้จริงของ COCO ทำหน้าที่เป็นภาพอ้างอิงในส่วนนี้ของการประเมิน

วิธีการ cFreD ถูกประเมินผ่านเมตริกทางสถิติ 4 ประเภท: FID; FDDINOv2; CLIPScore; และ CMMD นอกจากนี้ยังถูกประเมินเทียบกับเมตริกที่เรียนรู้จากข้อมูลความชอบของมนุษย์ 4 เมตริก: Aesthetic Score; ImageReward; HPSv2; และ MPS

ผู้เขียนประเมินความสอดคล้องกับการตัดสินของมนุษย์จากทั้งด้านการจัดอันดับและคะแนน: สำหรับเมตริกแต่ละตัว คะแนนของโมเดลจะถูกรายงานและจัดอันดับตามความสอดคล้องกับผลลัพธ์การประเมินของมนุษย์ โดยใช้ DINOv2-G/14 สำหรับการฝังภาพและ ConvNext-B Text Encoder ของ OpenCLIP สำหรับการฝังข้อความ†

งานก่อนหน้านี้เกี่ยวกับการเรียนรู้ความชอบของมนุษย์จะวัดประสิทธิภาพโดยใช้ความถูกต้องในการจัดอันดับของรายการ ซึ่งคำนวณความถูกต้องในการจัดอันดับสำหรับแต่ละคู่ของภาพและข้อความก่อนที่จะเฉลี่ยผลลัพธ์

ผู้เขียนประเมิน cFreD โดยใช้ความถูกต้องในการจัดอันดับทั่วไป ซึ่งประเมินประสิทธิภาพในการจัดอันดับทั่วทั้งชุดข้อมูล สำหรับเมตริกทางสถิติ พวกเขาจะได้รับการจัดอันดับโดยตรงจากคะแนนที่ไม่ผ่านการประมวลผล และสำหรับเมตริกที่เรียนรู้จากข้อมูลความชอบของมนุษย์ พวกเขาจะเฉลี่ยการจัดอันดับที่กำหนดให้กับแต่ละโมเดลทั่วทั้งกลุ่มตัวอย่างก่อน แล้วกำหนดการจัดอันดับสุดท้ายจากค่าเฉลี่ยนี้

การทดสอบเริ่มต้นใช้เฟรมเวิร์ก 10 แบบ: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; และ LAFITE

การจัดอันดับและคะแนนของโมเดลบนชุดการทดสอบ HPDv2 โดยใช้เมตริกทางสถิติ (FID, FDDINOv2, CLIPScore, CMMD และ cFreD) และเมตริกที่เรียนรู้จากข้อมูลความชอบของมนุษย์ (Aesthetic Score, ImageReward, HPSv2 และ MPS) ผลลัพธ์ที่ดีที่สุดจะแสดงเป็นตัวหนา ผลที่ดีที่สุดเป็นอันดับสองจะถูกขีดเส้นใต้

เกี่ยวกับผลลัพธ์เหล่านี้ ผู้เขียนกล่าวว่า:

‘cFreD ได้รับการจัดอันดับที่สอดคล้องกับความชอบของมนุษย์สูงสุด โดยมีค่าสัมประสิทธิ์สอดคล้องที่ 0.97 ในหมู่เมตริกทางสถิติ cFreD มีค่าสัมประสิทธิ์สอดคล้องสูงสุดและเทียบเท่ากับ HPSv2 (0.94) ซึ่งเป็นโมเดลที่ฝึกอบรมโดยเฉพาะจากข้อมูลความชอบของมนุษย์ เนื่องจาก HPSv2 ได้รับการฝึกอบรมจากชุดฝึกอบรม HPSv2 ซึ่งรวมโมเดล 4 แบบจากชุดการทดสอบ และใช้ผู้ให้ข้อมูลเดียวกัน จึงเข้ารหัสความเอนเอียงของความชอบของมนุษย์โดยเฉพาะในบริบทนี้’

‘ในทางกลับกัน cFreD มีค่าสัมประสิทธิ์สอดคล้องที่สูงหรือสูงกว่าโดยไม่ต้องมีการฝึกอบรมจากข้อมูลความชอบของมนุษย์’

‘ผลลัพธ์เหล่านี้แสดงให้เห็นว่า cFreD ให้การจัดอันดับที่น่าเชื่อถือมากขึ้นเมื่อเปรียบเทียบกับเมตริกอัตโนมัติและเมตริกที่ฝึกอบรมจากข้อมูลความชอบของมนุษย์’

ในหมู่เมตริกที่ประเมิน cFreD ได้รับการจัดอันดับสูงสุด (91.1%) ซึ่งแสดงให้เห็นถึงความสอดคล้องกับการตัดสินของมนุษย์ที่แข็งแกร่ง

HPSv2 ตามมาอย่างใกล้ชิดด้วย 88.9% ในขณะที่ FID และ FDDINOv2 ให้คะแนนที่แข่งขันได้ 86.7% แม้ว่าเมตริกที่เรียนรู้จากข้อมูลความชอบของมนุษย์โดยทั่วไปจะสอดคล้องกับการประเมินของมนุษย์ แต่ cFreD ได้พิสูจน์แล้วว่าเป็นเมตริกที่ทนทานและน่าเชื่อถือที่สุด

ต่อไปนี้คือผลลัพธ์ของการทดสอบรอบที่สอง ซึ่งใช้ SDXL; Kandinsky 2; Würstchen; และ Karlo V1.0

การจัดอันดับและคะแนนของโมเดลบน PartiPrompt โดยใช้เมตริกทางสถิติ (FID, FDDINOv2, CLIPScore, CMMD และ cFreD) และเมตริกที่เรียนรู้จากข้อมูลความชอบของมนุษย์ (Aesthetic Score, ImageReward และ MPS) ผลลัพธ์ที่ดีที่สุดจะแสดงเป็นตัวหนา ผลที่ดีที่สุดเป็นอันดับสองจะถูกขีดเส้นใต้

ที่นี่ เอกสารระบุว่า:

‘ในหมู่เมตริกทางสถิติ cFreD มีค่าสัมประสิทธิ์สอดคล้องที่สูงสุดกับการประเมินของมนุษย์ โดยมีค่าสัมประสิทธิ์สอดคล้องที่ 0.73 FID และ FDDINOv2 ทั้งคู่มีค่าสัมประสิทธิ์สอดคล้องที่ 0.70 ในทางกลับกัน CLIPScore มีค่าสัมประสิทธิ์สอดคล้องที่ต่ำมาก (0.12) กับการประเมินของมนุษย์’

‘ในหมู่เมตริกที่เรียนรู้จากข้อมูลความชอบของมนุษย์ HPSv2 มีการจัดอันดับที่สอดคล้องกับสูงสุด โดยมีค่าสัมประสิทธิ์สอดคล้องที่ 0.83 ตามด้วย ImageReward (0.81) และ MPS (0.65) ผลลัพธ์เหล่านี้เน้นย้ำว่าในขณะที่ cFreD เป็นเมตริกอัตโนมัติที่ทนทาน แต่ HPSv2 ยังคงเป็นเมตริกที่มีประสิทธิภาพมากที่สุดในการจับแนวโน้มการประเมินของมนุษย์’

สุดท้าย ผู้เขียนทำการทดสอบบนชุดข้อมูล COCO โดยใช้โมเดลสร้างภาพจากข้อความ 9 โมเดลที่ทันสมัย: FLUX.1[dev]; Playgroundv2.5; Janus Pro; และรุ่น Stable Diffusion ที่แตกต่างกัน เช่น SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1 และ 1.5

การจัดอันดับความชอบของมนุษย์ถูกดึงมาจาก Text-to-Image Leaderboard และแสดงเป็นคะแนน ELO:

การจัดอันดับของโมเดลบนคำสั่ง COCO ที่ตัวอย่างแบบสุ่ม โดยใช้เมตริกอัตโนมัติ (FID, FDDINOv2, CLIPScore, CMMD และ cFreD) และเมตริกที่เรียนรู้จากข้อมูลความชอบของมนุษย์ (Aesthetic Score, ImageReward, HPSv2 และ MPS) คะแนนการจัดอันดับที่ต่ำกว่า 0.5 บ่งชี้ถึงคู่ที่ไม่สอดคล้องกันมากกว่าคู่ที่สอดคล้องกัน และผลลัพธ์ที่ดีที่สุดจะแสดงเป็นตัวหนา ผลที่ดีที่สุดเป็นอันดับสองจะถูกขีดเส้นใต้

เกี่ยวกับรอบนี้ ผู้วิจัยระบุว่า:

‘ในหมู่เมตริกทางสถิติ (FID, FDDINOv2, CLIP, CMMD และ cFreD ที่เราเสนอ) cFreD เป็นเพียงเมตริกที่มีค่าสัมประสิทธิ์สอดคล้องที่สูงกับการประเมินของมนุษย์ โดยมีค่าสัมประสิทธิ์สอดคล้องที่ 0.33 และคะแนนการจัดอันดับที่ไม่สำคัญที่ 66.67% ‘นี่ทำให้ cFreD เป็นเมตริกที่สามที่สอดคล้องกับมนุษย์มากที่สุด โดยตามหลังเฉพาะเมตริกที่เรียนรู้จากข้อมูลความชอบของมนุษย์ เช่น ImageReward, HPSv2 และ MPS’

‘ในทางกลับกัน เมตริกทางสถิติอื่นๆ แสดงให้เห็นถึงความสอดคล้องที่อ่อนแอกับการจัดอันดับ ELO และด้วยเหตุนี้จึงพลิกการจัดอันดับ โดยมีคะแนนการจัดอันดับต่ำกว่า 0.5 ‘ผลลัพธ์เหล่านี้เน้นย้ำว่า cFreD มีความไวต่อทั้งคุณภาพที่มองเห็นและความสอดคล้องกับคำสั่ง และเสริมความมั่นใจในคุณค่าของ cFreD ในฐานะตัวเลือกที่ไม่ต้องฝึกอบรมสำหรับการจัดอันดับโมเดลภาพจากข้อความ’

ผู้เขียนยังทดสอบ Inception V3 ในฐานะแบ็คโบนและพบว่ามันทำได้ดี แต่ถูกเอาชนะโดยแบ็คโบนแบบทรานส์ฟอร์เมอร์ เช่น DINOv2-L/14 และ ViT-L/16 ซึ่งสอดคล้องกับการจัดอันดับของมนุษย์มากขึ้น และอ้างว่าสิ่งนี้สนับสนุนให้แทนที่ InceptionV3 ในการตั้งค่าการประเมินสมัยใหม่

อัตราการชนะที่แสดงถึงความถี่ที่การจัดอันดับของแต่ละแบ็คโบนตรงกับการจัดอันดับที่แท้จริงของมนุษย์บนชุดข้อมูล COCO

สรุป

มันชัดเจนว่าวิธีการที่มีมนุษย์อยู่ในวงจรเป็นวิธีที่ดีที่สุดในการพัฒนาฟังก์ชันการวัดและฟังก์ชันการสูญเสีย แต่ขนาดและความถี่ของการอัปเดตที่จำเป็นสำหรับวิธีการเหล่านี้จะยังคงทำให้พวกมันไม่เหมาะสม – อาจจนกว่าการมีส่วนร่วมของสาธารณชนในการประเมินจะถูกกระตุ้นให้เกิดขึ้นอย่างกว้างขวาง หรือจนกว่าการบังคับใช้การมีส่วนร่วมในการประเมินจะเกิดขึ้น เช่นเดียวกับที่เคยเกิดขึ้นกับ CAPTCHAs

ความน่าเชื่อถือของระบบใหม่ที่ผู้เขียนเสนอ依赖การมีอยู่ของความสอดคล้องกับการตัดสินของมนุษย์ แม้ว่าจะมีระยะห่างมากกว่าหลายวิธีที่มีการมีส่วนร่วมของมนุษย์ และความชอบธรรมของ cFreD ยังคงอยู่ในข้อมูลความชอบของมนุษย์ (โดยธรรมชาติ เนื่องจากหากไม่มีมาตรฐานการเปรียบเทียบ การอ้างว่า cFreD สะท้อนการประเมินที่เหมือนมนุษย์จะเป็นไปไม่ได้)

การตรึงเกณฑ์ปัจจุบันของเราเกี่ยวกับ ‘ความสมจริง’ ในการผลิตที่สร้างขึ้นเป็นฟังก์ชันการวัดอาจเป็นข้อผิดพลาดในระยะยาว เนื่องจากคำจำกัดความของเราสำหรับแนวคิดนี้กำลังถูกโจมตีโดยคลื่นใหม่ของระบบ AI ที่สร้างขึ้น และเตรียมพร้อมสำหรับการทบทวนและปรับปรุงบ่อยๆ

* ในจุดนี้ ฉันจะรวมวิดีโอตัวอย่างเชิงสาธิตจากการส่งงานวิจัยล่าสุด แต่นั่นจะเป็นการไม่เหมาะสม – ใครก็ตามที่ใช้เวลาเกิน 10-15 นาทีในการค้นหาผลลัพธ์ของ AI ที่สร้างขึ้นบน Arxiv จะได้พบกับวิดีโอส่วนเสริมที่มีคุณภาพด้านการแสดงออกที่ไม่ดี ซึ่งบ่งชี้ว่าการยื่นขอจะไม่ได้รับการยกย่องว่าเป็นเอกสารที่สำคัญ

† มีการใช้โมเดลแบ็คโบนภาพทั้งหมด 46 โมเดลในการทดลอง ไม่ใช่ทั้งหมดที่ถูกพิจารณาในผลลัพธ์ที่แสดงในตารางและรูปภาพ โปรดดูภาคผนวกของเอกสารสำหรับรายการที่สมบูรณ์ โมเดลที่แสดงในตารางและรูปภาพได้รับการจัดอันดับแล้ว

เผยแพร่ครั้งแรกวันอังคารที่ 1 เมษายน 2025