มุมมองของ Anderson

โมเดลการเรียนรู้เชิงลึกอาจต้องดิ้นรนในการรับรู้ภาพที่สร้างโดย AI

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญโมเดล AI มีประสิทธิภาพต่ำกว่ามากเมื่อประมวลผลภาพสังเคราะห์เทียบกับภาพจริง…
ดูเพิ่มเติม
  • โมเดล AI มีประสิทธิภาพต่ำกว่ามากเมื่อประมวลผลภาพสังเคราะห์เทียบกับภาพจริง ซึ่งเสี่ยงต่อคุณภาพข้อมูลในอนาคต
  • ภาพสังเคราะห์อาจทำให้ความแม่นยำของโมเดลลดลง เนื่องจากถูกป้อนเข้าไปในชุดข้อมูลฝึกฝนอย่างล้นหลามโดยไม่มีป้ายกำกับ
  • โมเดลการจดจำวัตถุทั้งหมดที่ผ่านการทดสอบแสดงรูปแบบความล้มเหลวเหมือนกันในบางหมวดหมู่ของภาพที่สร้างโดย AI

ผลการวิจัยจากบทความใหม่ชี้ว่า AI ระดับแนวหน้ามีความสามารถในการรู้จำและตีความภาพที่ AI สังเคราะห์ขึ้นน้อยกว่ามนุษย์อย่างมาก ประเด็นนี้อาจน่ากังวลในอนาคตที่โมเดลการเรียนรู้ของเครื่องได้รับการฝึกด้วยข้อมูลสังเคราะห์มากขึ้น และอาจไม่ทราบว่าข้อมูลนั้นเป็นของจริงหรือไม่

โมเดลทำนาย resnext101_32x8d_wsl มีปัญหาในหมวดเบเกิล การทดสอบถือว่ารู้จำล้มเหลวเมื่อคำเป้าหมายหลัก ซึ่งในกรณีนี้คือเบเกิล ไม่อยู่ในผลทำนายห้าอันดับแรก

โมเดลทำนาย resnext101_32x8d_wsl มีปัญหาในหมวดเบเกิล การทดสอบถือว่ารู้จำล้มเหลวเมื่อคำเป้าหมายหลัก ซึ่งในกรณีนี้คือเบเกิล ไม่อยู่ในผลทำนายห้าอันดับแรก ที่มา: https://arxiv.org/pdf/2208.10760.pdf

งานวิจัยทดสอบกรอบการรู้จำที่ใช้คอมพิวเตอร์วิทัศน์สองประเภท ได้แก่ การรู้จำวัตถุและการตอบคำถามจากภาพ (VQA)

ซ้าย: ความสำเร็จและความล้มเหลวในการอนุมานของระบบรู้จำวัตถุ ขวา: งาน VQA ที่ใช้สำรวจความเข้าใจฉากและภาพของ AI อย่างลึกซึ้งและมีความหมายมากขึ้น

ซ้าย: ความสำเร็จและความล้มเหลวในการอนุมานของระบบรู้จำวัตถุ ขวา: งาน VQA ที่ใช้สำรวจความเข้าใจฉากและภาพของ AI อย่างลึกซึ้งและมีความหมายมากขึ้น ที่มา: https://arxiv.org/pdf/2105.05312.pdf และ https://arxiv.org/pdf/1505.00468.pdf

จากโมเดลแนวหน้าสิบตัวที่ทดสอบกับชุดข้อมูลคัดสรรซึ่งสร้างโดยกรอบสังเคราะห์ภาพ DALL-E 2 และ Midjourney โมเดลที่ดีที่สุดได้ความแม่นยำ top-5 เพียง 60% และ 80% ในการทดสอบสองประเภท ขณะที่ ImageNet ซึ่งฝึกจากข้อมูลโลกจริงที่ไม่ใช่ข้อมูลสังเคราะห์ ทำได้ 91% และ 99% ตามลำดับในหมวดเดียวกัน โดยมนุษย์มักทำได้สูงกว่านี้อย่างชัดเจน

เมื่อกล่าวถึงปัญหา การเปลี่ยนแปลงการกระจายข้อมูล หรือ Model Drift ซึ่งทำให้ความสามารถทำนายลดลงเมื่อเปลี่ยนจากข้อมูลฝึกเป็นข้อมูลจริง บทความระบุว่า:

“มนุษย์รู้จำภาพที่สร้างขึ้นและตอบคำถามเกี่ยวกับภาพเหล่านั้นได้ง่าย เราสรุปว่า ก) โมเดลเชิงลึกมีปัญหาในการทำความเข้าใจเนื้อหาที่สร้างขึ้นและอาจดีขึ้นหลังปรับแต่ง และ ข) การกระจายของภาพที่สร้างขึ้นกับภาพถ่ายจริงแตกต่างกันมาก ความแตกต่างนี้ดูเหมือนขึ้นอยู่กับหมวดหมู่”

ภาพสังเคราะห์จำนวนมากหลั่งไหลสู่อินเทอร์เน็ตอยู่แล้ว หลังจาก การเปิดซอร์สที่สร้างความฮือฮาเมื่อสัปดาห์ก่อน ของโมเดลอันทรงพลัง Stable Diffusion ซึ่งสังเคราะห์ภาพด้วย latent diffusion จึงเป็นไปได้ว่าเมื่อภาพปลอมไหลเข้าสู่ชุดข้อมูลมาตรฐานอุตสาหกรรม เช่น Common Crawl ภาพที่ไม่ใช่ของจริงอาจมีผลอย่างมากต่อความเปลี่ยนแปลงของความแม่นยำในแต่ละปี

แม้ข้อมูลสังเคราะห์จะได้รับการ ยกย่อง ว่าอาจช่วยกอบกู้งานวิจัยคอมพิวเตอร์วิทัศน์ที่ขาดข้อมูลและมักไม่มีทรัพยากรหรืองบประมาณสำหรับคัดสรรข้อมูลมหาศาล แต่ภาพ Stable Diffusion ที่หลั่งไหลมา รวมทั้งภาพสังเคราะห์ที่เพิ่มขึ้นนับจากการปรากฏตัวและ การทำตลาดเชิงพาณิชย์ ของ DALL-E 2 ไม่น่าจะมีป้ายกำกับ คำอธิบายประกอบ และแฮชแท็กที่ช่วยบอกว่าเป็นภาพปลอมครบทุกภาพ เมื่อระบบคอมพิวเตอร์วิทัศน์กวาดเก็บภาพจากอินเทอร์เน็ต

การพัฒนากรอบสังเคราะห์ภาพโอเพนซอร์สรวดเร็วกว่าความสามารถของเราในการจำแนกภาพจากระบบเหล่านี้มาก จึงเกิด ความสนใจที่เพิ่มขึ้นต่อการตรวจจับภาพปลอม คล้ายกับระบบ ตรวจจับ Deepfake แต่ประเมินภาพทั้งภาพแทน บางส่วนของใบหน้า

บทความใหม่ มีชื่อว่า โมเดลเชิงลึกเข้าใจภาพที่สร้างขึ้นได้ดีเพียงใด? เขียนโดย Ali Borji จาก Quintic AI สตาร์ทอัปด้านการเรียนรู้ของเครื่องในซานฟรานซิสโก

ข้อมูล

การศึกษานี้เกิดก่อนการเปิดตัว Stable Diffusion และทดลองกับข้อมูลจาก DALL-E 2 และ Midjourney ใน 17 หมวด รวมถึง ช้าง เห็ด พิซซ่า เพรทเซล รถแทรกเตอร์ และ กระต่าย

ตัวอย่างภาพที่ระบบรู้จำและ VQA ที่ทดสอบต้องระบุแนวคิดสำคัญที่สุดให้ได้

ตัวอย่างภาพที่ระบบรู้จำและ VQA ที่ทดสอบต้องระบุแนวคิดสำคัญที่สุดให้ได้

ภาพได้มาจากการค้นเว็บและ Twitter และเป็นไปตามนโยบายของ DALL-E 2 อย่างน้อย ในเวลานั้น จึงไม่มีภาพใบหน้ามนุษย์ เลือกเฉพาะภาพคุณภาพดีที่มนุษย์รู้จำได้

มีการคัดสรรภาพสองชุด ชุดหนึ่งสำหรับรู้จำวัตถุและอีกชุดสำหรับ VQA

จำนวนภาพในแต่ละหมวดที่ใช้ทดสอบการรู้จำวัตถุ

จำนวนภาพในแต่ละหมวดที่ใช้ทดสอบการรู้จำวัตถุ

ทดสอบการรู้จำวัตถุ

ทดสอบโมเดลสิบตัวซึ่งทั้งหมดฝึกบน ImageNet ได้แก่ AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit และ ResNext_WSL

บางคลาสในระบบทดสอบแบ่งย่อยละเอียดกว่าคลาสอื่น จึงต้องใช้วิธีเฉลี่ย ตัวอย่างเช่น ImageNet มีสามคลาสเกี่ยวกับนาฬิกา จึงต้องกำหนดเกณฑ์ตัดสินว่า หากมีนาฬิกาประเภทใดก็ได้อยู่ในป้ายกำกับห้าอันดับแรกของภาพ ให้ถือว่าประสบความสำเร็จ

ประสิทธิภาพของแต่ละโมเดลใน 17 หมวด

ประสิทธิภาพของแต่ละโมเดลใน 17 หมวด

โมเดลที่ดีที่สุดในรอบนี้คือ resnext101_32x8d_ws ได้เกือบ 60% สำหรับ top-1 คือคำทำนายอันดับแรกจากห้าคำตรงกับแนวคิดในภาพ และ 80% สำหรับ top-5 คือแนวคิดเป้าหมายอยู่ในห้าคำทำนายที่ตำแหน่งใดก็ได้

ผู้เขียนเสนอว่าผลที่ดีมาจากการฝึกทำนายแฮชแท็กบนสื่อสังคมแบบกำกับดูแลอย่างอ่อน อย่างไรก็ตาม ผลสูงสุดนี้ยังต่ำกว่าที่ ImageNet ทำกับข้อมูลจริงอย่างชัดเจน คือ 91% และ 99% เขาเสนอว่าสาเหตุคือการกระจายของภาพ ImageNet ซึ่งเก็บมาจากเว็บเช่นกัน ต่างจากภาพที่สร้างขึ้นมาก

ห้าหมวดที่ยากที่สุด เรียงตามความยาก ได้แก่ ว่าว เต่า กระรอก แว่นกันแดด และ หมวกนิรภัย บทความระบุว่าหมวด ว่าว มักสับสนกับ ลูกโป่ง ร่มชูชีพ และ ร่ม ทั้งที่มนุษย์แยกสิ่งเหล่านี้ได้ง่ายมาก

บางหมวด เช่น ว่าว และ เต่า ทำให้โมเดลทุกตัวล้มเหลว ขณะที่หมวดอื่น โดยเฉพาะ เพรทเซล และ รถแทรกเตอร์ ทำให้เกือบทุกโมเดลที่ทดสอบประสบความสำเร็จ

หมวดที่ให้ผลสุดขั้ว: บางหมวดเป้าหมายทำให้ทุกโมเดลสับสน ขณะที่บางหมวดทุกโมเดลระบุได้ค่อนข้างง่าย

หมวดที่ให้ผลสุดขั้ว: บางหมวดเป้าหมายทำให้ทุกโมเดลสับสน ขณะที่บางหมวดทุกโมเดลระบุได้ค่อนข้างง่าย

ผู้เขียนตั้งข้อสันนิษฐานว่าผลเหล่านี้แสดงว่าโมเดลรู้จำวัตถุทั้งหมดอาจมีจุดแข็งและจุดอ่อนคล้ายกัน

ทดสอบการตอบคำถามจากภาพ

ต่อมา ผู้เขียนทดสอบโมเดล VQA กับคำถามปลายเปิดและอิสระ โดยใช้คำถามทวิภาคที่ตอบได้เพียงใช่หรือไม่ บทความระบุว่าโมเดล VQA แนวหน้าล่าสุดทำได้ 95% บน ชุดข้อมูล VQA-v2

ในขั้นนี้ ผู้เขียนคัดสรรภาพ 50 ภาพและเขียนคำถาม 241 ข้อ มีคำตอบเชิงบวก 132 ข้อและเชิงลบ 109 ข้อ ความยาวคำถามเฉลี่ย 5.12 คำ

รอบนี้ใช้ โมเดล OFA ซึ่งเป็นกรอบที่ไม่ขึ้นกับงานและรูปแบบข้อมูลเพื่อทดสอบความครอบคลุมของงาน และเพิ่งทำคะแนนนำใน ชุดทดสอบ VQA-v2 test-std OFA ได้ความแม่นยำ 77.27% บนภาพที่สร้างขึ้น เทียบกับคะแนนของตัวเอง 94.7% บนชุด VQA-v2 test-std

ตัวอย่างคำถามและผลลัพธ์จากส่วน VQA ของการทดสอบ GT หมายถึง Ground Truth หรือคำตอบที่ถูกต้อง

ตัวอย่างคำถามและผลลัพธ์จากส่วน VQA ของการทดสอบ GT หมายถึง Ground Truth หรือคำตอบที่ถูกต้อง

ผู้เขียนเสนอว่าส่วนหนึ่งอาจเพราะภาพที่สร้างขึ้นมีแนวคิดเชิงความหมายที่ไม่มีในชุด VQA-v2 และคำถามที่เขียนขึ้นอาจยากกว่ามาตรฐานทั่วไปของ VQA-v2 แต่เขาเชื่อว่าสาเหตุแรกเป็นไปได้มากกว่า

LSD ในกระแสข้อมูล?

ความคิดเห็น

ภาพที่ AI สังเคราะห์เพิ่มขึ้นอย่างรวดเร็ว สามารถแสดงการผสมและความเป็นนามธรรมของแนวคิดหลักที่ไม่มีในธรรมชาติได้ทันที ทั้งที่การสร้างแบบเดิมจะใช้เวลามากจนไม่คุ้ม สิ่งนี้อาจสร้างปัญหาเฉพาะต่อระบบเก็บข้อมูลแบบกำกับดูแลอย่างอ่อน ซึ่งอาจจัดการความผิดพลาดอย่างเหมาะสมไม่ได้ เพราะไม่ได้ออกแบบมารองรับข้อมูลสังเคราะห์ที่ไม่มีป้ายกำกับปริมาณมหาศาล

ระบบเหล่านี้อาจจัดภาพสังเคราะห์แปลกประหลาดบางส่วนเข้าคลาสผิด เพียงเพราะภาพมีวัตถุที่ชัดเจนแต่ไม่ควรอยู่ร่วมกัน

นักบินอวกาศขี่ม้าอาจกลายเป็นภาพสัญลักษณ์เด่นที่สุดของระบบสังเคราะห์ภาพรุ่นใหม่ แต่ความสัมพันธ์ที่ไม่จริงเหล่านี้อาจเข้าสู่ระบบตรวจจับจริงได้หากไม่ระวัง

นักบินอวกาศขี่ม้าอาจกลายเป็นภาพสัญลักษณ์เด่นที่สุดของระบบสังเคราะห์ภาพรุ่นใหม่ แต่ความสัมพันธ์ที่ไม่จริงเหล่านี้อาจเข้าสู่ระบบตรวจจับจริงได้หากไม่ระวัง ที่มา: https://twitter.com/openai/status/1511714545529614338?lang=en

หากไม่ป้องกันในขั้นเตรียมข้อมูลก่อนฝึก กระบวนการอัตโนมัติเหล่านี้อาจสอนความเชื่อมโยงที่ไม่น่าเป็นไปได้หรือประหลาดอย่างมากให้ระบบเรียนรู้ของเครื่อง ลดประสิทธิผล และเสี่ยงส่งความเชื่อมโยงระดับสูงไปยังระบบปลายทางและหมวดย่อย

อีกทางหนึ่ง ภาพสังเคราะห์ที่ไม่สัมพันธ์กันอาจกดความแม่นยำของระบบรุ่นหลัง หากเกิดสถาปัตยกรรมใหม่หรือที่ปรับแก้เพื่อรองรับภาพสังเคราะห์แบบ เฉพาะกิจ แต่ครอบคลุมกว้างเกินไป

ไม่ว่ากรณีใด ภาพสังเคราะห์ในยุคหลัง Stable Diffusion อาจสร้างปัญหาให้งานวิจัยคอมพิวเตอร์วิทัศน์ ซึ่งความพยายามของภาคส่วนนี้เองทำให้ผลงานและความสามารถแปลกใหม่เหล่านี้เกิดขึ้น โดยเฉพาะเพราะมันคุกคามความหวังที่จะทำให้การเก็บและคัดสรรข้อมูลเป็นอัตโนมัติได้มากกว่าปัจจุบันมาก ประหยัดกว่าและใช้เวลาน้อยกว่ามาก

 

เผยแพร่ครั้งแรก 1 กันยายน 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai