มุมมองส่วนตัวเกี่ยวกับแนวโน้มวรรณกรรมด้านการมองเห็นของคอมพิวเตอร์ในปี 2024

ผมได้ติดตามการวิจัยเกี่ยวกับการมองเห็นของคอมพิวเตอร์ (CV) และการสร้างภาพที่ Arxiv และที่อื่นๆ มาเป็นเวลาประมาณ 5 ปี ดังนั้นแนวโน้มจึงชัดเจนเมื่อเวลาผ่านไป และเปลี่ยนแปลงทิศทางใหม่ทุกปี

ดังนั้น เมื่อปี 2024 กำลังจะสิ้นสุดลง ผมจึงคิดว่ามันเหมาะสมที่จะพิจารณาลักษณะใหม่หรือพัฒนาการใน Arxiv ในส่วนของ Computer Vision และ Pattern Recognition ส่วน ความสังเกตเหล่านี้ แม้ว่าจะได้รับความรู้จากหลายร้อยชั่วโมงในการศึกษาสถานการณ์ แต่ก็เป็นเพียงเรื่องราวส่วนตัว

การเพิ่มขึ้นอย่างต่อเนื่องของเอเชียตะวันออก

เมื่อสิ้นปี 2023 ผมได้สังเกตเห็นว่าเอกสารส่วนใหญ่ในหมวด ‘การสร้างเสียง’ มาจากจีนและภูมิภาคอื่นๆ ในเอเชียตะวันออก เมื่อสิ้นปี 2024 ผมได้สังเกตเห็นว่าสิ่งนี้ใช้ได้กับระบบการสร้างภาพและวิดีโอด้วย

สิ่งนี้ไม่ได้หมายความว่าจีนและประเทศใกล้เคียงมักจะผลิตผลงานที่ดีที่สุดเสมอไป (ในความเป็นจริง มี หลักฐาน ที่ตรงกันข้าม); ไม่ได้คำนึงถึงความเป็นไปได้ที่สูงในจีน (เช่นเดียวกับในตะวันตก) ที่ระบบใหม่ที่น่าสนใจและทรงพลังที่สุดอาจเป็นระบบที่เป็นกรรมสิทธิ์และถูกแยกออกจากวรรณกรรมวิจัย

แต่สิ่งนี้ชี้ให้เห็นว่าเอเชียตะวันออกชนะตะวันตกในด้านปริมาณ ในด้านนี้ สิ่งที่มีค่าขึ้นอยู่กับว่าคุณเชื่อในความเป็นไปได้ของ การยืนหยัดแบบเอดิสัน ซึ่งมักจะไม่มีประสิทธิภาพ เมื่อเผชิญกับอุปสรรคที่ยากจะ克服

มี อุปสรรค มากมายใน AI ที่สร้างสรรค์ และไม่ใช่เรื่องง่ายที่จะรู้ว่าอุปสรรคใดสามารถแก้ไขได้ด้วยการแก้ไขสถาปัตยกรรมที่มีอยู่ และอุปสรรคใดที่ต้องถูกพิจารณาใหม่ตั้งแต่ต้น

นักวิจัยจากเอเชียตะวันออกดูเหมือนจะผลิตเอกสารเกี่ยวกับการมองเห็นของคอมพิวเตอร์มากกว่า แต่ผมได้สังเกตเห็นการเพิ่มขึ้นของโครงการ ‘แฟรงเกนสไตน์’ – โครงการที่รวมผลงานก่อนหน้านี้เข้าด้วยกันโดยมีการเพิ่มนวัตกรรมทางสถาปัตยกรรมที่จำกัด (หรืออาจเป็นเพียงประเภทข้อมูลที่แตกต่าง)

ในปีนี้ จำนวนโครงการจากเอเชียตะวันออก (โดยเฉพาะจีนหรือความร่วมมือที่เกี่ยวข้องกับจีน) ที่ดูเหมือนจะขับเคลื่อนด้วยโควต้ามากกว่าความดีเยี่ยม เพิ่มขึ้นอย่างมาก ทำให้อัตราส่วนสัญญาณต่อเสียงรบกวนในสนามที่มีการสมัครสมาชิกมากขึ้น

ในขณะเดียวกัน จำนวนเอกสารจากเอเชียตะวันออกที่ได้รับความสนใจและความชื่นชมของผมในปี 2024 ก็เพิ่มขึ้นด้วย ดังนั้น หากสิ่งนี้เป็นเกมตัวเลข มันไม่ได้ล้มเหลว – แต่ก็ไม่ใช่เรื่องถูกๆ

การเพิ่มขึ้นของจำนวนการสมัคร

จำนวนเอกสารที่ส่งมาจากประเทศต่างๆ ทั่วโลกเพิ่มขึ้นอย่างเห็นได้ชัดในปี 2024

วันที่เผยแพร่ที่ได้รับความนิยมเปลี่ยนแปลงไปตลอดทั้งปี; ในขณะนี้เป็นวันพุธ เมื่อจำนวนเอกสารที่ส่งมาในหมวด Computer Vision และ Pattern Recognition มักจะอยู่ที่ประมาณ 300-350 ในวันเดียว ในช่วง ‘จุดสูงสุด’ (พฤษภาคม-สิงหาคม และตุลาคม-ธันวาคม คือ ฤดูกาลการประชุมและ ‘ฤดูกาลเส้นตายโควต้า’ ตามลำดับ)

นอกเหนือจากประสบการณ์ของผมเอง Arxiv รายงานว่ามี จำนวนการสมัครที่ส่งมาใหม่ ในเดือนตุลาคม 2024 โดยมีการสมัครใหม่ทั้งหมด 6,000 ราย และหมวด Computer Vision เป็นอันดับสองในหมวดที่ส่งมาหลัง Machine Learning

อย่างไรก็ตาม เนื่องจากหมวด Machine Learning ใน Arxiv มักใช้เป็นหมวด ‘เพิ่มเติม’ หรือหมวดรวม จึงชี้ให้เห็นว่า Computer Vision และ Pattern Recognition อาจเป็นหมวดที่ส่งมาเยอะที่สุดใน Arxiv

สถิติของ Arxiv แสดงให้เห็นว่าคอมพิวเตอร์เป็นหมวดที่ส่งมาเยอะที่สุด:

คอมพิวเตอร์ (CS) เป็นหมวดที่ส่งมาเยอะที่สุดใน Arxiv ในช่วง 5 ปีที่ผ่านมา Source: https://info.arxiv.org/about/reports/submission_category_by_year.html

รายงาน AI Index 2024 ของ Stanford University ซึ่งไม่สามารถรายงานสถิติใหม่ๆ ได้ ยังเน้นย้ำถึงการเพิ่มขึ้นของจำนวนเอกสารวิจัยที่ส่งมาเกี่ยวกับการเรียนรู้ของเครื่องจักรในหลายปีที่ผ่านมา:

โดยไม่มีตัวเลขสำหรับปี 2024 รายงานของ Stanford ยังคงแสดงให้เห็นการเพิ่มขึ้นของจำนวนเอกสารที่ส่งมาเกี่ยวกับการเรียนรู้ของเครื่องจักร Source: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

การแพร่กระจายของ Diffusion>Mesh Frameworks

แนวโน้มที่ชัดเจนอีกอย่างหนึ่งที่ปรากฏให้เห็นกับผมคือการเพิ่มขึ้นของเอกสารที่เกี่ยวข้องกับการใช้ Latent Diffusion Models (LDMs) เป็นเครื่องมือในการสร้างแบบจำลอง CGI ที่เป็นเมช

โครงการประเภทนี้รวมถึง InstantMesh3D, 3Dtopia, Diffusion², V3D, MVEdit, และ GIMDiffusion เป็นต้น

การสร้างและปรับปรุงเมชผ่านกระบวนการ Diffusion ใน 3Dtopia Source: https://arxiv.org/pdf/2403.02234

สิ่งนี้อาจถือเป็นการยอมรับโดยไม่ชัดเจนว่าระบบสร้างสรรค์ที่ใช้การแพร่กระจายยังคงมีอุปสรรคที่ยากจะ克服 และการแพร่กระจายถูกย่อให้เล็กลงในเทคโนโลยีและกระบวนการทำงานที่มีอายุ 30 ปีหรือมากกว่า

Stability.ai ผู้สร้าง Stable Diffusion โมเดลที่เปิดเผยแหล่งที่มา ได้เผยแพร่ Stable Zero123 ซึ่งสามารถใช้ Neural Radiance Fields (NeRF) ในการสร้างแบบจำลอง CGI ที่เป็นเมชที่สามารถใช้ในแพลตฟอร์มต่างๆ เช่น Unity, วิดีโอเกม, ความเป็นจริงเสมือน, และอื่นๆ

คลิกเพื่อเล่น รูปภาพที่สร้างโดย Stable Diffusion สามารถแปลงเป็นเมช CGI ที่มีเหตุผลได้ Source: https://www.youtube.com/watch?v=RxsssDD48Xc

3D Semantics

พื้นที่ AI ที่สร้างสรรค์แบ่งออกเป็นระบบ 2D และ 3D สำหรับการมองเห็นและการสร้างสรรค์ ตัวอย่างเช่น การสร้างภาพใบหน้า แม้ว่าจะแสดงถึงวัตถุ 3 มิติ แต่ก็ไม่ได้คำนวณพิกัด 3 มิติที่สามารถเข้าถึงได้เสมอไป

ระบบ FANAlign ที่ได้รับความนิยม ซึ่งใช้กันอย่างแพร่หลายในระบบ deepfake ในปี 2017 สามารถรองรับทั้งสองแนวทาง:

ด้านบน คือการสร้างภาพใบหน้า 2 มิติ โดยอาศัยคุณลักษณะและรูปทรงของใบหน้า ด้านล่าง คือการสร้างภาพใบหน้า 3 มิติ Source: https://github.com/1adrianb/face-alignment

ดังนั้น เช่นเดียวกับคำว่า ‘deepfake’ ที่กลายเป็นคำที่ไม่ชัดเจนและถูกยึดครอง ‘3D’ ก็กลายเป็นคำที่สับสนในงานวิจัยการมองเห็นของคอมพิวเตอร์

สำหรับผู้ใช้ คำว่า ‘3D’ มักจะหมายถึงสื่อที่มีความสามารถสเตอริโอ (เช่น ภาพยนตร์ที่ผู้ชมต้องสวมแว่นพิเศษ); สำหรับผู้สร้างภาพและแบบจำลอง คำว่า ‘3D’ หมายถึงความแตกต่างระหว่างงานศิลปะ 2 มิติ (เช่น ภาพวาดแนวคิด) และแบบจำลองเมชที่สามารถจัดการได้ใน ‘โปรแกรม 3 มิติ’ เช่น Maya หรือ Cinema4D

แต่ในงานวิจัยการมองเห็นของคอมพิวเตอร์ คำว่า ‘3D’ หมายถึงการมีพิกัดในระบบพิกัดคาร์ทีเซียนในพื้นที่ Latent ของโมเดล – ไม่ใช่ ว่ามันสามารถเข้าถึงหรือจัดการได้โดยตรงโดยผู้ใช้; อย่างน้อยก็ไม่ใช่โดยไม่ต้องมีระบบ CGI ที่มีการตีความ เช่น 3DMM หรือ FLAME

ดังนั้นแนวคิดเรื่อง diffusion>3D จึงไม่ชัดเจน; ไม่ใช่แค่ว่าภาพใดๆ (รวมถึงภาพถ่ายจริง) สามารถใช้เป็นข้อมูลเข้าเพื่อสร้างแบบจำลอง CGI ที่เป็นเมช แต่คำที่ไม่กำกวมมากกว่าคือ ‘เมช’

อย่างไรก็ตาม เพื่อเพิ่มความกำกวม การแพร่กระจาย จำเป็น เพื่อตีความภาพต้นฉบับให้เป็นเมช ในโครงการส่วนใหญ่ที่เกิดขึ้นใหม่ ดังนั้นคำอธิบายที่ดีกว่าคือ ภาพถึงเมช ในขณะที่ ภาพ>การแพร่กระจาย>เมช เป็นการอธิบายที่แม่นยำยิ่งขึ้น

แต่นั่นเป็นเรื่องที่ยากที่จะขายในห้องประชุมหรือในข่าวประชาสัมพันธ์ที่ออกแบบมาเพื่อดึงดูดผู้ลงทุน

หลักฐานของการหยุดชะงักทางสถาปัตยกรรม

แม้เมื่อเทียบกับปี 2023 ผลงานวิจัยในช่วง 12 เดือนที่ผ่านมามีการแสดงให้เห็นถึงความต้องการที่เพิ่มขึ้นในการเอาชนะข้อจำกัดที่ยากจะ克服ของการสร้างภาพที่ใช้การแพร่กระจาย

อุปสรรคหลักยังคงเป็นการสร้างวิดีโอที่มีความสอดคล้องและสม่ำเสมอในเรื่องราวและเวลา และการรักษาความสม่ำเสมอของการปรากฏตัวของตัวละครและวัตถุ – ไม่เพียงแต่ระหว่างคลิปวิดีโอต่างๆ แต่ยังรวมถึงระหว่างคลิปวิดีโอต่างๆ ด้วย

นวัตกรรมครั้งสำคัญที่สุดในระบบการสร้างภาพที่ใช้การแพร่กระจายคือการมาถึงของ LoRA ในปี 2022 ในขณะที่ระบบใหม่ๆ เช่น Flux ได้ปรับปรุงปัญหาเชิงขอบ เช่น ความไม่สามารถของ Stable Diffusion ในการสร้างข้อความภายในภาพที่สร้างขึ้น และคุณภาพภาพโดยรวมได้ปรับปรุง แต่เอกสารส่วนใหญ่ที่ผมศึกษาในปี 2024 เป็นเพียงการย้ายอาหารไปรอบๆ จาน

การหยุดชะงักเหล่านี้เกิดขึ้นมาก่อนหน้านี้ด้วยเครือข่ายที่สร้างสรรค์แบบกลับกัน (GANs) และด้วย Neural Radiance Fields (NeRF) ซึ่งไม่สามารถตอบสนองความสามารถที่ดูเหมือนจะสูงในตอนแรก – และทั้งสองอย่างนี้กำลังถูกนำมาใช้ในระบบที่มีการใช้งานมากกว่า (เช่น การใช้ NeRF ใน Stable Zero 123 ด้านบน) สิ่งนี้ดูเหมือนจะเกิดขึ้นกับโมเดลการแพร่กระจายเช่นกัน

การเปลี่ยนแปลงทิศทางของการวิจัย Gaussian Splatting

ดูเหมือนว่าเมื่อสิ้นปี 2023 วิธีการ 3D Gaussian Splatting (3DGS) ซึ่งถูกนำมาใช้ครั้งแรกในด้านการถ่ายภาพทางการแพทย์ในต้นทศวรรษ 1990 จะแซงหน้าระบบอัตโนมัติในการสร้างภาพมนุษย์ (เช่น การสร้างภาพใบหน้าและการถ่ายโอนอัตลักษณ์)

เอกสาร ASH ในปี 2023 สัญญาว่าจะมีมนุษย์ ที่มีร่างกายเต็ม ในขณะที่ Gaussian Avatars เสนอรายละเอียดที่ดีขึ้น (เมื่อเทียบกับวิธีการอัตโนมัติและวิธีการแข่งขันอื่นๆ) พร้อมด้วยการแสดงออกที่น่าประทับใจ

อย่างไรก็ตาม ในปีนี้มีเพียงไม่กี่ครั้งที่มีผลงานที่น่าประทับใจในการสร้างภาพมนุษย์โดยใช้ 3DGS; ส่วนใหญ่ของเอกสารที่ตั้งใจจะแก้ปัญหานี้เป็นเพียงการขยายผลงานด้านบนหรือไม่สามารถที่จะเกินความสามารถของพวกเขา

ในทางกลับกัน การเน้นไปที่ 3DGS ได้เปลี่ยนไปสู่การปรับปรุงความเป็นไปได้ทางสถาปัตยกรรมพื้นฐาน ซึ่งนำไปสู่การเพิ่มขึ้นของเอกสารที่เสนอถึงสภาพแวดล้อมภายนอกที่ดีขึ้นโดยใช้ 3DGS ความสนใจพิเศษ ได้รับการจัดสรรให้กับวิธีการ SLAM ที่ใช้ 3DGS เช่น Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat และอื่นๆ

โครงการที่พยายามที่จะดำเนินการต่อหรือขยายการสร้างภาพมนุษย์โดยใช้ 3DGS รวมถึง MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM และ Topo4D แม้ว่าจะมีอื่นๆ อีก แต่ไม่มีผลงานใดที่สามารถเทียบเท่ากับผลกระทบแรกของเอกสารที่เผยแพร่ในปลายปี 2023

ยุค ‘วีนสไตน์’ ของตัวอย่างทดสอบกำลังลดลงอย่างช้าๆ

การวิจัยจากเอเชียตะวันออกเฉียงใต้โดยทั่วไป (และจีนโดยเฉพาะ) มักจะใช้ตัวอย่างที่เป็นปัญหาในการเผยแพร่ในบทความทบทวน เนื่องจากมีเนื้อหาที่ ‘ร้อนแรง’ มากเกินไป

ไม่ว่าจะเป็นเพราะนักวิจัยในภูมิภาคนั้นพยายามดึงดูดความสนใจให้กับผลงานของตนหรือไม่ แต่ในช่วง 18 เดือนที่ผ่านมา มีเอกสารวิจัยเกี่ยวกับ AI ที่สร้างสรรค์ (ภาพและ/หรือวิดีโอ) ที่ใช้ตัวอย่างหญิงสาวและเด็กหญิงที่แต่งตัวไม่เหมาะสมเป็นตัวอย่าง

ตัวอย่างที่ไม่เหมาะสมของสิ่งนี้รวมถึง UniAnimate, ControlNext และแม้กระทั่งเอกสาร ‘แห้ง’ เช่น การประเมินความสอดคล้องของการเคลื่อนไหวโดย Fréchet Video Motion Distance (FVMD)

การแข่งขันใบหน้า

ตัวอย่างประเภทนี้ทับซ้อนกับการตระหนักว่ากระบวนการ AI ไม่ควรใช้ใบหน้าคนดังโดยไม่ได้รับอนุญาต – โดยเฉพาะอย่างยิ่งในการศึกษาที่ใช้ตัวอย่าง ที่มีคนดัง โดยทั่วไปเป็นคนดังหญิง และวางไว้ในบริบทที่น่าสงสัย

ตัวอย่างหนึ่งคือ AnyDressing ซึ่งไม่เพียงแต่ใช้ตัวละครหญิงอนิเมะที่อายุน้อยเท่านั้น แต่ยังใช้ใบหน้าคนดังที่มีชื่อเสียง เช่น มาริลิน มอนโร และคนดังในปัจจุบัน เช่น แอนน์ แฮทาเวย์ (ซึ่งได้ วิพากษ์วิจารณ์การใช้งานประเภทนี้อย่างรุนแรง)

การใช้ใบหน้าคนดังโดยไม่ได้รับอนุญาตยังคงพบเห็นได้บ่อยในเอกสารจากเอเชียตะวันออกเฉียงใต้ แม้ว่าการปฏิบัตินี้จะลดลงเล็กน้อย Source: https://crayon-shinchan.github.io/AnyDressing/

ในเอกสารจากตะวันตก การปฏิบัตินี้ลดลงอย่างเห็นได้ชัดในปี 2024 นำโดยการเผยแพร่จาก FAANG และหน่วยวิจัยระดับสูงอื่นๆ เช่น OpenAI ผู้เล่นหลักเหล่านี้ดูเหมือนจะไม่เต็มใจที่จะแสดงถึงคนดังหรือคนจริงๆ ในรูปแบบที่เหมือนจริง

แม้ว่าระบบที่พวกเขากำลังสร้าง (เช่น Imagen และ Veo2) มีความสามารถในการสร้างภาพดังกล่าว แต่ตัวอย่างที่แสดงจากโครงการ AI ที่สร้างสรรค์จากตะวันตกลดลงเหลือเพียงภาพ ‘น่ารัก’ และ ‘ปลอดภัย’ เท่านั้น

แม้ว่า Imagen จะมีความสามารถในการสร้างภาพที่เหมือนจริง แต่ตัวอย่างที่เผยแพร่โดย Google Research มักจะเป็นภาพ ‘ครอบครัว’ ที่ไม่เหมือนจริง – ภาพคนดังถูกหลีกเลี่ยงหรือมีตัวอย่างที่จำกัด Source: https://imagen.research.google/

การล้างใบหน้า

ในเอกสาร CV จากตะวันตก การหลีกเลี่ยงการสร้างภาพคนดังหรือคนจริงๆ นี้เห็นได้ชัดเจนในระบบ ‘ปรับแต่ง’ – วิธีการที่สามารถสร้างภาพที่เหมือนจริงของบุคคลโดยเฉพาะได้หลายครั้ง (เช่น LoRA และ DreamBooth ที่เก่ากว่า)

ตัวอย่างรวมถึง การฝังตัวภาพที่มองเห็นได้, LoRA-Composer, InstructBooth ของ Google และอื่นๆ อีกมากมาย

Google’s InstructBooth มุ่งเน้นไปที่ ‘ความน่ารัก’ แม้ว่าประวัติศาสตร์จะแสดงให้เห็นว่าผู้ใช้สนใจที่จะสร้างคนดังหรือคนจริงๆ มากกว่าคนดังหรือสัตว์ Source: https://sites.google.com/view/instructbooth

การเพิ่มขึ้นของ ‘ตัวอย่างที่น่ารัก’ นี้เห็นได้ชัดเจนในโครงการวิจัย CV และการสร้างสรรค์อื่นๆ เช่น Comp4D, V3D, DesignEdit, UniEdit, FaceChain (ซึ่งยอมรับถึงความต้องการของผู้ใช้ที่เป็นจริงมากกว่าใน GitHub page ของมัน) และ DPG-T2I เป็นต้น

ความง่ายในการสร้างระบบเหล่านี้ (เช่น LoRAs) โดยผู้ใช้ที่บ้านโดยใช้ฮาร์ดแวร์ที่มีความสามารถปานกลางได้นำไปสู่การเพิ่มขึ้นของโมเดลคนดังที่สามารถดาวน์โหลดได้ฟรี ที่โดเมน civit.ai และชุมชน

การใช้งานที่ไม่เหมาะสมยังคงสามารถทำได้โดยการเผยแพร่สาธารณะของสถาปัตยกรรม เช่น Stable Diffusion และ Flux

แม้ว่าจะเป็นไปได้ที่จะ ‘เจาะ’ ฟังก์ชันความปลอดภัยของระบบ T2I และ T2V เพื่อสร้างเนื้อหาที่ถูกแบนโดยเงื่อนไขการใช้งานของแพลตฟอร์ม แต่ช่องว่างระหว่างความสามารถที่ถูกจำกัดของระบบที่ดีที่สุด (เช่น RunwayML และ Sora) และความสามารถที่ไม่จำกัดของระบบที่มีประสิทธิภาพ (เช่น Stable Video Diffusion, CogVideo และการ_deploy_ ในท้องถิ่นของ Hunyuan) ไม่ได้ลดลงอย่างที่หลายคนเชื่อ

แทนที่จะกลายเป็นระบบที่ไร้ประโยชน์; ระบบ T2V ที่มีราคาแพงและขนาดใหญ่อาจกลายเป็นระบบที่ถูกจำกัดมากเกินไปเนื่องจากความกลัวการฟ้องร้อง ในขณะที่การขาดโครงสร้างพื้นฐานในการออกใบอนุญาตและความดูแลของชุดข้อมูลในระบบที่เปิดเผยแหล่งที่มาอาจทำให้ระบบเหล่านี้ถูกปิดออกจากตลาดเมื่อมีการควบคุมที่เข้มงวดมากขึ้น

เผยแพร่ครั้งแรกวันอังคารที่ 24 ธันวาคม 2024