Một cái nhìn cá nhân về xu hướng văn học tầm nhìn máy tính năm 2024

Tôi đã liên tục theo dõi cảnh nghiên cứu tầm nhìn máy tính (CV) và tổng hợp hình ảnh tại Arxiv và các nơi khác trong khoảng năm năm, vì vậy các xu hướng trở nên rõ ràng theo thời gian, và chúng thay đổi theo hướng mới mỗi năm.

Do đó, khi năm 2024 sắp kết thúc, tôi nghĩ rằng nên xem xét một số đặc điểm mới hoặc đang phát triển trong các bài nộp trên Arxiv trong phần Tầm nhìn máy tính và Nhận dạng mẫu. Những quan sát này, mặc dù được thông báo bởi hàng trăm giờ nghiên cứu, nhưng chỉ là anecdata.

Sự trỗi dậy liên tục của Đông Á

Vào cuối năm 2023, tôi đã nhận thấy rằng đa số các tài liệu trong thể loại tổng hợp giọng nói đến từ Trung Quốc và các khu vực khác ở Đông Á. Vào cuối năm 2024, tôi phải quan sát (một cách anecdotally) rằng điều này hiện cũng áp dụng cho cảnh nghiên cứu tổng hợp hình ảnh và video.

Điều này không có nghĩa là Trung Quốc và các quốc gia lân cận luôn luôn tạo ra công việc tốt nhất (thực tế, có một số bằng chứng ngược lại); cũng không tính đến khả năng cao ở Trung Quốc (giống như ở phương Tây) rằng một số hệ thống mới phát triển mạnh và thú vị nhất đang là độc quyền và bị loại khỏi tài liệu nghiên cứu.

Tuy nhiên, điều này cho thấy rằng Đông Á đang vượt qua phương Tây về số lượng. Điều đó có giá trị tùy thuộc vào mức độ bạn tin vào tính khả thi của sự kiên nhẫn theo phong cách Edison, điều này thường chứng tỏ không hiệu quả trước những chướng ngại vật không thể vượt qua.

Có nhiều chướng ngại vật như vậy trong trí tuệ nhân tạo tổng hợp, và không dễ biết được những chướng ngại vật nào có thể được giải quyết bằng cách giải quyết các kiến trúc hiện có, và những chướng ngại vật nào sẽ cần phải được xem xét lại từ đầu.

Mặc dù các nhà nghiên cứu từ Đông Á dường như đang tạo ra nhiều bài báo về tầm nhìn máy tính hơn, tôi đã nhận thấy sự gia tăng tần suất của các dự án theo kiểu “Frankenstein” – các sáng kiến bao gồm sự kết hợp của các công việc trước đó, trong khi thêm hạn chế về tính mới của kiến trúc (hoặc có thể chỉ là một loại dữ liệu khác).

Năm nay, số lượng lớn hơn các bài báo từ Đông Á (chủ yếu là các hợp tác liên quan đến Trung Quốc) dường như bị thúc đẩy bởi hạn ngạch hơn là do giá trị – làm tăng đáng kể tỷ lệ tín hiệu trên nhiễu trong một lĩnh vực đã quá đăng ký.

Đồng thời, số lượng lớn hơn các bài báo từ Đông Á cũng đã thu hút sự chú ý và钦佩 của tôi trong năm 2024. Vì vậy, nếu tất cả đều là một trò chơi về số lượng, thì nó không thất bại – nhưng cũng không rẻ.

Tăng trưởng về số lượng các bài nộp

Số lượng các bài báo, trên tất cả các quốc gia, rõ ràng đã tăng vào năm 2024.

Ngày xuất bản phổ biến nhất thay đổi trong suốt năm; hiện tại là thứ ba, khi số lượng các bài nộp cho phần Tầm nhìn máy tính và Nhận dạng mẫu thường khoảng 300-350 trong một ngày, trong các giai đoạn “đỉnh” (tháng 5-8 và tháng 10-12, tức là mùa hội nghị và “mùa hạn ngạch hàng năm”, tương ứng).

Beyond kinh nghiệm của riêng tôi, Arxiv tự báo cáo một số lượng các bài nộp kỷ lục trong tháng 10 năm 2024, với 6000 bài nộp mới, và phần Tầm nhìn máy tính là phần thứ hai được nộp nhiều nhất sau Học máy.

Tuy nhiên, vì phần Học máy tại Arxiv thường được sử dụng như một siêu thể loại “thêm” hoặc tổng hợp, điều này cho thấy rằng Tầm nhìn máy tính và Nhận dạng mẫu thực sự là thể loại được nộp nhiều nhất trên Arxiv.

Thống kê của chính Arxiv certainly depicts khoa học máy tính là người dẫn đầu về số lượng các bài nộp:

Khoa học máy tính (CS) thống trị thống kê về số lượng các bài nộp trên Arxiv trong năm năm qua. Nguồn: https://info.arxiv.org/about/reports/submission_category_by_year.html

Báo cáo Chỉ số Trí tuệ nhân tạo 2024 của Đại học Stanford, mặc dù không thể báo cáo về các thống kê mới nhất, cũng nhấn mạnh sự gia tăng đáng kể về số lượng các bài báo học thuật về học máy trong những năm gần đây:

Mặc dù không có số liệu cho năm 2024, báo cáo của Stanford vẫn cho thấy sự gia tăng đáng kể về số lượng các bài nộp về học máy. Nguồn: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Các khuôn khổ Diffusion>Mesh phổ biến

Một xu hướng rõ ràng khác mà tôi nhận thấy là sự gia tăng lớn về số lượng các bài báo liên quan đến việc tận dụng Mô hình khuếch tán tiềm ẩn (LDMs) như các máy phát sinh các mô hình CGI truyền thống dựa trên lưới.

Các dự án thuộc loại này bao gồm InstantMesh3D, 3Dtopia, Diffusion², V3D, MVEdit và GIMDiffusion, trong số nhiều dự án khác.

Tạo lưới và tinh chỉnh qua một quá trình dựa trên khuếch tán trong 3Dtopia. Nguồn: https://arxiv.org/pdf/2403.02234

Chiều hướng nghiên cứu mới nổi này có thể được xem là một sự nhượng bộ ngầm về tính không thể vượt qua của các hệ thống tổng hợp như mô hình khuếch tán, những hệ thống mà chỉ hai năm trước đây được coi là một giải pháp thay thế tiềm năng cho tất cả các hệ thống mà các mô hình khuếch tán>mesh đang cố gắng tạo ra; và việc khuếch tán đang bị giới hạn trong vai trò của một công cụ trong các công nghệ và quy trình làm việc có từ ba mươi năm trước.

Stability.ai, người tạo ra mô hình Stable Diffusion mã nguồn mở, vừa phát hành Stable Zero123, có thể, trong số các tính năng khác, sử dụng một Trường tia thần kinh (NeRF) để giải thích một hình ảnh được tạo ra bởi AI như một cầu nối để tạo ra một mô hình CGI dựa trên lưới rõ ràng có thể được sử dụng trong các lĩnh vực CGI như Unity, trong các trò chơi video, thực tế ảo tăng cường và trên các nền tảng khác yêu cầu tọa độ 3D rõ ràng, trái ngược với các tọa độ ẩn của các hàm liên tục.

Click để phát.Hình ảnh được tạo ra trong Stable Diffusion có thể được chuyển đổi thành lưới CGI hợp lý. Ở đây, chúng ta thấy kết quả của một quy trình hình ảnh>CGI sử dụng Stable Zero 123. Nguồn: https://www.youtube.com/watch?v=RxsssDD48Xc

3D Semantics

Không gian trí tuệ nhân tạo tổng hợp tạo ra sự khác biệt giữa các hệ thống 2D và 3D về tầm nhìn và các hệ thống tổng hợp. Ví dụ, các khuôn khổ đánh dấu khuôn mặt, mặc dù đại diện cho các đối tượng 3D (khuôn mặt) trong tất cả các trường hợp, nhưng không nhất thiết phải tính toán các tọa độ 3D có thể định địa chỉ.

Hệ thống FANAlign phổ biến, được sử dụng rộng rãi trong các kiến trúc deepfake năm 2017 (và các kiến trúc khác), có thể hỗ trợ cả hai cách tiếp cận này:

Trên, các điểm mốc 2D được tạo ra dựa trên các đường nét và tính năng khuôn mặt được nhận ra. Dưới, chúng được hợp lý hóa thành không gian 3D X/Y/Z. Nguồn: https://github.com/1adrianb/face-alignment

Vậy, giống như ‘deepfake’ đã trở thành một thuật ngữ mơ hồ và bị lợi dụng, ‘3D’ cũng đã trở thành một thuật ngữ gây nhầm lẫn trong nghiên cứu tầm nhìn máy tính.

Đối với người tiêu dùng, nó thường biểu thị cho các phương tiện truyền thông stereo (như các bộ phim mà người xem phải đeo kính đặc biệt); đối với các nhà thực hành hiệu ứng hình ảnh và người mẫu, nó cung cấp sự khác biệt giữa các tác phẩm nghệ thuật 2D (như các bản phác thảo khái niệm) và các mô hình dựa trên lưới có thể được thao tác trong một ‘chương trình 3D’ như Maya hoặc Cinema4D.

Nhưng trong tầm nhìn máy tính, nó đơn giản có nghĩa là một hệ tọa độ Cartesian tồn tại ở đâu đó trong không gian tiềm ẩn của mô hình – không có nghĩa là nó có thể được định địa chỉ hoặc thao tác trực tiếp bởi người dùng; ít nhất, không phải là không có các hệ thống CGI giải thích thứ ba như 3DMM hoặc FLAME.

Vì vậy, khái niệm về diffusion>3D là không chính xác; không chỉ bất kỳ loại hình ảnh nào (bao gồm cả hình ảnh thực) có thể được sử dụng làm đầu vào để tạo ra một mô hình CGI tổng hợp, mà thuật ngữ ‘lưới’ chính xác hơn.

Tuy nhiên, để làm cho sự mơ hồ trở nên tồi tệ hơn, sự khuếch tán là cần thiết để giải thích hình ảnh nguồn thành một lưới, trong đa số các dự án mới nổi. Vì vậy, một mô tả tốt hơn có thể là hình ảnh>lưới, trong khi hình ảnh>diffusion>lưới là một mô tả chính xác hơn.

Nhưng đó là một việc bán hàng khó khăn tại một cuộc họp hội đồng quản trị, hoặc trong một thông cáo báo chí được thiết kế để thu hút các nhà đầu tư.

Bằng chứng về sự bế tắc kiến trúc

Ngay cả khi so sánh với năm 2023, mùa thu hoạch các bài báo trong 12 tháng qua cho thấy sự tuyệt vọng ngày càng tăng về việc loại bỏ các giới hạn thực tế khó khăn về sự tạo ra dựa trên khuếch tán.

Chướng ngại vật chính vẫn là việc tạo ra video nhất quán về mặt tường thuật và thời gian, và duy trì sự xuất hiện nhất quán của các nhân vật và đối tượng – không chỉ trên các đoạn video khác nhau, mà thậm chí trên thời gian chạy ngắn của một đoạn video được tạo ra.

Đột phá cuối cùng trong tổng hợp dựa trên khuếch tán là sự ra đời của LoRA vào năm 2022. Mặc dù các hệ thống mới hơn như Flux đã cải thiện một số vấn đề ngoại lệ, chẳng hạn như sự không thể trước đây của Stable Diffusion trong việc tái tạo nội dung văn bản trong một hình ảnh được tạo ra, và chất lượng hình ảnh tổng thể đã được cải thiện, đa số các bài báo mà tôi đã nghiên cứu trong năm 2024 về cơ bản chỉ là di chuyển thức ăn xung quanh trên đĩa.

Những tình huống bế tắc như vậy đã xảy ra trước đây, với các Mạng đối抗 (GANs) và các Trường tia thần kinh (NeRF), cả hai đều không đáp ứng được tiềm năng ban đầu của chúng – và cả hai đều đang được sử dụng ngày càng nhiều trong các hệ thống thông thường (chẳng hạn như việc sử dụng NeRF trong Stable Zero 123, xem trên). Điều này cũng dường như đang xảy ra với các mô hình khuếch tán.

Nghiên cứu Gaussian Splatting chuyển hướng

Dường như vào cuối năm 2023 rằng phương pháp raster hóa 3D Gaussian Splatting (3DGS), được ra mắt như một kỹ thuật hình ảnh y tế vào đầu những năm 1990, sẽ đột ngột vượt qua các hệ thống dựa trên bộ tự động hóa trong các thử thách tổng hợp hình ảnh con người (chẳng hạn như mô phỏng và tái tạo khuôn mặt, cũng như chuyển giao danh tính).

Bài báo ASH năm 2023 hứa hẹn con người 3DGS toàn thân, trong khi Gaussian Avatars cung cấp chi tiết được cải thiện đáng kể (so với các phương pháp tự động hóa và các phương pháp cạnh tranh khác), cùng với khả năng tái diễn xuất chéo ấn tượng.

Năm nay, tuy nhiên, đã tương đối thiếu những khoảnh khắc đột phá như vậy cho tổng hợp con người 3DGS; hầu hết các bài báo giải quyết vấn đề này đều là phái sinh của các công việc trên hoặc không thể vượt qua khả năng của chúng.

Thay vào đó, sự nhấn mạnh vào 3DGS đã tập trung vào việc cải thiện tính khả thi kiến trúc cơ bản của nó, dẫn đến một loạt các bài báo cung cấp các môi trường bên ngoài 3DGS được cải thiện. Sự chú ý đặc biệt đã được dành cho các phương pháp 3DGS Simultaneous Localization and Mapping (SLAM), trong các dự án như Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, trong số nhiều dự án khác.

Những dự án đã cố gắng tiếp tục hoặc mở rộng tổng hợp con người dựa trên splat bao gồm MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM và Topo4D. Mặc dù có những dự án khác ngoài kia, nhưng không dự án nào trong số này có tác động ban đầu như các bài báo xuất hiện vào cuối năm 2023.

‘Thời đại Weinstein’ của các mẫu thử nghiệm đang trong (chậm) suy giảm

Nghiên cứu từ Đông Nam Á nói chung (và Trung Quốc nói riêng) thường có các mẫu thử nghiệm mà việc xuất bản lại trong một bài đánh giá là vấn đề, vì chúng có nội dung hơi ‘nóng’.

Cho dù điều này là do các nhà khoa học ở khu vực này của thế giới đang cố gắng thu hút sự chú ý cho công việc của họ hay không, thì đó là một vấn đề đang được tranh luận; nhưng trong 18 tháng qua, ngày càng nhiều bài báo về trí tuệ nhân tạo tổng hợp (hình ảnh và/hoặc video) đã mặc định sử dụng phụ nữ và trẻ em gái trẻ và ít quần áo trong các ví dụ về dự án. Các ví dụ về điều này bao gồm UniAnimate, ControlNext và thậm chí các bài báo rất ‘khô’ như Đánh giá sự nhất quán của chuyển động bằng khoảng cách chuyển động video Fréchet (FVMD).

Điều này phù hợp với xu hướng chung của các cộng đồng subreddit và các cộng đồng khác đã tập hợp xung quanh các Mô hình khuếch tán tiềm ẩn (LDMs), nơi Quy tắc 34 vẫn còn rất phổ biến.

Tranh tài khuôn mặt người nổi tiếng

Loại ví dụ không phù hợp này trùng với sự nhận thức ngày càng tăng rằng các quy trình AI không nên khai thác tùy tiện các khuôn mặt người nổi tiếng – đặc biệt là trong các nghiên cứu sử dụng các ví dụ không có sự chỉ trích các khuôn mặt người nổi tiếng hấp dẫn, thường là nữ, và đặt chúng vào các ngữ cảnh đáng ngờ.

Một ví dụ là AnyDressing, ngoài việc có các nhân vật anime nữ trẻ, còn sử dụng tự do các khuôn mặt của các người nổi tiếng cổ điển như Marilyn Monroe, và các người nổi tiếng hiện tại như Anne Hathaway (người đã lên án việc sử dụng này rất nhiệt tình).

Sử dụng tùy tiện các người nổi tiếng hiện tại và ‘cổ điển’ vẫn còn khá phổ biến trong các bài báo từ Đông Nam Á, mặc dù việc này đang giảm dần. Nguồn: https://crayon-shinchan.github.io/AnyDressing/

Trong các bài báo ‘phương Tây’, việc thực hành này đã giảm đáng kể trong suốt năm 2024, dẫn đầu bởi các bản phát hành lớn từ FAANG và các cơ quan nghiên cứu cấp cao khác như OpenAI. Nhận thức rõ về khả năng kiện tụng trong tương lai, những người chơi lớn này dường như ngày càng không sẵn sàng thể hiện thậm chí người nổi tiếng hư cấu có độ thực tế cao.

Mặc dù các hệ thống mà họ đang tạo ra (chẳng hạn như Imagen và Veo2) rõ ràng có khả năng tạo ra đầu ra như vậy, nhưng các ví dụ từ các dự án trí tuệ nhân tạo tổng hợp của ‘phương Tây’ hiện đang có xu hướng hướng tới các hình ảnh và video ‘dễ thương’, ‘Disney hóa’ và cực kỳ ‘an toàn’.

Mặc dù ca ngợi khả năng của Imagen trong việc tạo ra đầu ra ‘thực tế’, các mẫu được quảng cáo bởi Google Research thường là các tác phẩm ‘giả tưởng’, ‘dành cho gia đình’ – các hình ảnh người thực tế được tránh cẩn thận, hoặc chỉ cung cấp các ví dụ tối thiểu. Nguồn: https://imagen.research.google/

Rửa khuôn mặt

Trong văn học CV của ‘phương Tây’, cách tiếp cận không trung thực này đặc biệt rõ ràng đối với các hệ thống tùy chỉnh – các phương pháp có thể tạo ra các khuôn mặt nhất quán của một người cụ thể trên nhiều ví dụ (tức là như LoRA và DreamBooth cũ hơn).

Các ví dụ bao gồm nhúng trực quan trực giao, LoRA-Composer, InstructBooth của Google và nhiều hơn nữa.

InstructBooth của Google tăng yếu tố ‘dễ thương’ lên 11, mặc dù lịch sử cho thấy người dùng quan tâm hơn đến việc tạo ra người thực tế hơn là các nhân vật ‘dễ thương’ hoặc ‘bông mềm’. Nguồn: https://sites.google.com/view/instructbooth

Tuy nhiên, sự trỗi dậy của ‘ví dụ dễ thương’ cũng được thấy trong các lĩnh vực nghiên cứu tổng hợp và tầm nhìn máy tính khác, trong các dự án như Comp4D, V3D, DesignEdit, UniEdit, FaceChain (điều này thừa nhận các kỳ vọng của người dùng thực tế hơn trên trang GitHub), và DPG-T2I, trong số nhiều dự án khác.

Sự dễ dàng mà các hệ thống như vậy (chẳng hạn như LoRAs) có thể được tạo ra bởi người dùng tại nhà với phần cứng tương đối khiêm tốn đã dẫn đến sự bùng nổ của các mô hình người nổi tiếng có thể tải xuống miễn phí tại miền civit.ai và cộng đồng. Việc sử dụng bất hợp pháp như vậy vẫn có thể thực hiện được thông qua việc mã nguồn mở các kiến trúc như Stable Diffusion và Flux.

Mặc dù thường có thể xuyên qua các tính năng an toàn của các hệ thống tạo hình ảnh từ văn bản (T2I) và tạo video từ văn bản (T2V) để tạo ra nội dung bị cấm bởi các điều khoản sử dụng của nền tảng, nhưng khoảng cách giữa các khả năng bị hạn chế của các hệ thống tốt nhất (chẳng hạn như RunwayML và Sora) và các khả năng không giới hạn của các hệ thống chỉ đạt hiệu suất (chẳng hạn như Stable Video Diffusion, CogVideo và các triển khai cục bộ của Hunyuan), không thực sự đang đóng lại, như nhiều người tin.

Thay vào đó, cả các hệ thống độc quyền và mã nguồn mở này đều có nguy cơ trở nên vô dụng như nhau: các hệ thống T2V quy mô lớn và tốn kém có thể trở nên quá mức bị cản trở do lo ngại về kiện tụng, trong khi sự thiếu cơ sở hạ tầng cấp phép và giám sát dữ liệu trong các hệ thống mã nguồn mở có thể khóa chúng hoàn toàn khỏi thị trường khi các quy định nghiêm ngặt hơn được áp dụng.

Được xuất bản lần đầu vào thứ ba, ngày 24 tháng 12 năm 2024