Đồ ghép hình giúp tăng cường khả năng lý luận trực quan của Trí tuệ nhân tạo

Nghiên cứu mới cho thấy rằng các mô hình trí tuệ nhân tạo có thể trở nên thông minh hơn trong việc nhìn bằng cách giải quyết các câu đố ghép hình. Việc sắp xếp lại các hình ảnh, video và cảnh 3D bị xáo trộn giúp chúng cải thiện kỹ năng trực quan mà không cần thêm dữ liệu, nhãn hoặc công cụ.

Trong cuộc chạy đua hiện tại để thúc đẩy các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) vượt qua đám đông (hoặc ít nhất là ở lại phía trước ba bản phát hành so với đối thủ gần nhất), có rất ít chiến thắng dễ dàng và không có bữa trưa miễn phí.

Mặc dù nhiều bản phát hành mã nguồn mở ấn tượng của Trung Quốc vào năm 2025 được cho là có chi phí phát triển và chạy thấp hơn, các bản phát hành phương Tây có xu hướng ném nhiều vào vấn đề: nhiều dữ liệu, nhiều sức mạnh suy luận, nhiều điện (mặc dù không, như chúng tôi đã lưu ý gần đây, nhiều trình chú giải người thực, vì điều đó quá tốn kém ngay cả đối với cuộc cách mạng trí tuệ nhân tạo trị giá 1 nghìn tỷ đô la+).

Trong tài liệu nghiên cứu, hầu hết các cách tiếp cận “miễn phí” để tiến hóa các kiến trúc trí tuệ nhân tạo có xu hướng chỉ cung cấp các cải tiến nhỏ; hoặc cải tiến trong các lĩnh vực không được theo đuổi nghiêm túc. Tuy nhiên, việc tìm kiếm các “nguyên tắc cơ bản” chưa được khám phá có thể tăng tốc độ phát triển là quá hấp dẫn để từ bỏ.

Thu thập mảnh ghép

Mặc dù không hoàn toàn thuộc loại đó, một sự hợp tác nghiên cứu mới giữa các tổ chức Trung Quốc cho rằng họ đã xác định được rằng việc khiến các Mô hình Ngôn ngữ Lớn Đa phương thức (VLMs) giải quyết câu đố ghép hình cải thiện hiệu suất của chúng đáng kể, mặc dù cách tiếp cận học tăng cường này trước đây đã không thành công trong lĩnh vực này, và mặc dù nó không yêu cầu thêm hệ thống, mô hình phụ hoặc quy trình “đính kèm” nào:

Visual Jigsaw là một khuôn khổ tự giám sát sau quá trình đào tạo giúp cải thiện các kỹ năng trực quan trong các mô hình ngôn ngữ lớn đa phương thức. Bằng cách đào tạo trên các nhiệm vụ ghép hình trên hình ảnh, video và dữ liệu 3D, các mô hình này đạt được nhận thức tinh tế, không gian và thành phần sắc nét hơn trong hình ảnh, lý luận thời gian mạnh mẽ hơn trong video và hiểu biết hình học nâng cao trong các cảnh 3D. Các biểu đồ radar trong hình ảnh trên cho thấy lợi ích nhất quán so với Qwen2.5-VL, với thang giá trị điều chỉnh cho từng điểm chuẩn để rõ ràng. Nguồn: https://arxiv.org/pdf/2509.25190

Hệ thống do các nhà nghiên cứu thiết kế được gọi là Visual Jigsaw, và liên quan đến việc đào tạo các MLLM hiện có trên tài liệu đã bị phân mảnh và phân tán ngẫu nhiên, giống như một câu đố ghép hình. Các tác giả đã phát triển ba phương thức cho cách tiếp cận này: hình ảnh, video và 3D (tức là lưới kiểu CGI), và phát hiện ra rằng một sự thích nghi vừa phải của cùng một quy trình mang lại lợi ích cho cả ba lĩnh vực:

Một biểu diễn của ba nhiệm vụ Visual Jigsaw. Trong Câu đố ghép hình hình ảnh, một hình ảnh được chia thành các miếng, xáo trộn và mô hình dự đoán bố cục chính xác; trong Câu đố ghép hình video, các đoạn video được xáo trộn và mô hình khôi phục thứ tự thời gian của chúng; trong Câu đố ghép hình 3D, các điểm có độ sâu khác nhau được xáo trộn và mô hình xếp hạng chúng từ gần nhất đến xa nhất. Đầu ra của mô hình được chấm điểm so với sự thật, với điểm tín dụng một phần được cấp cho các giải pháp một phần chính xác.

Phương pháp đào tạo của Visual Jigsaw giúp các mô hình trí tuệ nhân tạo cải thiện khả năng hiểu thông tin trực quan bằng cách buộc chúng phải tái tạo các hình ảnh, đoạn video hoặc dữ liệu 3D bị xáo trộn.

Quá trình này dựa trên từ ngữ chứ không phải hình ảnh, và do đó không cần mô hình phải tạo ra hình ảnh hoặc sử dụng bất kỳ thành phần trực quan nào. Phương pháp này phù hợp với một hệ thống gọi là Học tăng cường từ Phần thưởng Xác minh (RLVR), nơi mô hình nhận được phần thưởng cho các câu trả lời chính xác dựa trên các quy tắc tự động rõ ràng; và nơi, do đó, không cần có nhãn người.

Điểm thực sự quan trọng này thực sự khó hiểu từ bài báo mới: rằng hệ thống đang ghép hình một cách ngữ nghĩa, thông qua mô tả, và không theo cách đại diện hình dạng mà con người học cách giải quyết các câu đố như vậy:

Từ tài liệu bổ sung của bài báo, một ví dụ về nhiệm vụ học tăng cường minh họa tính chất dựa trên văn bản của quá trình học phụ này. Các hình ảnh sẽ được hiển thị cho MLLM không được hiển thị ở đây.

Mặc dù MLLMs xử lý rộng rãi các nhiệm vụ tập trung vào trực quan, chúng là các kiến trúc dựa trên ngôn ngữ, không được thiết kế để tạo ra hình ảnh, video hoặc đại diện hình dạng như lưới 3D.

Ví dụ từ nhiệm vụ ghép hình hình ảnh. Mỗi hàng hiển thị các miếng bị xáo trộn mà mô hình phải sắp xếp lại thành bố cục ban đầu, với sắp xếp chính xác được hiển thị ở bên phải.

Trong mọi trường hợp, loại đào tạo này được thực hiện sau giai đoạn học chính, khi mô hình đã có một số khả năng hiểu hình ảnh.

Các cách tiếp cận trước đây như bài báo Thụy Sĩ năm 2017 Học không giám sát các biểu diễn trực quan bằng cách giải quyết câu đố ghép hình đã sử dụng loại cách tiếp cận tăng cường này với ít thành công hơn, trên các mạng nơ-ron tích chập (CNN), một loại kiến trúc khác biệt so với MLLM hiện đại.

Từ bản phát hành năm 2017 ‘Học không giám sát các biểu diễn trực quan bằng cách giải quyết câu đố ghép hình ‘, một ví dụ sớm về việc sử dụng phân mảnh như một thách thức có thưởng cho một hệ thống thần kinh. Nguồn: https://arxiv.org/pdf/1603.09246

Trong các thử nghiệm, Visual Jigsaw dẫn đến những gì các tác giả tuyên bố là những cải tiến nhất quán và có thể đo lường được trên một loạt các điểm chuẩn: nhiệm vụ ghép hình hình ảnh cải thiện nhận thức tinh tế, hiểu biết bố cục không gian và lý luận thành phần; nhiệm vụ ghép hình video tăng cường khả năng của mô hình trong việc theo dõi các chuỗi thời gian và lý luận về thứ tự sự kiện; và nhiệm vụ ghép hình 3D tăng cường hiểu biết không gian dựa trên độ sâu và lý luận không gian bằng cách sử dụng chỉ các đầu vào RGB-D:

Trong tất cả ba phương thức, bài báo lặp lại, phương pháp mới này vượt trội so với một số đường cơ sở cạnh tranh, mặc dù không yêu cầu thay đổi kiến trúc, mô-đun trực quan bổ sung hoặc dữ liệu giám sát bổ sung:

‘Các thí nghiệm rộng rãi cho thấy sự cải thiện đáng kể về nhận thức tinh tế, lý luận thời gian và hiểu biết không gian 3D. Những phát hiện của chúng tôi nhấn mạnh tiềm năng của các nhiệm vụ trực quan tự giám sát trong quá trình đào tạo sau MLLM và nhằm mục đích truyền cảm hứng cho nghiên cứu thêm về các thiết kế tiền đề trực quan.’

Bài báo mới bài báo có tiêu đề Visual Jigsaw sau quá trình đào tạo cải thiện MLLM, và đến từ sáu nhà nghiên cứu trên khắp Đại học Công nghệ Nanyang, Đại học Linköping và SenseTime Research. Bài báo đi kèm với một trang web dự án với các bản demo trực tiếp (và bạn thậm chí có thể tải hình ảnh của riêng mình vào bản demo ghép hình hình ảnh). Mã và trọng số cho dự án đã được cung cấp rộng rãi,

Phương pháp

Mặc dù chúng tôi sẽ xem xét cách thông tin được chia nhỏ để phù hợp với ba phương thức được thử nghiệm, nhưng trước tiên chúng tôi nên xem xét thiết kế phần thưởng cho hệ thống mới.

Phương pháp Visual Jigsaw chấm điểm phản hồi của mô hình bằng cách sử dụng phần thưởng được xếp hạng, không chỉ là một pass hoặc fail đơn giản. Nếu mô hình dự đoán chính xác thứ tự của các mảnh ghép hình, nó sẽ nhận được phần thưởng đầy đủ; nếu câu trả lời gần như chính xác, nhưng không hoàn hảo, mô hình sẽ nhận được tín dụng một phần, được điều chỉnh bởi một hệ số chiết khấu để tránh đánh giá quá cao các lần gần như trúng: điều này ngăn mô hình không lợi dụng hệ thống bằng cách lặp lại các đoán gần như chính xác.

Các câu trả lời không hợp lệ, chẳng hạn như ‘gian lận’ bằng cách sử dụng cùng một số lặp lại, nhận được điểm số zero. Để khuyến khích định dạng nhất quán, mô hình phải đặt lý luận của nó bên trong <think> thẻ và câu trả lời cuối cùng của nó bên trong <answer> thẻ. Nó nhận được một khoản tiền thưởng nhỏ nếu định dạng này được sử dụng đúng cách.

Hình ảnh

Để tạo một câu đố cho hình ảnh phương thức, một hình ảnh đầu tiên được chia thành một lưới các miếng bằng cách cắt nó thành các khối bằng nhau:

Ví dụ về các miếng hình ảnh để hệ thống giải quyết.

Các miếng được sắp xếp theo thứ tự cố định từ trái sang phải, như thứ tự đọc trên một trang, trước khi bị xáo trộn bằng một xáo trộn ngẫu nhiên. Sau đó, mô hình được hiển thị bộ miếng xáo trộn này và phải tìm ra thứ tự ban đầu bằng cách dự đoán phép biến đổi chính xác sẽ khôi phục bố cục ban đầu.

Trong đào tạo, 118.000 hình ảnh từ Bộ dữ liệu COCO đã được sử dụng, với mỗi hình ảnh tạo ra chín miếng (tức là ‘mảnh ghép’). Prompt được đưa ra cho hệ thống được hiển thị trước đó trong bài viết này (hình ảnh trên với chú thích bắt đầu ‘Từ tài liệu bổ sung của bài báo’).

Video

Đối với nhiệm vụ ghép hình video, một video được cắt thành một chuỗi các đoạn bằng cách cắt nó đều theo thời gian, sau đó xáo trộn các đoạn. Sau đó, mô hình được hiển thị chuỗi đoạn xáo trộn này và phải tìm ra thứ tự thời gian ban đầu của chúng.

Ví dụ bị cắt bớt về thách thức ghép hình video, từ tài liệu bổ sung của bài báo.

Đào tạo cho phương thức này sử dụng 100.000 video từ Bộ dữ liệu LLaVA-Video, với mỗi video được chia thành sáu đoạn. Để ngăn mô hình không lợi dụng các tín hiệu phù hợp khung hình rõ ràng tại các ranh giới đoạn, 5% khung hình ở đầu và cuối mỗi đoạn đã bị cắt bớt.

Các đoạn không chứa hơn 12 khung hình, mỗi khung hình có độ phân giải tối đa 128x28x28 pixel. Các video ngắn hơn 24 giây đã bị loại bỏ.

Prompt cho nhiệm vụ này được hiển thị dưới đây:

Prompt học tăng cường được trình bày cho MLLM cho nhiệm vụ video, mà không có các đoạn sẽ được trình bày cho MLLM..

Dữ liệu 3D

Một nhiệm vụ ghép hình 3D đầy đủ sẽ thường liên quan đến việc phá vỡ một không gian 3D (chẳng hạn như voxel khối hoặc đám mây điểm mảnh) thành các mảnh nhỏ hơn và đào tạo một mô hình để tái tạo bố cục không gian ban đầu của chúng.

Tuy nhiên, MLLM trung bình không được trang bị để xử lý dữ liệu 3D thô trực tiếp, thay vào đó dựa vào đầu vào hình ảnh hoặc video được giải thích ngữ nghĩa. Do đó, để tạo một nhiệm vụ vẫn tận dụng lý luận 3D mà vẫn tương thích với các MLLM hiện tại, các tác giả đã giới thiệu một biến thể dễ tiếp cận hơn sử dụng hình ảnh RGB-D (tức là hình ảnh 2D bao gồm thông tin độ sâu cho mỗi pixel).

Ví dụ về các câu hỏi từ 3D Spatial Understanding Benchmark được sử dụng để đánh giá hiệu suất về quan điểm và chuyển động máy ảnh tương đối. Mô hình ghép hình 3D đúng suy luận cả quan hệ không gian giữa hai khung cảnh và hướng quay máy ảnh có thể.

Từ mỗi hình ảnh RGB-D, mô hình được đưa ra một danh sách các điểm bị xáo trộn ban đầu có độ sâu khác nhau, từ gần đến xa, với mục tiêu là khôi phục thứ tự độ sâu chính xác của chúng bằng cách sử dụng chỉ hình ảnh 2D làm tham chiếu:

Prompt RL cho câu đố ghép hình 3D.

Mỗi điểm được đánh dấu trên hình ảnh (được hiển thị cho mô hình, nhưng không được hiển thị trong ví dụ prompt hình ảnh trực tiếp trên), và mô hình phải dự đoán điểm nào gần nhất, điểm thứ hai gần nhất và như vậy, hiệu quả地 tái tạo trình tự độ sâu ban đầu mà không có giá trị độ sâu thô.

Nhiệm vụ ghép hình 3D được đào tạo trên hình ảnh RGB-D từ Bộ dữ liệu ScanNet, sử dụng 300.000 mẫu được tạo bằng cách chọn các tập hợp ngẫu nhiên sáu điểm độ sâu mỗi hình ảnh.

Ví dụ về đám mây điểm từ Bộ dữ liệu ScanNet được sử dụng trong câu đố ghép hình 3D. Nguồn: https://arxiv.org/pdf/1702.04405

Mỗi điểm phải nằm trong khoảng độ sâu từ 0,1 đến 10 mét, và để thúc đẩy sự đa dạng, không có hai điểm trong một tập hợp được phép gần hơn 40 pixel trong mặt phẳng hình ảnh, hoặc ít hơn 0,2 mét cách nhau theo độ sâu.

Thử nghiệm

Đối với các thử nghiệm ban đầu, hệ thống sử dụng Qwen2.5-VL-7B-Instruct làm mô hình đa phương thức cơ bản. Đào tạo sử dụng thuật toán Tối ưu hóa Chính sách Nhóm Tương đối (GRPO), với cả điều chỉnh KL và mất entropy bị xóa.

Đối với các dự đoán một phần, một hệ số chiết khấu 0,2 được áp dụng. Đào tạo ghép hình hình ảnh sử dụng kích thước lô toàn cầu là 256, trong khi ghép hình video và 3D sử dụng 128. Tốc độ học được đặt ở 1×10⁻⁶.

Đối với mỗi prompt, mô hình tạo ra 16 phản hồi ở nhiệt độ giải mã 1,0. Cả nhiệm vụ ghép hình hình ảnh và video đều được đào tạo trong 1.000 bước, trong khi nhiệm vụ ghép hình 3D được đào tạo trong 800 bước.

Câu đố ghép hình hình ảnh

Mô hình ghép hình hình ảnh được thử nghiệm trên ba loại điểm chuẩn tập trung vào trực quan: đối với nhận thức tinh tế và hiểu biết, MMVP, tập hợp nhận thức tinh tế của MMStar; MMBench; HR-Bench; V*; MME-RealWorld (lite); LISA-Grounding; và OVD-Eval.

Đối với hiểu biết không gian đơn thị, các điểm chuẩn là VSR; OmniSpatial; và Depth Anything V2 (DA-2K). Đối với hiểu biết trực quan thành phần, các thử nghiệm sử dụng Winoground và SugerCrepe++.

Ba đường cơ sở đã được thử nghiệm, tất cả đều được dẫn xuất từ Qwen2.5-VL-7B: ThinkLite-VL cho lý luận đa phương thức; VL-Cogito cho các nhiệm vụ trực quan chung và khoa học; và LLaVA-Critic-R1 cho nhận thức hình ảnh.

Tất cả đều được đánh giá bằng cách sử dụng các câu trả lời ngắn, vì lý luận chuỗi suy nghĩ (CoT) đôi khi làm giảm hiệu suất.

Kết quả đánh giá trên các điểm chuẩn hình ảnh. Câu đố ghép hình hình ảnh cải thiện trên mô hình cơ bản Qwen2.5-VL-7B trên tất cả các loại nhiệm vụ (tức là nhận thức tinh tế và hiểu biết; hiểu biết không gian đơn thị; và lý luận trực quan thành phần), vượt trội so với các đường cơ sở hậu đào tạo trước đó.

Về kết quả của câu đố ghép hình hình ảnh, được hiển thị ở trên, các tác giả tuyên bố:

‘[Hình ảnh trên] cho thấy phương pháp của chúng tôi nhất quán cải thiện khả năng trực quan trên cả ba loại điểm chuẩn. Những kết quả này xác nhận rằng việc kết hợp đào tạo hậu ghép hình hình ảnh đáng kể cải thiện sự gắn kết nhận thức và hiểu biết trực quan tinh tế của MLLM hơn là các chiến lược đào tạo hậu lý luận tập trung. ‘

‘Chúng tôi quy kết những cải tiến này cho thực tế là việc giải quyết câu đố ghép hình hình ảnh yêu cầu mô hình phải chú ý đến chi tiết bản vá, suy luận bố cục toàn cầu, và lý luận về mối quan hệ giữa các bản vá, điều này trực tiếp có lợi cho hiểu biết tinh tế, không gian và thành phần.’

Câu đố ghép hình video

Đối với câu đố ghép hình video, đánh giá được thực hiện trên AoTBench; Vinoground; TOMATO; FAVOR-Bench; TUNA-Bench; Video-MME; TempCompass; TVBench; MotionBench; LVBench; VSI-Bench; Video-TT; và CVBench.

Video-R1 được sử dụng làm đường cơ sở, đã được đào tạo với đào tạo có giám sát khởi động lạnh, tiếp theo là học tăng cường cho hiểu biết và lý luận video. Trong trường hợp này, các đánh giá bao gồm toàn bộ quá trình lý luận, vì điều này nhất quán tạo ra kết quả tốt hơn so với các câu trả lời trực tiếp.

Tất cả các mô hình đều bị giới hạn ở 256x28x28 pixel và được thử nghiệm trên ba cài đặt khung hình – 16, 32 và 64:

Kết quả đánh giá trên các điểm chuẩn video, với Câu đố ghép hình video vượt trội so với đường cơ sở một cách nhất quán trên tất cả các nhiệm vụ và cài đặt khung hình.

Câu đố ghép hình video tạo ra những cải tiến nhất quán trên tất cả các điểm chuẩn hiểu biết video và cài đặt khung hình, với những lợi ích đặc biệt mạnh mẽ trên các nhiệm vụ yêu cầu lý luận thời gian và định hướng, chẳng hạn như những nhiệm vụ trong AoTBench, và cũng trong các điểm chuẩn lý luận video chéo, chẳng hạn như CVBench:

‘Những kết quả này xác nhận rằng việc giải quyết câu đố ghép hình video khuyến khích mô hình nắm bắt được sự liên tục thời gian tốt hơn, hiểu mối quan hệ giữa các video, lý luận về sự nhất quán định hướng và khái quát hóa các kịch bản hiểu biết video toàn diện và có thể khái quát hóa.’

Dữ liệu 3D

Đối với phương thức 3D, mô hình được đánh giá trên SAT-Real; 3DSRBench; ViewSpatial; All-Angles; điểm chuẩn OmniSpatial trước đó; VSI-Bench; SPARBench (tiny); và điểm chuẩn DA-2K trước đó.

Kết quả đánh giá trên các điểm chuẩn 3D: Câu đố ghép hình 3D cải thiện hiệu suất trên các nhiệm vụ so sánh độ sâu như DA-2K, cũng như các điểm chuẩn nhận thức 3D rộng hơn bao gồm các đầu vào video đơn thị, đa thị và egocentric.

Tại đây, các tác giả tuyên bố:

‘[Câu đố ghép hình 3D] đạt được những cải tiến đáng kể trên tất cả các điểm chuẩn. Không có gì ngạc nhiên, lợi ích lớn nhất là trên DA-2K, một điểm chuẩn ước tính độ sâu liên quan trực tiếp đến nhiệm vụ đặt hàng độ sâu trước đào tạo của chúng tôi. Quan trọng hơn, chúng tôi quan sát thấy những cải tiến nhất quán trên một loạt các nhiệm vụ khác, bao gồm cả những nhiệm vụ có đầu vào video đơn thị (ví dụ: 3DSRBench, [OmniSpatial]), đa thị (ví dụ: ViewSpatial, All-Angles) và egocentric (ví dụ: VSI-Bench). ‘

‘Những kết quả này chứng minh rằng cách tiếp cận của chúng tôi không chỉ dạy cho mô hình kỹ năng cụ thể của việc đặt hàng độ sâu mà còn hiệu quả tăng cường khả năng nhận thức và lý luận không gian 3D chung của mô hình.’

Kết luận

Điều không hoàn toàn rõ ràng từ bài báo này là mối quan hệ chính xác giữa hình ảnh và mô tả đang thúc đẩy sự cải thiện này trong hiệu suất của MLLM.

Ngay từ cái nhìn đầu tiên, quá trình học thông qua việc giải quyết câu đố có vẻ rất tương tự như những nỗ lực đầu tiên và sự phát triển của chúng ta. Tuy nhiên, sự diễn giải không gian của chúng ta về thế giới trực giác cảm thấy ít hơn về mặt ngữ nghĩa và liên quan đến ngôn ngữ, và một cái nhìn sâu hơn vào bài báo tiết lộ mức độ mà ngôn ngữ phục vụ MLLM như một cây cầu thú vị giữa thực tế trực quan và ngữ nghĩa.

* Xin lưu ý rằng các tác giả của bài báo thích thuật ngữ ‘Mô hình Ngôn ngữ Lớn Đa phương thức’, viết tắt là ‘MLLMs’. Đây là một thuật ngữ mới hoặc ít được sử dụng, và áp dụng cho các mô hình có thể phân tích và lý luận hình ảnh không gian rộng rãi, nhưng không tạo ra hình ảnh. Khi các mô hình và mô hình mới xuất hiện, từ vựng này đang được sửa đổi liên tục.

Được xuất bản lần đầu vào thứ Năm, ngày 2 tháng 10 năm 2025