Ngay cả các mô hình ngôn ngữ hiện đại cũng gặp khó khăn khi hiểu logic thời gian

Dự đoán các trạng thái tương lai là một nhiệm vụ quan trọng trong nghiên cứu thị giác máy tính – không chỉ trong lĩnh vực robot, nơi các tình huống thực tế phải được xem xét. Các hệ thống học máy được giao nhiệm vụ quan trọng cần có hiểu biết đầy đủ về thế giới vật lý.

Tuy nhiên, trong một số trường hợp, kiến thức về thực tế thời gian có vẻ ấn tượng nhưng có thể là lừa dối: một bài báo mới từ Các Tiểu vương quốc Ả Rập Thống nhất đã phát hiện ra rằng các mô hình ngôn ngữ lớn đa phương thức (MLLMs) hiện đại, bao gồm cả các nhà lãnh đạo trong lĩnh vực như GPT-4o và Google Gemini, gặp khó khăn khi giải thích cách thời gian được thể hiện trong hình ảnh.

Các cặp hình ảnh tuần tự (xem hình ảnh dưới đây), mà con người có thể dễ dàng nhận ra ngay cả khi được sắp xếp sai thứ tự, có thể khiến các MLLM tiên tiến gặp khó khăn khi được trình bày trong các ngữ cảnh hoặc cấu hình không mong muốn (chẳng hạn như hình ảnh thứ hai trước, được kết hợp thành hình ảnh đơn, nhiều hình ảnh tuần tự có thể hoặc không thể đại diện cho thứ tự thời gian chính xác, v.v.).

Mẫu từ một trong các tập dữ liệu được biên soạn cho nghiên cứu mới, thể hiện các sự kiện tuần tự dưới dạng hình ảnh ‘trước và sau’. Các nhà nghiên cứu đã làm cho dữ liệu này có sẵn tại https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer

Các nhà nghiên cứu đã giao nhiệm vụ cho các mô hình thực hiện các thử thách lý luận thời gian cơ bản, chẳng hạn như xác định thứ tự sự kiện hoặc ước tính khoảng thời gian, và phát hiện ra rằng bảy MLLM được thử nghiệm có hiệu suất đáng kể thấp hơn so với độ chính xác của con người:

‘Tổng thể, kết quả cho thấy tất cả các MLLM hiện tại, bao gồm cả GPT-4o – mô hình tiên tiến nhất trong đánh giá của chúng tôi – gặp khó khăn với thử thách được đề xuất. Mặc dù GPT-4o có hiệu suất vượt trội so với các mô hình khác, nhưng nó không thể chứng minh một cách nhất quán khả năng lý luận thời gian chính xác trên các thiết lập khác nhau.

‘Các điểm số chính xác nhất quán thấp cho tất cả các mô hình, cho thấy những hạn chế đáng kể trong khả năng của chúng để hiểu và giải thích các chuỗi thời gian từ đầu vào trực quan. Những khiếm khuyết này rõ ràng ngay cả khi các mô hình được cung cấp đầu vào hình ảnh đa dạng hoặc các lời nhắc tối ưu hóa, cho thấy rằng các kiến trúc và phương pháp đào tạo hiện tại là không đủ cho việc hiểu thứ tự thời gian mạnh mẽ.’

Các hệ thống học máy được thiết kế để tối ưu hóa kết quả chính xác nhất, nhưng cũng hiệu quả nhất và làm hài lòng mọi người. Vì chúng không tiết lộ cách lý luận của mình một cách rõ ràng, nên có thể khó xác định khi nào chúng đang ‘gian lận’ hoặc sử dụng ‘phương pháp tắt’.

Trong trường hợp như vậy, MLLM có thể đạt được câu trả lời đúng bằng phương pháp sai. Việc đạt được câu trả lời đúng có thể tạo ra sự tự tin sai lầm vào mô hình, điều này có thể tạo ra kết quả không chính xác bằng phương pháp đó trong các nhiệm vụ sau được trình bày cho nó.

Thậm chí còn tồi tệ hơn, sự sai lầm này có thể trở nên sâu sắc hơn trong chuỗi phát triển nếu con người bị ấn tượng bởi nó và đưa ra phản hồi tích cực trong các thử nghiệm và phiên chú thích có thể góp phần vào hướng mà dữ liệu và/hoặc mô hình có thể đi.

Trong trường hợp này, đề xuất cho thấy MLLM đang ‘giả vờ’ hiểu biết thực sự về thời gian và hiện tượng thời gian, bằng cách quan sát và neo đậu vào các chỉ số thứ cấp (chẳng hạn như dấu thời gian, chẳng hạn, trong dữ liệu video, thứ tự hình ảnh trong bố cục, hoặc thậm chí – có khả năng – tên tệp được đánh số tuần tự).

Nó cũng cho thấy rằng MLLM hiện tại không đáp ứng bất kỳ định nghĩa thực sự nào về việc khái quát hóa một khái niệm về hiện tượng thời gian – ít nhất, ở mức độ con người có thể.

Bài báo mới có tiêu đề Có thể Multimodal MLLM hiểu và lý luận về thời gian không? Câu trả lời là Không!, và đến từ ba nhà nghiên cứu tại Đại học Mohamed bin Zayed về Trí tuệ Nhân tạo và Thương mại Kỹ thuật số Alibaba.

Dữ liệu và Thử nghiệm

Các nhà nghiên cứu lưu ý rằng các thử nghiệm và nghiên cứu trước đây, chẳng hạn như MMMU và TemporalBench, tập trung vào đầu vào hình ảnh đơn hoặc đề xuất câu hỏi cho MLLM có thể quá dễ để trả lời, và có thể không tiết lộ xu hướng hành vi tắt.

Do đó, các tác giả đề xuất hai phương pháp cập nhật: Hiểu biết thứ tự thời gian (TOU) và Ước tính thời gian trôi qua (TLE). Phương pháp TOU kiểm tra khả năng của mô hình trong việc xác định thứ tự sự kiện từ các cặp khung hình video; phương pháp TLE đánh giá khả năng của MLLM trong việc ước tính sự khác biệt thời gian giữa hai hình ảnh, từ giây đến năm.

Từ bài báo, hai nhiệm vụ chính của thử nghiệm TemporalVQA: trong Hiểu biết thứ tự thời gian, mô hình quyết định hình ảnh nào thể hiện sự kiện xảy ra trước; trong Ước tính thời gian trôi qua, mô hình ước tính thời gian trôi qua giữa hai hình ảnh, chọn từ các tùy chọn bao gồm giây, phút, ngày hoặc năm. Các nhiệm vụ này nhằm kiểm tra khả năng lý luận về thời gian và trình tự của các sự kiện trực quan. Nguồn: https://arxiv.org/pdf/2501.10674

Các nhà nghiên cứu đã thu thập 360 cặp hình ảnh cho thử nghiệm TOU, sử dụng video nguồn mở từ Pixabay và Pexels, để có thể làm cho tập dữ liệu có sẵn qua giao diện người dùng.

Các video bao gồm một loạt các chủ đề, từ con người trong các hoạt động hàng ngày đến nội dung phi con người như động vật và thực vật. Từ những video này, các cặp khung hình được chọn để thể hiện một chuỗi sự kiện với sự thay đổi đủ để làm cho khung hình bắt đầu ‘được chỉ định’.

Logic thời gian của hai bức tranh này không thể tránh khỏi, vì trà không thể bị hút trở lại qua vòi.

Bằng cách này, 360 cặp hình ảnh đã được thu thập.

Đối với phương pháp TLE, các hình ảnh miễn phí bản quyền được chọn từ Google và Flickr, cũng như các khung hình được chọn từ video miễn phí bản quyền trên YouTube. Chủ đề của các video này bao gồm các cảnh hoặc đối tượng có khoảng thời gian thay đổi từ giây đến ngày đến mùa – ví dụ, trái cây chín, hoặc sự thay đổi của mùa trong các phong cảnh.

Do đó, 125 cặp hình ảnh đã được thu thập cho phương pháp TLE.

Không phải tất cả MLLM được thử nghiệm đều có thể xử lý nhiều hình ảnh; do đó, các thử nghiệm khác nhau để phù hợp với khả năng của từng mô hình.

Các phiên bản khác nhau của tập dữ liệu được tạo, trong đó một số cặp được kết hợp dọc và các cặp khác được kết hợp ngang. Các biến thể khác nhau đã hoán đổi thứ tự thời gian chính xác của các cặp.

Hai loại lời nhắc được phát triển. Lời nhắc đầu tiên theo mẫu:

Có phải sự kiện trong hình ảnh (trái / trên / đầu tiên) xảy ra trước sự kiện trong hình ảnh (phải / dưới / thứ hai) không? Trả lời đúng hoặc sai với lý do.

Lời nhắc thứ hai theo lược đồ:

Giữa hai hình ảnh này, hình ảnh nào thể hiện sự kiện xảy ra trước? Trả lời (trái hoặc phải / trên hoặc dưới / đầu tiên hoặc thứ hai) với lý do.

Đối với TLE, các câu hỏi là đa lựa chọn, yêu cầu mô hình đánh giá khoảng thời gian trôi qua giữa hai hình ảnh được trình bày, với giây, giờ, phút, ngày, tháng và năm có sẵn làm đơn vị thời gian. Trong cấu hình này, hình ảnh mới nhất được trình bày ở bên phải.

Lời nhắc được sử dụng ở đây là:

Ước tính thời gian trôi qua giữa hình ảnh đầu tiên (trái) và hình ảnh thứ hai (phải).

Chọn một trong các tùy chọn sau:

1. 1. Dưới 15 giây
B. Từ 2 phút đến 15 phút
C. Từ 1 giờ đến 12 giờ
D. Từ 2 ngày đến 30 ngày
E. Từ 4 tháng đến 12 tháng
F. Trên 3 năm

Các MLLM được thử nghiệm bao gồm ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; và LLaVA-CoT.

Kết quả hiểu biết thứ tự thời gian

Kết quả của hiểu biết thứ tự thời gian trên các mô hình và bố cục đầu vào khác nhau, thể hiện độ chính xác và nhất quán trên các thiết lập và lời nhắc khác nhau.

Về kết quả được hiển thị ở trên, các tác giả đã phát hiện ra rằng tất cả các MLLM được thử nghiệm, bao gồm cả GPT-4o (đã thể hiện hiệu suất tổng thể tốt nhất), gặp khó khăn đáng kể với thử nghiệm TemporalVQA – và thậm chí GPT-4o không thể chứng minh một cách nhất quán khả năng lý luận thời gian đáng tin cậy trên các thiết lập khác nhau.

Các tác giả cho rằng độ chính xác nhất quán thấp trên tất cả các MLLM cho thấy những hạn chế đáng kể trong khả năng của các mô hình để giải thích và lý luận về các chuỗi thời gian từ dữ liệu trực quan. Các nhà nghiên cứu lưu ý rằng những thách thức này vẫn tồn tại ngay cả khi sử dụng đầu vào hình ảnh đa dạng và lời nhắc tối ưu hóa, cho thấy những hạn chế cơ bản trong các kiến trúc mô hình và phương pháp đào tạo hiện tại.

Các thử nghiệm đã chỉ ra sự khác biệt đáng kể trong hiệu suất trên các chiến lược lời nhắc. Trong khi GPT-4o đã cải thiện với lời nhắc tối ưu (đạt 4% trong thiết lập hình ảnh đơn và 65,3% trong thiết lập hình ảnh đa), hiệu suất vẫn còn dưới mức chấp nhận được.

Các mô hình như LLaVA-NeXT và Qwen-VL thậm chí còn nhạy cảm hơn, với hiệu suất giảm khi sử dụng lời nhắc thay thế, cho thấy rằng việc tối ưu hóa lời nhắc alone không thể vượt qua những hạn chế cơ bản của MLLM trong việc lý luận thời gian.

Các thử nghiệm cũng chỉ ra rằng bố cục hình ảnh (tức là dọc so với ngang) có tác động đáng kể đến hiệu suất của mô hình. GPT-4o đã cải thiện sự nhất quán của mình với các sắp xếp dọc, tăng từ 39,2% lên 52,8%; tuy nhiên, các mô hình khác, bao gồm cả các biến thể LLaVA, đã thể hiện sự thiên vị hướng mạnh mẽ, vượt trội trong một hướng nhưng thất bại trong hướng khác.

Bài báo cho thấy rằng những bất nhất này cho thấy sự phụ thuộc vào các tín hiệu không gian, chứ không phải là lý luận thời gian thực sự, với MLLM không phân tích thực sự chuỗi sự kiện hoặc hiểu tiến trình theo thời gian. Thay vào đó, chúng dường như đã dựa vào các mẫu hoặc tính năng trực quan liên quan đến bố cục của hình ảnh, chẳng hạn như vị trí hoặc sắp xếp của chúng, để đưa ra quyết định.

Thử nghiệm định tính cho thấy dự đoán của GPT-4o khi đối mặt với các thứ tự đầu vào khác nhau. Trong thứ tự đầu tiên, các cặp hình ảnh được trình bày theo thứ tự ban đầu, trong khi trong thứ tự thứ hai, thứ tự được đảo ngược. Các phân loại chính xác được đánh dấu bằng màu xanh lá cây, các phân loại không chính xác thuần túy được đánh dấu bằng màu đỏ, lý do bị ảo giác được đánh dấu bằng màu cam, và lý do không hợp lý hoặc ‘không hợp lệ’ được đánh dấu bằng màu nâu, cho thấy sự không nhất quán của mô hình trên các cấu hình đầu vào khác nhau.

So sánh các thử nghiệm giữa đầu vào hình ảnh đơn và đa hình ảnh đã chứng minh sự cải thiện hạn chế, với GPT-4o hoạt động tốt hơn một chút trên đầu vào hình ảnh đa, tăng từ 31,0% lên 43,6% (với P1) và 46,0% lên 65,3% (với P2).

Các mô hình khác, chẳng hạn như InternVL, đã thể hiện hiệu suất ổn định nhưng thấp, trong khi Qwen-VL đã thấy lợi ích nhỏ. Các tác giả kết luận rằng những kết quả này cho thấy rằng thêm ngữ cảnh trực quan không cải thiện đáng kể khả năng lý luận thời gian, vì các mô hình gặp khó khăn trong việc tích hợp thông tin thời gian một cách hiệu quả.

Nghiên cứu con người

Trong một nghiên cứu con người, ba cuộc khảo sát đã được thực hiện để đánh giá hiệu suất của mô hình MLLM đa phương thức hoạt động tốt nhất so với ước tính của con người.

Con người đã đạt được độ chính xác 90,3%, vượt trội so với 65,3% của GPT-4o với 25%. Tập dữ liệu đã chứng minh là đáng tin cậy, với lỗi con người tối thiểu và sự đồng ý nhất quán về các câu trả lời chính xác.

Kết quả từ nghiên cứu người dùng cho vòng thử nghiệm đầu tiên.

Kết quả ước tính thời gian trôi qua

Kết quả cho TLE: Ước tính thời gian trôi qua đánh giá độ chính xác của mô hình trong việc xác định khoảng thời gian giữa các cặp hình ảnh, trên các khoảng thời gian từ giây đến năm. Nhiệm vụ này đánh giá khả năng của mỗi mô hình trong việc chọn khoảng thời gian chính xác cho khoảng thời gian thời gian.

Trong các thử nghiệm này, các MLLM chỉ hoạt động ở mức trung bình trên nhiệm vụ ước tính thời gian trôi qua: GPT-4o đã đạt được độ chính xác 70%, nhưng các mô hình khác đã hoạt động đáng kể kém hơn (xem bảng trên), và hiệu suất cũng thay đổi đáng kể trên các khoảng thời gian khác nhau.

Các tác giả nhận xét:

‘Nhiệm vụ ước tính thời gian trôi qua kiểm tra khả năng của MLLM trong việc suy luận khoảng thời gian giữa các cặp hình ảnh. Tất cả các MLLM, bao gồm cả những người hoạt động tốt nhất như GPT-4o và Gemini1.5-Pro, gặp khó khăn với nhiệm vụ này, chỉ đạt được mức độ chính xác trung bình từ 60-70%. GPT-4o thể hiện hiệu suất không nhất quán, với hiệu suất mạnh trong giây và năm nhưng hoạt động dưới mức trong giờ.

‘Tương tự, LLaVA-CoT thể hiện hiệu suất đặc biệt trong khoảng thời gian giây và ngày, nhưng lại thể hiện hiệu suất đáng kể kém trong các khoảng thời gian khác.’

Nghiên cứu con người

Trong nghiên cứu con người cho TLE, hiệu suất trung bình của con người đã cải thiện so với GPT-4o (mô hình hoạt động tốt nhất trong thể loại này) với 12,3%.

Các tác giả lưu ý rằng một số thử thách đặc biệt khó khăn, và trong một trường hợp, tất cả các tham gia người dùng đã trả lời sai, cùng với tất cả các tham gia AI.

Các tác giả kết luận rằng GPT-4o thể hiện khả năng lý luận mạnh mẽ, bất kể thứ tự hình ảnh được trình bày.

Kết luận

Nếu MLLM cuối cùng tích lũy và hấp thụ đủ dữ liệu ‘phương pháp tắt’ để bao gồm cả những thử thách khó khăn nhất của loại được trình bày bởi các tác giả trong nghiên cứu này, thì việc liệu chúng có thể được cho là đã phát triển khả năng khái quát hóa theo phong cách con người trong lĩnh vực này hay không có thể trở thành một điểm không quan trọng.

Không ai biết chính xác bằng cách nào chúng ta có được khả năng lý luận thời gian của mình – liệu chúng ta cũng ‘gian lận’ cho đến khi lượng kinh nghiệm học được khổng lồ tiết lộ một mẫu hoạt động như ‘bản năng’ trong mối quan hệ với loại thử nghiệm này?

* Từ quan điểm rằng các mô hình đang ngày càng được tối ưu hóa với các hàm mất mát mà phản hồi của con người đã góp phần vào, và được tối ưu hóa hiệu quả bởi các thử nghiệm của con người và việc phân loại sau đó.

Được xuất bản lần đầu vào thứ Hai, ngày 27 tháng 1 năm 2025