Tranh đấu của Trí tuệ nhân tạo để đọc đồng hồ tương tự có thể có ý nghĩa sâu sắc hơn

Một bài báo mới từ các nhà nghiên cứu ở Trung Quốc và Tây Ban Nha cho thấy rằng thậm chí các mô hình trí tuệ nhân tạo đa phương thức tiên tiến như GPT-4.1 cũng gặp khó khăn khi đọc thời gian từ hình ảnh của đồng hồ tương tự. Những thay đổi nhỏ về hình ảnh của đồng hồ có thể gây ra những sai sót lớn trong việc giải thích, và việc tinh chỉnh chỉ giúp với những ví dụ quen thuộc. Kết quả này làm dấy lên những lo ngại về độ tin cậy của những mô hình này khi đối mặt với những hình ảnh không quen thuộc trong các nhiệm vụ thực tế.

Khi con người phát triển một sự hiểu biết đủ sâu về một lĩnh vực, chẳng hạn như trọng lực hoặc các nguyên tắc vật lý cơ bản khác, chúng ta có thể vượt qua các ví dụ cụ thể để nắm bắt các khái niệm trừu tượng cơ bản. Điều này cho phép chúng ta áp dụng kiến thức đó một cách sáng tạo trong các ngữ cảnh khác nhau và nhận ra các trường hợp mới, thậm chí những trường hợp chúng ta chưa từng thấy trước đây, bằng cách xác định nguyên tắc đang hoạt động.

Khi một lĩnh vực mang đủ tầm quan trọng, chúng ta thậm chí có thể bắt đầu nhận thức nó ở nơi nó không tồn tại, như trong trường hợp của pareidolia, được thúc đẩy bởi chi phí cao của việc không nhận ra một trường hợp thực sự. Cơ chế nhận dạng mẫu này mạnh đến mức nó thậm chí khiến chúng ta tìm thấy nhiều mẫu hơn ở nơi không có.

Ngay từ khi còn nhỏ, chúng ta đã được tiếp xúc với một trong những tập dữ liệu trực quan sớm nhất dưới dạng đồng hồ dạy thời gian, nơi tài liệu in hoặc đồng hồ tương tự tương tác được sử dụng để dạy chúng ta cách đọc thời gian:

Tài liệu dạy trẻ em cách đọc thời gian. Nguồn: https://www.youtube.com/watch?v=IBBQXBhSNUs

Mặc dù sự thay đổi trong thiết kế đồng hồ có thể thách thức chúng ta đôi khi, nhưng sự kiên trì của sự thành thạo lĩnh vực này từ sớm là khá ấn tượng, cho phép chúng ta phân biệt mặt đồng hồ tương tự ngay cả khi phải đối mặt với những lựa chọn thiết kế phức tạp hoặc “lạ”:

Một số mặt đồng hồ khó đọc trong thời trang đồng hồ. Nguồn: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Con người không cần hàng nghìn ví dụ để học cách đồng hồ hoạt động; một khi khái niệm cơ bản được nắm bắt, chúng ta có thể nhận ra nó trong hầu hết mọi hình thức, ngay cả khi bị biến dạng hoặc trừu tượng hóa.

Khó khăn mà các mô hình trí tuệ nhân tạo gặp phải với nhiệm vụ này, ngược lại, làm nổi bật một vấn đề sâu sắc hơn: sức mạnh rõ ràng của chúng có thể phụ thuộc nhiều hơn vào việc tiếp xúc với lượng lớn dữ liệu hơn là vào sự hiểu biết.

Beyond the Imitation Game?

Căng thẳng giữa hiệu suất bề mặt và sự “hiểu biết” thực sự đã xuất hiện nhiều lần trong các cuộc điều tra gần đây về các mô hình lớn. Tháng trước, Đại học Zhejiang và Đại học Westlake đã đặt lại câu hỏi trong một bài báo có tiêu đề Liệu các mô hình ngôn ngữ lớn cấp PhD có thực sự nắm bắt được phép tính cơ bản? (không phải là trọng tâm của bài viết này), kết luận:

‘Mặc dù có những điểm chuẩn ấn tượng, các mô hình cho thấy sự phụ thuộc quan trọng vào việc nhận dạng mẫu chứ không phải sự hiểu biết thực sự, được chứng minh bằng sự thất bại với các biểu diễn biểu tượng và vi phạm các thuộc tính cơ bản.

‘Việc cung cấp quy tắc rõ ràng làm suy giảm hiệu suất cho thấy có những hạn chế kiến trúc nội tại. Những hiểu biết này tiết lộ các khoảng trống trong đánh giá và nhấn mạnh nhu cầu về các kiến trúc có khả năng lý luận toán học thực sự vượt ra ngoài nhận dạng mẫu.’

Tuần này, câu hỏi lại được đặt ra, lần này trong một sự hợp tác giữa Đại học Hàng không và Vũ trụ Nam Kinh và Universidad Politécnica de Madrid ở Tây Ban Nha. Với tiêu đề Liệu các mô hình ngôn ngữ lớn đa phương thức (MLLMs) có thực sự học được cách đọc thời gian trên đồng hồ tương tự?, bài báo mới này khám phá cách tốt các mô hình đa phương thức hiểu về việc đọc thời gian.

Mặc dù tiến trình nghiên cứu chỉ được đề cập một cách rộng trong bài báo, nhưng các thử nghiệm ban đầu của các nhà nghiên cứu đã thiết lập rằng mô hình ngôn ngữ đa phương thức GPT-4.1 của OpenAI gặp khó khăn khi đọc thời gian từ một tập hợp đa dạng các hình ảnh đồng hồ, thường đưa ra các câu trả lời không chính xác ngay cả trong các trường hợp đơn giản.

Điều này cho thấy một khoảng trống có thể có trong dữ liệu đào tạo của mô hình, làm dấy lên nhu cầu về một tập dữ liệu cân bằng hơn, để kiểm tra xem mô hình có thể thực sự học được khái niệm cơ bản. Do đó, các tác giả đã tạo ra một tập dữ liệu tổng hợp của đồng hồ tương tự, bao gồm đều mọi thời gian có thể, và tránh những thiên vị thường thấy trong hình ảnh trên internet:

Một ví dụ từ tập dữ liệu đồng hồ tương tự tổng hợp của các nhà nghiên cứu, được sử dụng để tinh chỉnh mô hình GPT trong công việc mới. Nguồn: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Trước khi tinh chỉnh trên tập dữ liệu mới, GPT-4.1 liên tục thất bại trong việc đọc những đồng hồ này. Tuy nhiên, sau khi được tiếp xúc với tập dữ liệu mới, hiệu suất của nó đã cải thiện – nhưng chỉ khi những hình ảnh mới trông giống như những hình ảnh nó đã từng thấy.

Khi hình dạng của đồng hồ hoặc phong cách của kim thay đổi, độ chính xác giảm mạnh; thậm chí những điều chỉnh nhỏ, chẳng hạn như kim mỏng hơn hoặc đầu mũi tên (hình ảnh bên phải dưới đây), đủ để làm cho nó bị nhầm lẫn; và GPT-4.1 gặp khó khăn thêm khi giải thích đồng hồ ‘tan chảy’ theo phong cách Dali:

Hình ảnh đồng hồ với thiết kế tiêu chuẩn (trái), hình dạng bị biến dạng (giữa) và tay bị thay đổi (phải), cùng với thời gian được trả về bởi GPT-4.1 trước và sau khi tinh chỉnh. Nguồn: https://arxiv.org/pdf/2505.10862

Các tác giả kết luận rằng các mô hình hiện tại như GPT-4.1 có thể đang học cách đọc đồng hồ chủ yếu thông qua nhận dạng mẫu hình ảnh, chứ không phải bất kỳ khái niệm sâu sắc nào về thời gian, và khẳng định:

‘[GPT 4.1] thất bại khi đồng hồ bị biến dạng hoặc khi tay bị thay đổi để trở nên mỏng hơn và có đầu mũi tên. Lỗi tuyệt đối trung bình (MAE) trong ước tính thời gian trên 150 thời gian ngẫu nhiên là 232,48 giây cho đồng hồ ban đầu, 1380,69 giây khi hình dạng bị biến dạng và 3726,93 giây khi tay bị thay đổi.

‘Những kết quả này cho thấy rằng MLLM đã không học cách đọc thời gian mà chỉ ghi nhớ các mẫu.’

Đủ Thời gian

Hầu hết các tập dữ liệu đào tạo phụ thuộc vào hình ảnh web được thu thập, thường lặp lại một số thời gian nhất định – đặc biệt là 10:10, một cài đặt phổ biến trong quảng cáo đồng hồ:

Từ bài báo mới, một ví dụ về sự phổ biến của thời gian ’10 giờ 10′ trong hình ảnh đồng hồ tương tự.

Do sự hạn chế này trong phạm vi thời gian được thể hiện, mô hình có thể chỉ thấy một phạm vi hẹp của các cấu hình đồng hồ có thể, hạn chế khả năng tổng quát hóa của nó vượt ra ngoài những mẫu lặp đi lặp lại.

Về lý do tại sao mô hình thất bại trong việc giải thích đúng các đồng hồ bị biến dạng, bài báo cho biết:

‘Mặc dù GPT-4.1 hoạt động rất tốt với hình ảnh đồng hồ tiêu chuẩn, nhưng điều đáng ngạc nhiên là việc thay đổi tay đồng hồ bằng cách làm cho chúng mỏng hơn và thêm đầu mũi tên dẫn đến sự suy giảm đáng kể độ chính xác.

‘Intuitively, một người có thể nghĩ rằng sự thay đổi về hình dạng đồng hồ sẽ có tác động lớn hơn đến hiệu suất, nhưng sự thay đổi này dường như có ảnh hưởng tương đối nhỏ.’

‘Điều này đặt ra một câu hỏi: làm thế nào MLLMs giải thích đồng hồ, và tại sao chúng thất bại? Một khả năng là tay đồng hồ mỏng làm suy giảm khả năng nhận thức hướng của mô hình, làm suy yếu sự hiểu biết về định hướng không gian.

‘Hoặc có thể có những yếu tố khác gây ra sự nhầm lẫn khi mô hình cố gắng kết hợp tay giờ, phút và giây thành một thời gian chính xác.’

Các tác giả cho rằng việc xác định nguyên nhân gốc rễ của những thất bại này là chìa khóa để phát triển các mô hình đa phương thức: nếu vấn đề nằm ở cách mô hình nhận thức hướng không gian, việc tinh chỉnh có thể cung cấp một giải pháp đơn giản; nhưng nếu vấn đề xuất phát từ một khó khăn rộng lớn hơn trong việc tích hợp nhiều tín hiệu hình ảnh, nó chỉ ra một điểm yếu cơ bản trong cách những hệ thống này xử lý thông tin.

Thử nghiệm Tinh chỉnh

Để kiểm tra xem những thất bại của mô hình có thể được khắc phục bằng việc tiếp xúc, GPT-4.1 đã được tinh chỉnh trên tập dữ liệu tổng hợp được đề cập trước đó. Trước khi tinh chỉnh, dự đoán của nó bị phân tán rộng, với những sai sót đáng kể trên tất cả các loại đồng hồ. Sau khi tinh chỉnh trên tập dữ liệu, độ chính xác đã cải thiện đáng kể trên các mặt đồng hồ tiêu chuẩn, và, ở mức độ thấp hơn, trên các đồng hồ bị biến dạng.

Tuy nhiên, đồng hồ với tay thay đổi, chẳng hạn như hình dạng mỏng hơn hoặc đầu mũi tên, vẫn tiếp tục tạo ra những sai sót lớn.

Hai chế độ thất bại riêng biệt đã xuất hiện: trên đồng hồ bình thường và bị biến dạng, mô hình thường nhầm hướng của tay; nhưng trên đồng hồ với phong cách tay thay đổi, nó thường nhầm chức năng của từng tay, nhầm tay giờ cho tay phút hoặc ngược lại.

Một so sánh minh họa sự yếu kém ban đầu của mô hình và những lợi ích một phần đạt được thông qua việc tinh chỉnh, hiển thị thời gian dự đoán so với thời gian thực, tính bằng giây, cho 150 đồng hồ được chọn ngẫu nhiên. Ở bên trái, trước khi tinh chỉnh, dự đoán của GPT-4.1 bị phân tán và thường cách xa giá trị chính xác, được chỉ định bởi đường chéo màu đỏ. Ở bên phải, sau khi tinh chỉnh trên tập dữ liệu tổng hợp cân bằng, dự đoán phù hợp nhiều hơn với giá trị thực tế, mặc dù vẫn còn một số sai sót.

Điều này cho thấy rằng mô hình đã học cách liên kết các tính năng hình ảnh như độ dày của tay với các vai trò cụ thể và gặp khó khăn khi những tín hiệu này thay đổi.

Sự cải thiện hạn chế trên các thiết kế không quen thuộc làm dấy lên những nghi ngờ thêm về liệu một mô hình như vậy có học được khái niệm trừu tượng về việc đọc thời gian hay chỉ cải thiện việc nhận dạng mẫu.

Dấu Tay

Vì vậy, mặc dù việc tinh chỉnh đã cải thiện hiệu suất của GPT-4.1 trên các đồng hồ tương tự thông thường, nhưng nó có ít tác động hơn trên đồng hồ với tay mỏng hoặc đầu mũi tên, làm dấy lên khả năng rằng những thất bại của mô hình bắt nguồn từ sự nhầm lẫn về tay nào là tay nào.

Để kiểm tra xem độ chính xác có thể cải thiện nếu sự nhầm lẫn đó được loại bỏ, một phân tích mới đã được thực hiện trên dự đoán của mô hình cho tập dữ liệu ‘tay thay đổi’. Các đầu ra được chia thành hai nhóm: trường hợp GPT-4.1 nhận dạng chính xác tay giờ, phút và giây; và trường hợp nó không.

Các dự đoán được đánh giá về Lỗi tuyệt đối trung bình (MAE) trước và sau khi tinh chỉnh, và kết quả được so sánh với kết quả từ đồng hồ tiêu chuẩn; lỗi góc cũng được đo cho từng tay sử dụng vị trí trên mặt đồng hồ làm baseline:

So sánh lỗi cho đồng hồ với và không có sự nhầm lẫn về vai trò tay trong tập dữ liệu ‘tay thay đổi’ trước và sau khi tinh chỉnh.

Sự nhầm lẫn về vai trò của các tay đồng hồ dẫn đến những sai sót lớn nhất. Khi GPT-4.1 nhầm tay giờ cho tay phút hoặc ngược lại, ước tính thời gian kết quả thường cách xa rất nhiều. Ngược lại, những sai sót do việc đánh giá sai hướng của một tay đã được nhận dạng chính xác thường nhỏ hơn. Trong số ba tay, tay giờ cho thấy lỗi góc lớn nhất trước khi tinh chỉnh, trong khi tay giây cho thấy lỗi nhỏ nhất.

Lỗi góc theo loại tay cho dự đoán với và không có sự nhầm lẫn về vai trò tay, trước và sau khi tinh chỉnh, trong tập dữ liệu ‘tay thay đổi’.

Để tập trung vào những sai sót về hướng alone, phân tích đã được giới hạn ở những trường hợp mà mô hình nhận dạng chính xác chức năng của từng tay. Nếu mô hình đã nội hóa một khái niệm chung về việc đọc thời gian, hiệu suất của nó trên những ví dụ này nên khớp với độ chính xác trên đồng hồ tiêu chuẩn. Nó không, và độ chính xác vẫn còn đáng kể hơn.

Để kiểm tra xem hình dạng tay có can thiệp vào cảm nhận hướng của mô hình, một thí nghiệm thứ hai đã được chạy:

Kết quả cho thấy một sự suy giảm nhỏ trong độ chính xác với tay thay đổi, nhưng không đủ để giải thích những thất bại rộng lớn hơn của mô hình. Một đặc điểm hình ảnh không quen thuộc duy nhất dường như có khả năng làm gián đoạn sự giải thích tổng thể của mô hình, ngay cả trong những nhiệm vụ nó đã thực hiện tốt trước đó.

Tổng quan về hiệu suất của GPT-4.1 trước và sau khi tinh chỉnh trên đồng hồ tiêu chuẩn, bị biến dạng và tay thay đổi, nhấn mạnh những lợi ích không đồng đều và những điểm yếu còn tồn tại.

Kết luận

Mặc dù trọng tâm của bài báo này có thể看似 không quan trọng tại đầu tiên, nhưng nó không đặc biệt quan trọng nếu các mô hình ngôn ngữ tầm nhìn bao giờ cũng học cách đọc đồng hồ tương tự với độ chính xác 100%. Điều mang lại cho công việc này tầm quan trọng là sự tập trung vào một câu hỏi sâu sắc hơn: liệu việc bão hòa các mô hình với nhiều (và đa dạng) dữ liệu hơn có thể dẫn đến sự hiểu biết về lĩnh vực mà con người đạt được thông qua sự trừu tượng và khái quát hóa; hoặc liệu con đường khả thi duy nhất là lũ lụt lĩnh vực với đủ ví dụ để dự đoán mọi biến thể có thể tại thời điểm suy luận.

Cả hai con đường đều làm dấy lên những nghi ngờ về khả năng học hỏi thực sự của các kiến trúc hiện tại.

Được xuất bản lần đầu vào Thứ Hai, ngày 19 tháng 5 năm 2025