ảo tưởng ‘Tải thêm nhãn!’ trong nghiên cứu Trí tuệ nhân tạo

Một quan điểm phổ biến trong nghiên cứu học máy hiện nay là học máy có thể được sử dụng để cải thiện chất lượng chú thích dữ liệu AI – đặc biệt là chú thích hình ảnh dành cho mô hình ngôn ngữ hình ảnh (VLMs). Đường lối suy nghĩ này được thúc đẩy bởi chi phí cao của chú thích con người và gánh nặng bổ sung của giám sát hiệu suất của người chú thích.

Điều này có thể được coi là tương đương với meme “tải thêm RAM” vào đầu những năm 2000, một meme đã chế giễu ý tưởng rằng một hạn chế phần cứng có thể được giải quyết bằng một giải pháp dựa trên phần mềm.

Đây cũng là một vấn đề ít được quan tâm; trong khi các mô hình AI mới thu hút sự chú ý rộng rãi trong cả lĩnh vực công cộng và thương mại, chú thích thường xuất hiện như một chi tiết nhỏ trong các đường ống học máy, bị lu mờ bởi sự phấn khích xung quanh các khuôn khổ rộng lớn hơn.

Thực tế, khả năng của các hệ thống học máy trong việc nhận ra và tái tạo các mẫu (trường hợp sử dụng trung tâm của gần như tất cả các hệ thống AI) phụ thuộc vào chất lượng và tính nhất quán của các chú thích thế giới thực – các nhãn và cụm từ được tạo hoặc phân loại bởi con người, thường đưa ra các phán quyết chủ quan về các điểm dữ liệu riêng lẻ trong điều kiện không lý tưởng.

Tất yếu, các hệ thống tìm cách quan sát và tái tạo các mẫu trong hành vi của người chú thích (và do đó thay thế người chú thích và tạo điều kiện cho việc dán nhãn chính xác ở quy mô lớn) không thể hy vọng hoạt động tốt trên dữ liệu không chứa trong các ví dụ lấy từ người quan sát. Không có gì “tương tự” là hoàn toàn giống nhau, và sự tương đương giữa các lĩnh vực vẫn là một mục tiêu đầy thách thức trong tầm nhìn máy tính.

“Đồng tiền dữ liệu thượng nguồn” phải dừng lại ở một nơi nào đó, và trong trường hợp này, đó chính là nơi nó dừng lại – với một não bộ con người tạo ra một số phân biệt chủ quan để mã hóa dữ liệu cho một hệ thống nhân tạo.

Nghề may

Cho đến gần đây, những sai sót phát sinh từ việc chú thích dữ liệu không được chăm sóc kỹ lưỡng đã được coi là thiệt hại chấp nhận được trong bối cảnh kết quả không hoàn hảo nhưng vẫn có thể bán được từ các hệ thống AI tạo sinh.

Thực tế, chỉ trong năm nay, một nghiên cứu từ Singapore kết luận rằng ảo giác – tức là những lần hệ thống AI tưởng tượng ra những thứ mà chúng ta không muốn – là không thể tránh khỏi và gắn liền với kiến trúc khái niệm của các hệ thống như vậy.

Để đối phó với điều này, các tác nhân dựa trên RAG – những tác nhân có thể “xác minh” các sự kiện thông qua tìm kiếm trên internet – đang trở nên phổ biến trong nghiên cứu và các giải pháp thương mại. Tuy nhiên, chúng thêm vào chi phí tài nguyên và độ trễ trong các truy vấn; ngoài ra, thông tin mới được áp dụng cho một mô hình đã được đào tạo không thể cạnh tranh với các kết nối sâu sắc và phức tạp hơn trong các lớp bản địa của mô hình đã được đào tạo.

Nó sẽ tốt hơn nếu dữ liệu chú thích thông tin cho các mô hình này ít khiếm khuyết hơn ngay từ đầu, ngay cả khi nó không thể hoàn hảo (ít nhất vì hoạt động này xâm phạm vào lĩnh vực chủ quan của con người).

RePOPE

Một bài báo mới từ Đức nhấn mạnh các vấn đề phát sinh từ việc dựa vào các tập dữ liệu cũ, tập trung vào độ chính xác và độ tin cậy của các chú thích hình ảnh. Các phát hiện của các nhà nghiên cứu cho thấy rằng các lỗi nhãn trong các điểm chuẩn có thể che giấu hoặc làm sai lệch ảo giác trong các mô hình ngôn ngữ hình ảnh.

Từ bài báo mới, một số ví dụ về các chú thích gốc không chính xác xác định các đối tượng trong tập dữ liệu hình ảnh MSCOCO. Việc sửa đổi thủ công của các nhà nghiên cứu đối với tập dữ liệu điểm chuẩn POPE giải quyết các khiếm khuyết này, thể hiện chi phí của việc tiết kiệm tiền cho việc chăm sóc chú thích. Nguồn: https://arxiv.org/pdf/2504.15707

Hãy tưởng tượng một mô hình được hiển thị một hình ảnh của một cảnh đường phố và được hỏi liệu có một chiếc xe đạp trong đó hay không. Mô hình trả lời đúng. Nếu tập dữ liệu điểm chuẩn cho biết không có xe đạp, mô hình được đánh dấu sai. Nhưng nếu một chiếc xe đạp được nhìn thấy rõ ràng trong hình ảnh và chỉ đơn giản là bị bỏ qua trong quá trình chú thích, thì câu trả lời của mô hình là chính xác, và điểm chuẩn đã thất bại. Các lỗi như vậy có thể tích lũy trên toàn bộ tập dữ liệu, tạo ra một bức tranh sai lệch về các mô hình chính xác và các mô hình dễ bị ảo giác.

Do đó, khi các chú thích không chính xác hoặc mơ hồ được coi là sự thật, các mô hình có thể xuất hiện như đang ảo giác khi chúng chính xác, hoặc có vẻ chính xác khi chúng không chính xác, làm sai lệch cả việc đo lường ảo giác và xếp hạng hiệu suất của mô hình, và khiến việc chẩn đoán hoặc giải quyết vấn đề trở nên khó khăn hơn.

Bài báo mới này tái đánh giá một điểm chuẩn được sử dụng rộng rãi gọi là Polling-based Object Probing Evaluation (POPE), kiểm tra xem các mô hình ngôn ngữ hình ảnh có thể nói chính xác những gì có hoặc không có trong một hình ảnh.

POPE dựa trên các nhãn từ tập dữ liệu ảnh có chú thích Microsoft COCO: Common Objects in Context (MSCOCO), một tập hợp các hình ảnh được chú thích đã được coi là cung cấp một mức độ chính xác cao.

POPE đánh giá ảo giác đối tượng trong các mô hình ngôn ngữ hình ảnh lớn bằng cách định hình lại vấn đề như một nhiệm vụ phân loại nhị phân. Thay vì phân tích các chú thích được tạo, hệ thống đặt các câu hỏi có/không đơn giản cho mô hình về việc liệu các đối tượng cụ thể có trong hình ảnh hay không, sử dụng các mẫu như ‘Có một <đối tượng> trong hình ảnh không?’.

Ví dụ về ảo giác đối tượng trong các mô hình ngôn ngữ hình ảnh. Các nhãn in đậm chỉ ra các đối tượng được đánh dấu là có mặt trong các chú thích gốc, trong khi các nhãn màu đỏ chỉ ra các đối tượng được mô hình hóa. Nguồn: https://aclanthology.org/2023.emnlp-main.20.pdf

Các câu hỏi có đối tượng (đáp án: Đúng) được ghép với các đối tượng không tồn tại (đáp án: Không), được chọn thông qua các chiến lược ngẫu nhiên, phổ biến (phổ biến) hoặc dựa trên sự kết hợp (đối thủ). Thiết lập này cho phép đánh giá ảo giác ổn định và không phụ thuộc vào lời nhắc.

Các tác giả của bài báo mới – có tiêu đề RePOPE: Tác động của lỗi chú thích lên điểm chuẩn POPE – thách thức độ chính xác được cho là của POPE bằng cách kiểm tra lại các nhãn trên hình ảnh của điểm chuẩn (tức là MSCOCO) – và phát hiện ra rằng một số lượng đáng ngạc nhiên là sai hoặc không rõ ràng.

Ví dụ từ tập dữ liệu MSCOCO năm 2014. Nguồn: https://arxiv.org/pdf/1405.0312

Các lỗi này thay đổi cách các mô hình được xếp hạng, với một số mô hình ban đầu hoạt động tốt nhưng giảm xuống khi được đánh giá lại với các nhãn đã sửa.

Trong các thử nghiệm, các tác giả đã đánh giá một loạt các mô hình ngôn ngữ hình ảnh mở trên cả điểm chuẩn POPE ban đầu và phiên bản RePOPE đã sửa lại của họ.

Theo bài báo, việc sửa lại các chú thích dẫn đến những thay đổi đáng kể trong xếp hạng mô hình, đặc biệt là trong điểm F1, với một số mô hình hoạt động tốt trên POPE giảm xuống khi được đánh giá trên RePOPE.

Các tác giả cho rằng sự thay đổi này minh họa mức độ mà các lỗi chú thích có thể che giấu hành vi ảo giác thực sự của mô hình, và họ trình bày RePOPE như một công cụ đáng tin cậy hơn để đánh giá sự dễ bị ảo giác.

Trong một ví dụ khác từ bài báo mới, chúng ta thấy cách các chú thích POPE ban đầu không thể xác định chính xác các đối tượng tinh vi, chẳng hạn như một người ngồi bên cạnh cabin của một xe điện trong ảnh bên phải nhất, hoặc ghế bị che khuất bởi người chơi tennis trong ảnh thứ hai từ trái.

Phương pháp và Thử nghiệm

Các nhà nghiên cứu đã chú thích lại tất cả các chú thích trong tập dữ liệu MSCOCO ban đầu, với hai người chú thích được chỉ định cho mỗi ví dụ dữ liệu. Khi có sự không rõ ràng về chất lượng của các nhãn gốc (như trong các ví dụ dưới đây), những kết quả này được đặt sang một bên khỏi vòng thử nghiệm.

Các trường hợp không rõ ràng, nơi các sai sót trong việc chú thích POPE phản ánh các ranh giới phân loại không rõ ràng. Những trường hợp này được loại trừ khỏi RePOPE do tính chất chủ quan của các phân loại như vậy, cũng như sự không nhất quán trong các nhãn gốc của MSCOCO.

Bài báo cho biết:

‘Các chú thích gốc đã bỏ qua những người trong nền hoặc đằng sau kính, người chơi tennis che khuất ‘ghế’ ở hậu cảnh và món salad cà rốt chỉ chứa một dải sọc nhỏ của cà rốt.

‘Đối với một số đối tượng, các chú thích COCO không nhất quán, có lẽ do các định nghĩa khác nhau về các đối tượng đó được sử dụng bởi các người chú thích ban đầu. Việc phân loại một con gấu bông như một con gấu, một chiếc mô tô như một chiếc xe đạp có động cơ, hoặc một phương tiện sân bay như một chiếc ô tô phụ thuộc vào các định nghĩa cụ thể, dẫn đến sự không nhất quán trong các chú thích POPE. Do đó, chúng tôi chú thích các cặp hình ảnh-câu hỏi tương ứng là ‘không rõ ràng’.’

Kết quả của việc chú thích lại: các câu hỏi tích cực được chia sẻ trên tất cả các biến thể POPE. Trong số những câu hỏi được dán nhãn ‘Có’ trong POPE, 9,3% được phát hiện là không chính xác và 13,8% được phân loại là không rõ ràng. Đối với các câu hỏi ‘Không’, 1,7% được dán nhãn sai và 4,3% là không rõ ràng.

Các tác giả đã đánh giá một loạt các mô hình mở trên POPE và trên RePOPE, trên nhiều kiến trúc và kích thước mô hình khác nhau. Các mô hình được chọn bao gồm một số kiến trúc hàng đầu trên bảng xếp hạng OpenVLM: InternVL2.5 (8B/26B/38B/78B và 8B-MPO/26B-MPO); LLaVA-NeXT; Vicuna; Mistral 7b; Llama; LLaVA-OneVision; Ovis2 (1B/2B/4B/8B); PaliGemma-3B; và PaliGemma2 (3B/10B).

Kết quả ban đầu: tỷ lệ lỗi cao trong các nhãn tích cực ban đầu dẫn đến sự giảm mạnh trong các kết quả tích cực thực sự trên tất cả các mô hình. Các kết quả tích cực giả mạo thay đổi trên các tập con, gần như tăng gấp đôi trên tập con ngẫu nhiên, nhưng vẫn không thay đổi trên tập con phổ biến và giảm nhẹ trên tập con đối thủ. Việc chú thích lại có tác động lớn đến xếp hạng dựa trên F1. Các mô hình như Ovis2-4B và Ovis2-8B, những mô hình hoạt động tốt trên các tập con phổ biến và đối thủ trong POPE, cũng vươn lên vị trí hàng đầu trên tập con ngẫu nhiên dưới RePOPE.. Vui lòng tham khảo tệp PDF nguồn để có độ phân giải tốt hơn.

Các biểu đồ kết quả trên minh họa cách số lượng kết quả tích cực thực sự và kết quả tích cực giả mạo thay đổi sau khi sửa lại các nhãn trong điểm chuẩn.

Các kết quả tích cực thực sự giảm trên tất cả các mô hình, cho thấy rằng chúng thường được ghi nhận cho các câu trả lời chính xác khi những câu trả lời đó chỉ chính xác dưới các nhãn bị lỗi, trong khi các kết quả tích cực giả mạo theo một mẫu thay đổi.

Trên tập con ‘ngẫu nhiên’ của POPE, các kết quả tích cực giả mạo gần như tăng gấp đôi đối với nhiều mô hình, cho thấy rằng một số lượng đáng kể các đối tượng được gắn nhãn là ảo giác thực sự có mặt trong hình ảnh nhưng đã bị bỏ qua trong quá trình chú thích ban đầu. Trong trường hợp này, nhiều lỗi mô hình được cho là đã được mô hình hóa sai do lỗi trong việc chú thích dữ liệu.

Đối với tập con ‘đối thủ’ của POPE, nơi các câu hỏi dựa trên các đối tượng thường xuất hiện cùng nhau, các kết quả tích cực giả mạo giảm. Điều này có thể phản ánh khả năng cao hơn rằng đối tượng được cho là vắng mặt thực sự có trong hình ảnh nhưng bị bỏ qua trong quá trình chú thích.

Mặc dù những thay đổi này ảnh hưởng đến độ chính xác và độ nhớ, xếp hạng mô hình vẫn tương đối ổn định đối với cả hai chỉ số.

Điểm F1 – thước đo đánh giá chính của POPE – nhạy cảm hơn nhiều với việc sửa lại các nhãn. Trên tập con ngẫu nhiên, các mô hình đã được xếp hạng gần đầu trong POPE ban đầu, như InternVL2.5-8B và -26B, giảm xuống vị trí cuối khi được đánh giá trên RePOPE. Những mô hình khác, như Ovis2-4B và -8B, vươn lên vị trí hàng đầu.

Một mẫu tương tự xuất hiện trong các điểm số chính xác, mặc dù các tác giả lưu ý rằng những điểm số này có thể bị thiên vị, vì tập dữ liệu đã sửa lại chứa một số lượng không đồng đều các ví dụ tích cực và tiêu cực.

Các tác giả cho rằng tác động mạnh của các lỗi chú thích lên kết quả điểm chuẩn nhấn mạnh nhu cầu về dữ liệu chất lượng cao. Để hỗ trợ đánh giá ảo giác đối tượng một cách đáng tin cậy hơn, họ đã phát hành các nhãn đã sửa lại trên GitHub.

Tuy nhiên, họ lưu ý rằng việc sửa lại nhãn này không giải quyết hoàn toàn vấn đề bão hòa của điểm chuẩn, vì nhiều mô hình vẫn đạt được tỷ lệ tích cực thực sự và tỷ lệ tích cực giả mạo trên 90%. Họ đề xuất rằng các điểm chuẩn bổ sung, như DASH-B, sử dụng một tập hợp các ví dụ tiêu cực thách thức hơn, nên được sử dụng cùng với RePOPE.

Kết luận

Thử nghiệm này có thể thực hiện được vì quy mô nhỏ của tập dữ liệu liên quan. Việc chứng minh cùng một giả thuyết trên các tập dữ liệu siêu lớn sẽ liên quan đến việc làm việc trên các phần nhỏ của dữ liệu; trong các tập dữ liệu lớn và đa dạng, có thể gần như không thể phân lập các nhóm đại diện thống kê và ngữ nghĩa – điều này có thể làm sai lệch kết quả.

Ngay cả khi điều đó có thể, thì giải pháp nào sẽ có dưới tình trạng hiện tại của nghệ thuật? Luận điểm này sẽ quay trở lại với nhu cầu về chú thích con người tốt hơn và dồi dào hơn.

Về vấn đề này, ‘tốt hơn’ và ‘dồi dào hơn’ tồn tại như những vấn đề riêng biệt, vì người ta có thể có được một lượng lớn hơn các chú thích thông qua các nền kinh tế theo kiểu “đua đến đáy” như Amazon Mechanical Turk (AMT). Rõ ràng, nền kinh tế phụ này có khả năng bóc lột và thường dẫn đến kết quả kém.

Hoặc, người ta có thể phân công các nhiệm vụ chú thích cho các khu vực kinh tế nơi cùng một khoản chi tiêu sẽ mang lại một lượng lớn hơn các chú thích. Tuy nhiên, càng xa người chú thích khỏi trường hợp sử dụng dự kiến của mô hình mà các nhãn của họ sẽ định hình, thì càng ít có khả năng mô hình kết quả sẽ phù hợp với nhu cầu hoặc kỳ vọng của lĩnh vực mục tiêu.

Điều này vẫn là một trong những thách thức tồn tại và chưa được giải quyết nhiều nhất trong kinh tế học của việc phát triển học máy.

Được xuất bản lần đầu vào thứ Tư, ngày 23 tháng 4 năm 2025