Hệ Thống Thị Giác AI Thường Không Thật Sự ‘Nhìn’ Tất Cả

Các hệ thống thị giác AI có thể giải thích hình ảnh bằng cách sử dụng các khuôn mẫu thay vì nhìn thực sự vào hình ảnh. Nếu loại bỏ nhãn, các giải thích thị giác giả định sẽ sụp đổ.

Kể từ khi các nền tảng AI tiên phong đang liên tục đau đầu vì chi phí với hy vọng đạt được một điểm bùng nổ AI, thì những tiết kiệm nhỏ trong việc cung cấp và dịch vụ của chúng có thể tạo ra sự khác biệt lớn: ví dụ, mỗi lần một mô hình ngôn ngữ lớn (LLM) có thể cung cấp một câu trả lời từ ma trận đã được đào tạo của nó thay vì thực hiện một cuộc hành trình dựa trên RAG đến web để thu thập thông tin hiện tại mà sẽ cần được chưng cất và tinh chế, nó sẽ trả lời nhanh hơn và tiết kiệm tiền cho nhà cung cấp.

Tất nhiên, nó có nhiều khả năng tưởng tượng mà không cần phải tốn thêm token và năng lượng để đặt câu hỏi và kiểm tra các giả định của nó.

Tương tự, ngay cả khi một LLM thực sự truy cập web, nó thường sẽ trích dẫn các URL không liên quan, không phù hợp hoặc thậm chí không có nghĩa, vì nó đã tiết kiệm năng lượng bằng cách chỉ đánh giá các siêu dữ liệu cho các trang đó, thay vì thực sự đọc chúng.

Tương tự, nếu bạn tải một tệp PDF lên một LLM và muốn thảo luận về nó, LLM có thể cuối cùng xóa nội dung tệp PDF khỏi bộ nhớ của nó và chỉ sử dụng siêu dữ liệu thưa thớt về nó để trả lời các câu hỏi của bạn, mà không cần phải tuyên bố rằng bạn nên tải nó lên lại – dẫn đến lỗi, giả định sai và thêm nhiều ảo giác hơn.

Thử Nghiệm Công Nghiệp

Đây là những tiết kiệm thực tế, mặc dù không hoàn toàn trung thực, được áp đặt lên người dùng vì lý do hoạt động. Trong thế giới thu thập dữ liệu và đào tạo mô hình upstream, nơi hàng triệu hình ảnh phải được xử lý en masse và không thể được chú thích bằng tay bởi con người, áp lực để giảm thiểu chi tiêu năng lượng và thời gian là rất lớn.

Một trong những “phương pháp tiết kiệm” như vậy là sử dụng một mô hình ngôn ngữ tầm nhìn trung gian như Contrastive Language Image Pretraining (CLIP), nó ánh xạ cả hình ảnh và văn bản vào một không gian ngữ nghĩa chung, để các khái niệm thị giác có thể được so sánh bằng ngôn ngữ, thay vì sử dụng nhãn rõ ràng.

Điều đó có nghĩa là gì? Hãy tưởng tượng một đứa trẻ học từ hàng triệu bức ảnh có chú thích cho đến khi nó phát triển một ý niệm thô về những hình ảnh và từ ngữ nào tự nhiên đi cùng nhau.

Vấn đề là, rất thường, các chú thích được viết bởi chủ sở hữu trang web và các thực thể khác quan tâm nhiều hơn đến SEO tốt hơn là chú thích tốt, dẫn đến rất nhiều “tiếng ồn” hoặc nhãn không chính xác.

Tuy nhiên, quy mô mà một khái niệm và một từ liên quan xuất hiện trong các tập dữ liệu lớn thường có nghĩa là các từ cốt lõi sẽ được liên kết với hình ảnh chính xác, vì số lượng nhỏ hơn các nhãn “vô nghĩa” sẽ thường bị đẩy vào một phần ngoại lệ, và sẽ không thường xuyên được liên kết với hình ảnh. Vì vậy, nó hầu như hoạt động, hầu hết thời gian.

Chú thích dữ liệu được thực hiện theo cách này vì nó rẻ và hoạt động tối thiểu, không phải vì nó tốt.

Không Có Nhãn

Vào tình huống khó khăn này, một bài báo mới từ Carnegie Mellon cho thấy rõ ràng rằng nhiều chú thích được gán cho hình ảnh – ví dụ, bởi CLIP – đơn giản là khuôn mẫu dựa trên việc tham khảo nhãn (dựa trên văn bản) của hình ảnh, thay vì bằng cách thực sự nhìn vào hình ảnh itu.

Trong một ví dụ nổi bật từ bài báo, CLIP được ghép với các mô tả được tạo từ tên lớp ImageNet dâu tây, sau đó được thử nghiệm trên ImageNet-Sketch, nơi mọi quả dâu tây đều là một bản vẽ đen trắng – nhưng các mô tả vẫn khẳng định quả dâu tây là ‘đỏ’ và ‘chín’:

Mô tả tên lớp thất bại trên ImageNet-Sketch: ngôn ngữ ưu tiên nói ‘đỏ’ và ‘chín’, trong khi thuộc tính dựa trên hình ảnh khớp với bản vẽ đen trắng. Nguồn

Ở đây, CLIP được ghép với các mô tả được tạo chỉ từ tên lớp dâu tây, thông qua GPT-3 hoặc kiến thức bên ngoài. Những mô tả này không bao giờ nhìn thấy hình ảnh, vì vậy chúng mặc định vào các đặc điểm tiêu chuẩn như đỏ và lá. Khi áp dụng cho các bản vẽ đơn sắc trong ImageNet-Sketch, quá trình này thất bại.

Ngược lại, các thuộc tính được suy dẫn từ chính hình ảnh chọn các tính năng vẫn còn đúng dưới sự thay đổi, chẳng hạn như điểm hoặc hình trái tim.

Vì vậy, chúng ta có thể thấy rằng đối tượng được xác định không phải là bởi nó là gì, mà, như thể, ‘theo danh tiếng’; các tính từ ‘đỏ’ và ‘lá’ là chính xác cho phân cấp dâu tây, nhưng vượt quá ranh giới của hình ảnh (thực thể) trong câu hỏi.

Các tác giả của bài báo mới – có tiêu đề Thuộc tính Nên Đến Từ Hình Ảnh, Không Phải Từ Tên Lớp: Lựa Chọn Thuộc tính Có Điều Kiện Phân Phối Cho Mô Hình Ngôn Ngữ Thị Giác – lập luận rằng đây là một vấn đề dai dẳng và phổ biến, và đề xuất việc chọn thuộc tính trực tiếp từ chính hình ảnh, để chúng phản ánh những gì thực sự có thể nhìn thấy dưới sự thay đổi phân phối, thay vì dựa vào ưu tiên tên lớp.

Các tác giả tuyên bố:

‘Một con đường phổ biến để phân loại zero-shot có thể giải thích yêu cầu một mô hình ngôn ngữ lớn (LLM) mô tả mỗi tên lớp và sau đó đưa ra các mô tả cho CLIP. Chúng tôi chỉ ra rằng những mô tả này mang rất ít bằng chứng thị giác: loại bỏ tên lớp khỏi lời nhắc sẽ làm giảm độ chính xác của ImageNet từ 59,5% xuống 15,5%.

‘Chẩn đoán là rằng các mô tả được điều kiện bởi nhãn chứ không phải bởi hình ảnh, vì vậy chúng mô tả khái niệm chung và đánh lừa chính xác khi dữ liệu thay đổi; một LLM khăng khăng rằng dâu tây là đỏ, nhưng mỗi quả dâu tây trong ImageNet-Sketch là một bản vẽ đơn sắc.

‘Vì vậy, chúng tôi chọn thuộc tính từ bộ sưu tập hình ảnh đích thay vì: chúng tôi đánh giá một nhóm thuộc tính lớn chống lại hình ảnh trong không gian nhúng chung của CLIP và giữ lại các thuộc tính có điểm số cao nhất cho mỗi lớp.’

Giải pháp đề xuất của họ là mô hình vẫn giữ nguyên, nhưng thay vì dựa vào mô tả tên lớp, nó kiểm tra một nhóm thuộc tính ứng cử viên chống lại hình ảnh và chỉ giữ lại những thuộc tính thực sự phù hợp với những gì có thể nhìn thấy.

Chi phí của điều này có thể chấp nhận được, vì nó không đề xuất việc tái triệu hồi năng lượng đã được tiết kiệm của các phương pháp ‘đánh lừa’ đã dẫn đến vấn đề ban đầu. Thay vào đó, nó thêm một quá trình đánh giá trên các thuộc tính ứng cử viên cho mỗi lớp, để độ trễ tăng nhẹ – nhưng ít hơn nhiều so với việc đào tạo lại hoặc các đường ống RAG đầy đủ. Về lý thuyết, chi phí năng lượng sẽ được chấp nhận, cân nhắc với sự cải thiện trong sự phù hợp.

Phương Pháp

Vì phương pháp thử nghiệm của các tác giả đặc biệt khó hiểu, và vì không có thêm thông tin hữu ích nào sẽ được thu thập bằng cách kiểm tra chúng một cách sâu sắc, chúng tôi sẽ, không điển hình, chỉ xem xét một cái nhìn tổng quan ngắn gọn về cách tiếp cận của họ.

Công việc này mô tả vấn đề cốt lõi là Đồng Hóa Tên Lớp: một tình huống trong đó hiệu suất dường như đến từ các mô tả có ý nghĩa, nhưng trên thực tế phụ thuộc vào chính tên lớp, với các mô tả thêm rất ít – và thất bại ngay khi sự hỗ trợ đó bị loại bỏ

Bài báo sau đó lập luận rằng sự thất bại này là không thể tránh khỏi, vì các mô tả được tạo từ một tên lớp chỉ có thể mô tả những gì một thứ thường trông như thế nào, chứ không phải là những gì thực sự có mặt trong một hình ảnh cụ thể. Ngay khi dữ liệu rời khỏi những kỳ vọng đó, các mô tả trở nên không chỉ vô ích mà còn tích cực đánh lừa, hiệu quả đánh bại câu trả lời chính xác.

Các nhà nghiên cứu cũng xem xét liệu CLIP có thể chỉ kém trong việc phát hiện thuộc tính mà không có sự giúp đỡ của nhãn lớp, hoặc liệu các mô tả được tạo bởi GPT có quá chung chung để có ích. Tuy nhiên, các thí nghiệm tiếp theo của họ sẽ bác bỏ cả hai giải thích.

Để giải quyết vấn đề này, một mô hình đóng băng CLIP đã được sử dụng để so sánh hình ảnh với một nhóm lớn thuộc tính ứng cử viên được rút ra từ VAW, LSA và đầu ra GPT-3, giữ lại chỉ những thuộc tính phù hợp nhất với hình ảnh, mà không cần đào tạo lại hoặc giám sát hình ảnh-văn bản bổ sung:

Tổng quan về hệ thống được đề xuất: một mô hình CLIP đóng băng mã hóa cả hình ảnh và một nhóm thuộc tính ứng cử viên, sử dụng độ tương tự cosine để đo lường mức độ phù hợp của mỗi mô tả với nội dung thị giác. Các thuộc tính có điểm số cao nhất sau đó được giữ lại trên cơ sở mỗi lớp, tạo ra một tập hợp các lời nhắc giải thích trong khi giữ cả mã hóa hình ảnh và văn bản cố định trong suốt quá trình.

Dữ Liệu và Thử Nghiệm

Các thí nghiệm của các tác giả sử dụng CLIP với một ResNet-50 và đánh giá hiệu suất trên ImageNet cùng với bốn biến thể phân phối thay đổi: ImageNetV2; ImageNet-Sketch; ImageNet-A; và ImageNet-R.

Thuộc tính được chọn bằng cách sử dụng chỉ hình ảnh đào tạo ImageNet ban đầu – cho phép các tập dữ liệu thay đổi phục vụ như một thử nghiệm ngoài phân phối để kiểm tra xem các thuộc tính được suy dẫn từ hình ảnh có còn hữu ích khi ngoại hình thị giác thay đổi:

Độ chính xác phân loại hàng đầu trên ImageNet và bốn điểm chuẩn phân phối thay đổi. Kết quả cho thấy hiệu suất vẫn tương tự khi tên lớp được bao gồm trong lời nhắc, nhưng sụp đổ khi mô tả bị buộc phải đứng một mình, cho thấy rằng nhiều hiệu suất rõ ràng của chúng có nguồn gốc từ chính nhãn lớp. Ngược lại, các thuộc tính được chọn trực tiếp từ hình ảnh vẫn còn nhiều thông tin trên tất cả các tập dữ liệu được thử nghiệm.

Chọn lại thuộc tính từ cùng nhóm ứng cử viên được tạo bởi GPT, nhưng có điều kiện trên hình ảnh ImageNet, đã tăng độ chính xác không có tên lớp từ 15,5% lên 19,4%. Vì mô hình, nhóm thuộc tính và giao thức đánh giá vẫn không thay đổi, lợi ích có thể được quy cho hoàn toàn việc chọn có điều kiện hình ảnh.

Kết quả cũng chỉ ra rằng CLIP có thể xác định thuộc tính mà không cần nhãn lớp, và rằng nhóm ứng cử viên được tạo bởi GPT đã chứa các mô tả hữu ích. Sự thất bại chính dường như nằm trong sinh mô tả có điều kiện nhãn, thường thất bại trong việc tiết lộ các thuộc tính quan trọng nhất đối với chính hình ảnh.

Mặc dù các tác giả tiếp tục một loạt các thí nghiệm bổ sung rộng rãi, chúng tôi phải chuyển hướng người đọc đến tài liệu nguồn để biết thêm chi tiết về những thí nghiệm này, vì thay vì mở rộng phạm vi của các kết quả, chúng chỉ xác nhận các giả thuyết trung tâm được phác thảo cho đến nay – rằng sự phụ thuộc vào nhãn có thể tiềm ẩn khả năng của dữ liệu hình ảnh thực trong các ứng dụng thị giác máy tính hiện đại, với sự phụ thuộc rẻ tiền vào xác suất ‘danh tiếng’ là một nguy cơ đối với độ chính xác của kết quả.

Kết Luận

Điều thú vị là xem xét khoản nợ mà AI tạo ra hiện đại nợ với hàng triệu hình ảnh được chú thích bằng tay đã được tiêu thụ vào các tập dữ liệu lớn như Common Crawl, từ đầu thời kỳ siêu quy mô.

Mỗi lần một hệ thống nhận dạng hình ảnh hoặc tự gắn nhãn cố gắng phân loại hoặc tái gắn nhãn một hình ảnh cũ hoặc mới, nguồn gốc của kiến thức đó đi ngược lại đến một nhà cung cấp viết ‘Tạp chí nóng 1970! trong alt nhãn của một danh sách eBay vào năm 2004, hoặc một sự kiện tương tự.

Mặc dù nhiều người tin rằng thời đại vàng của việc nhồi nhét từ khóa đã bị quét sạch bởi thuật toán PageRank tinh vi hơn của Google gần ba thập kỷ trước, cách tiếp cận ‘tường văn bản, hy vọng một số thứ sẽ dính’ vẫn còn rất sống động: chỉ昨, đứng đầu HTML của trang phát hành mô hình Qwen-Image-3.0 là một cơn bùng nổ từ thời kỳ trước (nó có thể vẫn còn ở đó!) của sự điên rồ về nhồi nhét từ khóa:

Mã HTML cho việc phát hành Qwen Image 3 là một bức tường văn bản từ khóa không hoàn toàn an toàn, ít nhất là tại thời điểm viết. Nguồn

Cho dù đó là một sự cố tình hay không, danh sách từ khóa không an toàn này trong trang Qwen Image 3 được rút ra một cách có hệ thống từ các danh sách mục tiêu hay được viết tay bởi các chuyên gia SEO, đây là một ví dụ điển hình về nguồn gốc thô của hệ thống AI tạo ra hiện đại, với ý nghĩa thường mang theo một lượng lớn lợi ích tự thân sẽ cần được loại bỏ hoặc tính đến một cách nào đó, khi những thuật ngữ như vậy can thiệp vào hoặc cản trở các hệ thống và ứng dụng hợp lý.

Được xuất bản lần đầu vào thứ Tư, ngày 22 tháng 7 năm 2026