Dữ Liệu ‘Lừa Đảo’ Làm Ô Nhiễm Hiệu Suất Của Trí Tuệ Nhân Tạo Tạo Sinh

Một nghiên cứu mới cho thấy nhiều tập dữ liệu hình ảnh phổ biến được sử dụng để đào tạo mô hình AI bị ô nhiễm bởi hình ảnh kiểm tra hoặc gần giống, cho phép mô hình gian lận bằng cách ghi nhớ câu trả lời thay vì học hỏi. Sự rò rỉ này là phổ biến nhưng thường không được phát hiện, làm cho mô hình được đào tạo trên dữ liệu quy mô web có lợi thế không công bằng.

Khi bạn tham gia một kỳ thi lái xe, bạn thường không được thông báo trước về chính xác những con đường sẽ được sử dụng cho kỳ thi. Nếu bạn biết (và bạn thiếu một chút liêm chính), bạn có thể ‘tối ưu hóa’ cho kỳ thi bằng cách luyện tập lặp đi lặp lại trên tuyến đường đó, thay vì phát triển các kỹ năng lái xe rộng hơn có thể xử lý bất kỳ con đường một cách hợp lý.

Trong đào tạo mô hình học máy, đây là một ẩn dụ hợp lý cho phân chia dữ liệu – việc chia nhỏ dữ liệu tập huấn thành (thường) 70% cho dữ liệu sẽ được sử dụng để đào tạo mô hình, với 30% còn lại được sử dụng làm dữ liệu ‘trong tự nhiên’.

Vì dữ liệu ‘trong tự nhiên’ chưa từng được mô hình nhìn thấy, nếu mô hình hoạt động tốt trên dữ liệu đó, nó có thể được coi là hiệu quả và hoạt động; nếu không, mô hình có thể quá拟 hợp trên một tập dữ liệu cân bằng – hoặc dữ liệu cần thêm việc chăm sóc và định nghĩa.

Dù sao, không đánh giá mô hình trên dữ liệu đào tạo của nó là nền tảng của phương pháp hiện tại trong nghiên cứu và phát triển AI.

Lại Cùng Một Lần Nữa

Theo một bài báo nghiên cứu mới từ Nhật Bản, lĩnh vực nghiên cứu tầm nhìn máy tính và trí tuệ nhân tạo tạo sinh đã không gần đạt được các nỗ lực của các nhà nghiên cứu LLM để đảm bảo rằng dữ liệu kiểm tra không làm ô nhiễm dữ liệu đào tạo; trong các thử nghiệm, các nhà nghiên cứu đã phát hiện ra rằng mọi tập dữ liệu tầm nhìn quy mô siêu lớn mà họ đã nghiên cứu, bao gồm cả những tập dữ liệu đang cung cấp năng lượng cho một số hệ thống trí tuệ nhân tạo tạo sinh lớn nhất hiện nay, đã cho phép dữ liệu kiểm tra của chúng vượt qua vào dữ liệu đào tạo – có nghĩa là các chuẩn mực và báo cáo hiệu suất của mô hình được đào tạo trên các phân chia này sẽ không chính xác hơn kết quả của một kỳ thi từ một người nào đó đã lén mang một tờ giấy ghi chú vào phòng thi, và sẽ không phản ánh hiệu suất trong thế giới thực trên dữ liệu mới thực sự.

Ví dụ về sự ô nhiễm dữ liệu được các nhà nghiên cứu phát hiện, nơi các điểm dữ liệu gần giống hoặc trùng lặp tồn tại trong cả dữ liệu đào tạo và kiểm tra. Nguồn: https://arxiv.org/pdf/2508.17416

Trong hình ảnh trên, từ bài báo mới, chúng ta thấy các ví dụ về sự ô nhiễm dữ liệu hoặc gần giống được tìm thấy trong cả dữ liệu đào tạo và kiểm tra của nhiều mô hình – đủ để làm mất hiệu lực hiệu suất của mô hình trên dữ liệu đó và nhẹ nhàng làm tăng điểm số chung của nó, tạo điều kiện cho sự xuất hiện của mức độ tổng quát hóa mà mô hình có thể không thực sự đạt được.

Để làm cho vấn đề trở nên phức tạp hơn, sự ô nhiễm này dường như xảy ra trên một loạt các kịch bản có thể, bao gồm cả ‘pre-training‘, nơi trọng số của mô hình tổ tiên cũ hơn được sử dụng để ‘khởi động’ một mô hình mới. Nếu mô hình tổ tiên cũ hơn có một số dữ liệu giống như dữ liệu mới đang được sử dụng để pre-training, thì sự ô nhiễm chéo có thể xảy ra ngay cả khi phân chia 70/30 hoặc 80/20 là sạch.

Cumulative Effect

Điều này gần như chắc chắn sẽ xảy ra ngay cả trong các tập dữ liệu mới nhất: phạm vi của các tập dữ liệu tầm nhìn/ngôn ngữ đã tăng lên rất nhiều trong năm năm qua, bao gồm không chỉ dữ liệu hình ảnh mới nhất trên web, mà còn thu thập lại nhiều dữ liệu đã có trong các tập dữ liệu cũ hơn, lịch sử.

Hơn nữa, các quy trình tự động được thiết kế để tìm kiếm và lọc hàng tỷ hình ảnh để tìm kiếm các bản sao và gần giống hiện đang phải đối mặt với một nhiệm vụ quá nặng nề mà việc chăm sóc bản thân – chi phí về thời gian và tiền bạc – phải được xem xét trong bối cảnh các hạn chế về ngân sách

Trong khi đó, việc sao chép hình ảnh là một hệ quả không thể tránh khỏi của loại thu thập web Common Crawl, do thực tế phổ biến của việc đăng lại và nén lại hình ảnh, và áp dụng các chỉnh sửa như cắt, và thậm chí lật (để tránh phát hiện, khi hình ảnh có thể đã được sử dụng mà không có sự cho phép, ví dụ).

Các tác giả quan sát*:

‘Sự rò rỉ dữ liệu là một vấn đề phổ biến, tồn tại trong hầu hết các tập dữ liệu trực quan. Sự rò rỉ có thể che giấu khả năng tổng quát hóa của mô hình, điều này đặc biệt gây vấn đề khi so sánh mô hình được đào tạo trên các tập dữ liệu khác nhau, dẫn đến các so sánh không công bằng.

‘Chúng tôi khuyên các nhà thiết kế tập dữ liệu nên xem xét cẩn thận các ý nghĩa của những đánh giá này. Để có một đánh giá mô hình công bằng hơn, chúng tôi đề xuất sử dụng các bộ phát hiện trùng lặp xem xét cả sự rò rỉ cứng và mềm.

‘Ideally, hình ảnh bị rò rỉ nên được loại bỏ khỏi tập đào tạo, và nếu không thể, chúng nên ít nhất được loại bỏ khỏi tập kiểm tra.’

Bài báo giải thích chi tiết về một số thử nghiệm mà các nhà nghiên cứu đã thực hiện trên các tập dữ liệu lớn và phổ biến – mỗi tập dữ liệu đều cho thấy một mức độ ô nhiễm nào đó.

Bài báo mới này có tiêu đề Sự Rò Rỉ Dữ Liệu Trong Các Tập Dữ Liệu Trực Quan, và đến từ ba nhà nghiên cứu tại Đại học Osaka.

Phương Pháp

Các tác giả của bài báo định nghĩa sự rò rỉ theo ba chiều: phương thức, phạm vi, và mức độ.

Phương thức phân biệt liệu chỉ có hình ảnh bị rò rỉ hay cả hình ảnh và nhãn đều bị lộ; phạm vi xác định liệu sự chồng chéo xảy ra trong cùng một tập dữ liệu hay trên các tập dữ liệu khác nhau; và mức độ định nghĩa liệu nội dung bị trùng lặp là giống hệt hay chỉ gần giống.

Về sự rò rỉ, hai kịch bản được xem xét trong công việc là sự rò rỉ trong tập dữ liệu (trong đó hình ảnh đánh giá tái xuất hiện trong phân chia đào tạo của cùng một tập dữ liệu), và sự rò rỉ giữa các tập dữ liệu (trong đó hình ảnh đánh giá từ một tập dữ liệu được sử dụng để đào tạo một khác tập dữ liệu).

Về mức độ, hai mức được định nghĩa là sự rò rỉ mềm (trong đó hình ảnh không giống hệt nhưng có sự thay đổi nhỏ), và sự rò rỉ cứng (trong đó hình ảnh giống hệt nhau trên cả đào tạo và đánh giá).

Các nhà nghiên cứu giải quyết việc phát hiện sự rò rỉ theo tìm kiếm hình ảnh, sử dụng các bộ mã hóa hình ảnh để đại diện cho mỗi hình ảnh dưới dạng vector tính năng. Tập query là dữ liệu đánh giá, trong khi collection là tập đào tạo.

Đối với các tập dữ liệu nhỏ hơn, mỗi vector truy vấn được so sánh trực tiếp với tất cả các vector đào tạo bằng tương tự cosine. Đối với các tập dữ liệu lớn hơn, một chỉ mục Faiss được xây dựng để cho phép tìm kiếm KNN nhanh hơn.

Vì bộ mã hóa cần phải nắm bắt đủ thông tin trực quan để phát hiện sự tương đồng tinh vi, nhưng vẫn phải hiệu quả khi đối mặt với lượng dữ liệu rất lớn, các tác giả dựa vào các tính năng CLIP được tính toán trước do các nhà tạo tập dữ liệu cung cấp, trong trường hợp của bộ sưu tập LAION dướipins Stable Diffusion, và các dự án sau này.

Các tác giả lưu ý rằng việc cho phép CLIP sử dụng sự hiểu biết được chắt lọc của nó về tập dữ liệu (thay vì thăm dò các tệp thực tế ở quy mô) đã tăng tốc quá trình đáng kể, và cung cấp sự nhất quán được cải thiện trên các so sánh.

Dữ Liệu và Thử Nghiệm

Bộ mã hóa hình ảnh CLIP được sử dụng trong các thử nghiệm cho công việc mới là CLIP ViT-B/32 ban đầu được sử dụng để sàng lọc LAION. Để xác định xem các hình ảnh đa dạng có liên quan đến nhau hay không, KNN được sử dụng dưới AutoFaiss.

Các tập dữ liệu được nhóm thành ba loại: pre-training – các bộ sưu tập lớn, được thu thập từ web, được sử dụng để đào tạo các mô hình tổng quát; đào tạo – các bộ sưu tập nhỏ hơn, thường được chú thích, được sử dụng để điều chỉnh mô hình trực tiếp; và chuẩn mực – các bộ sưu tập được chú thích thủ công, được sử dụng độc quyền để đánh giá.

Phân tích bao gồm hai mươi phân chia trên bảy tập dữ liệu: Microsoft COCO được sử dụng như một tập đào tạo và đánh giá, bao gồm các phân chia đào tạo, xác thực, kiểm tra và không có nhãn; Flickr30k được sử dụng độc quyền như một chuẩn mực; và bộ sưu tập Google Conceptual Captions (GCC) được sử dụng như một nguồn pre-training, với phần xác thực của nó cũng được sử dụng để đánh giá.

Thêm vào đó, ImageNet được sử dụng cho cả đào tạo và chuẩn mực, trong khi tập dữ liệu LAION-400M được sử dụng chỉ để pre-training.

OpenImages v4 đóng góp cả dữ liệu đào tạo và chuẩn mực, và TextCaps cung cấp cả đào tạo và kiểm tra để đánh giá.

Ví dụ về chú thích hình ảnh từ tập dữ liệu Open Images của Google, được kiểm tra trong công việc mới. Nguồn: https://arxiv.org/pdf/1811.00982

Để đánh giá xem phương pháp có thể phát hiện sự rò rỉ khi hình ảnh đã được thay đổi tinh vi thông qua thay đổi kích thước, cắt hoặc các biến đổi không ngữ nghĩa khác, các tác giả đã thử nghiệm trên Flickr30k, chọn ngẫu nhiên 5.000 hình ảnh làm truy vấn, và sử dụng toàn bộ tập dữ liệu làm bộ sưu tập tham chiếu.

Mỗi hình ảnh truy vấn đã được biến đổi trước khi được mã hóa (tức là, bị thay đổi không ngữ nghĩa như thay đổi kích thước hoặc cắt), và sau đó được khớp với mục giống nhất trong bộ sưu tập bằng tương tự cosine; một trận đấu chỉ được tính nếu hình ảnh gốc được lấy lại là kết quả hàng đầu.

Ba bộ mã hóa được so sánh: ResNet-152; DINOv2 ViT-B/14; và CLIP ViT-B/32.

Bốn loại biến đổi hình ảnh không ngữ nghĩa được sử dụng: hình học (lật và xoay); cắt (loại bỏ 20, 50 hoặc 100 pixel từ mỗi cạnh); pixel hóa (làm mờ Gaussian, thêm nhiễu hoặc giảm xuống 128 hoặc 256 pixel); và màu sắc (xám, đảo ngược hoặc phủ đỏ, xanh lá cây hoặc xanh da trời).

Từ tài liệu bổ sung, ví dụ về các biến đổi được áp dụng cho dữ liệu – các quy trình điển hình cũng trong tiền xử lý tăng cường dữ liệu.

Sau đó, các tác giả đã thử nghiệm để phát hiện sự rò rỉ trong tìm kiếm hình ảnh:

Độ chính xác của phát hiện rò rỉ trên 5.000 hình ảnh truy vấn Flickr30k bị biến đổi không ngữ nghĩa.

Cả ba bộ mã hóa đều đạt được hiệu suất hoàn hảo trên hình ảnh không thay đổi, và CLIP vẫn đáng tin cậy trên cắt, lật ngang, nhiễu và thay đổi kích thước, vượt trội so với ResNet trên các thay đổi cấp pixel và màu sắc.

DINOv2 cho thấy sự mạnh mẽ đối với các biến đổi màu sắc (có thể do thiết kế tự giám sát, các tác giả cho rằng), nhưng yếu hơn trên các chỉnh sửa hình học và cắt – cả hai đều phổ biến trong các tập dữ liệu bị trùng lặp.

Vì LAION đã bao gồm các tính năng CLIP, và cho thấy sự nhất quán và tốc độ, CLIP đã được chọn làm bộ mã hóa mặc định cho phân tích chính.

Sự Rò Rỉ Cứng và Mềm

Hiệu suất được đánh giá trên các ngưỡng tương tự cosine khác nhau để phân biệt giữa hình ảnh giống hệt và gần giống (sự rò rỉ cứng và mềm).

Ngưỡng 0,98 được chọn để định nghĩa sự rò rỉ cứng, dẫn đến không có kết quả giả dương và phát hiện hoàn hảo các hình ảnh giống hệt.

Đối với sự rò rỉ mềm, ngưỡng 0,95 được chọn, cho phép nhiều hình ảnh gần giống hơn được lấy lại trong khi vẫn duy trì tỷ lệ kết quả giả dương gần bằng không. Ưu tiên được đặt vào độ chính xác hơn là độ hồi tưởng, và các phát hiện được ước tính một cách bảo thủ:

Đường cong đặc trưng của người nhận được sử dụng để hướng dẫn việc chọn ngưỡng rò rỉ cứng và mềm. Các điểm AUC cao trong cả điều kiện biến đổi và không biến đổi cho thấy rằng các hình ảnh gần giống có thể được phân biệt đáng tin cậy với các hình ảnh không liên quan, ngay cả khi các thay đổi tối thiểu có mặt.

Sự Rò Rỉ Trong Tập Dữ Liệu

Sự rò rỉ trong tập dữ liệu được tính toán bằng cách xác định sự chồng chéo hình ảnh giữa các phân chia đào tạo và đánh giá trong cùng một tập dữ liệu. Chỉ các tập dữ liệu có cả phân chia chuẩn mực và đào tạo hoặc pre-training mới đủ điều kiện, thu hẹp phân tích xuống COCO, GCC, ImageNet, OpenImages và TextCaps.

Đối với COCO, tập kiểm tra được so sánh với tập đào tạo, tập đánh giá và tập không có nhãn, và tập xác thực được so sánh với tập đào tạo và tập không có nhãn.

Các tỷ lệ rò rỉ trong tập dữ liệu cao nhất được quan sát trong tập kiểm tra và xác thực của ImageNet, với sự rò rỉ cứng đạt tới 1,58% và sự rò rỉ mềm chỉ dưới 2%. GCC và COCO theo sau, với COCO val2017 cho thấy sự rò rỉ mềm 3% và các phân chia kiểm tra của nó nằm trong khoảng từ 1,35% đến 1,38%. OpenImages cho thấy sự rò rỉ cứng thấp ở mức 0,05%, nhưng sự rò rỉ mềm vượt quá 1,3% trong cả tập kiểm tra và tập xác thực. TextCaps cho thấy sự rò rỉ tổng thể thấp nhất, ở mức 0,69%, với không có sự rò rỉ cứng nào được phát hiện:

Tỷ lệ rò rỉ trong tập dữ liệu, cho thấy tỷ lệ phần trăm của mỗi phân chia đánh giá chồng chéo với dữ liệu đào tạo của nó.

Về những kết quả này, các tác giả tuyên bố^†:

‘Những kết quả này cho thấy sự rò rỉ trong tập dữ liệu xảy ra trong tất cả các tập dữ liệu được phân tích, hoặc ở mức độ cứng hoặc mềm.

‘Giả sử rằng sự rò rỉ dữ liệu có thể làm suy yếu việc đánh giá mô hình và rằng các tập dữ liệu được thiết kế đặc biệt cho mục đích này, sự rò rỉ trong tập dữ liệu là một rủi ro theo thiết kế không nên tồn tại.

‘Tuy nhiên, chúng tôi đã xác định được nhiều trường hợp trong tất cả các tập dữ liệu.’

Sự Rò Rỉ Giữa Các Tập Dữ Liệu

Để đo lường sự rò rỉ giữa các tập dữ liệu (trong đó một mô hình được đào tạo trên một tập dữ liệu và được đánh giá trên một tập dữ liệu khác), bốn tập dữ liệu được sử dụng làm nguồn dữ liệu đào tạo: gcc train, imageNet train, openImages train, và LAION.

Chúng được khớp với dữ liệu đánh giá được rút ra từ tập kiểm tra và xác thực của COCO 2014, Flickr30K, TextCaps kiểm tra, tập kiểm tra và xác thực của OpenImages, và tập kiểm tra và xác thực của ImageNet.

Các tính năng CLIP ViT-B/32 được trích xuất cho tất cả các tập dữ liệu ngoại trừ LAION, cung cấp các tính năng được tính toán trước của nó. Tuy nhiên, vì những tính năng này khác một chút so với những tính năng được tạo ra bằng cách sử dụng triển khai CLIP chính thức, các hình ảnh truy vấn đã được điều chỉnh lại theo phương pháp được sử dụng trong kho lưu trữ clip-retrieval để đảm bảo tính tương thích.

Tìm kiếm được thực hiện bằng cách sử dụng tìm kiếm KNN, mặc dù quy mô của LAION đòi hỏi phải phân vùng thành các khối hình ảnh một triệu, với mỗi khối được lập chỉ mục riêng:

Sự rò rỉ giữa các tập dữ liệu giữa các tập dữ liệu chuẩn mực (cột) và các tập dữ liệu pre-training (hàng). Ở bên trái, chúng ta thấy ‘sự rò rỉ cứng’ (hình ảnh giống hệt), và ở bên phải, ‘sự rò rỉ mềm’ (hình ảnh gần giống).

Sự rò rỉ giữa các tập dữ liệu được quan sát trên tất cả các tập dữ liệu chuẩn mực, với các mức độ nghiêm trọng khác nhau. LAION cho thấy các tỷ lệ rò rỉ cứng cao nhất (hình ảnh giống hệt), đặc biệt là đối với dữ liệu kiểm tra OpenImages và TextCaps, mỗi tập dữ liệu đều vượt quá 3%. OpenImages cũng đóng góp một lượng nhỏ sự rò rỉ cứng cho COCO.

Mặc dù ít nghiêm trọng hơn, ImageNet vẫn chứa các bản sao cứng từ mọi tập dữ liệu chuẩn mực được kiểm tra; và GCC cho thấy sự rò rỉ cứng tổng thể thấp nhất, vẫn dưới 1%.

Sự rò rỉ mềm (hình ảnh gần giống) lan rộng hơn: LAION một lần nữa tạo ra các tỷ lệ cao nhất, với sự chồng chéo lên đến 7,9% đối với một số tập dữ liệu chuẩn mực; OpenImages và TextCaps là những tập dữ liệu chuẩn mực bị ảnh hưởng nhiều nhất; và Flickr30K cho thấy sự rò rỉ thấp nhất.

Mặc dù những sự chồng chéo này có thể chỉ chiếm một phần nhỏ của các tập dữ liệu đánh giá, các tác giả lưu ý rằng sự hiện diện của chúng có thể cho phép học tập bằng cách nhớ và làm suy yếu tính hợp lệ của kiểm tra:

Ví dụ về hình ảnh bị rò rỉ. Ở bên trái, chúng ta thấy các trường hợp của ‘sự rò rỉ cứng’, nơi hình ảnh giống hệt trong một tập dữ liệu (trên) hoặc giữa các tập dữ liệu (dưới); ở bên phải, các trường hợp của ‘sự rò rỉ mềm’, nơi hình ảnh gần giống về mặt trực quan.

Tác Động Đến Đánh Giá Hạ Lưu

Bài báo tiếp theo xem xét cách sự rò rỉ dữ liệu ảnh hưởng đến đánh giá hạ lưu (tức là hiệu suất trên các nhiệm vụ chuẩn khi các mô hình được pre-train và kiểm tra trên các tập dữ liệu chuẩn mực có chứa dữ liệu đào tạo bị trùng lặp).

Ba nhiệm vụ được xem xét: phân loại không có shot; phân loại được giám sát; và tìm kiếm hình ảnh-văn bản.

Đối với mỗi nhiệm vụ, hiệu suất của mô hình được đánh giá trên một tập dữ liệu chuẩn mực mà các mẫu bị rò rỉ đã được xác định trong dữ liệu pre-training. Kết quả được so sánh trên bốn tập con: tập chuẩn mực đầy đủ; một tập con của các mẫu bị rò rỉ; một tập con của các mẫu không bị rò rỉ; và một tập con được chọn ngẫu nhiên có cùng kích thước với nhóm bị rò rỉ (được sử dụng như một nhóm kiểm soát).

Tác động của sự rò rỉ dữ liệu đối với ba nhiệm vụ hạ lưu được đo bằng cách sử dụng các tập con chuẩn mực được biết là chứa các mẫu bị rò rỉ. Trong phân loại không có shot, một mô hình được pre-train trên LAION đạt được độ chính xác đáng chú ý cao hơn trên các hình ảnh bị rò rỉ từ tập đánh giá ImageNet, xác nhận rằng việc tiếp xúc với thậm chí là các hình ảnh gần giống trong quá trình đào tạo cung cấp một lợi thế có thể đo lường được:

Độ chính xác của phân loại không có shot trên tập đánh giá ImageNet trên các tập con với và không có sự rò rỉ. Cột cuối cùng báo cáo các lợi ích về độ chính xác tương đối so với tập đầy đủ, và các hàng được làm nổi bật tương ứng với các tập con bị rò rỉ.

Đối với phân loại được giám sát, sự rò rỉ trong ImageNet gây ra sự sụt giảm hiệu suất rõ ràng – trừ khi hình ảnh bị rò rỉ có cùng nhãn trong cả hai phân chia, trong trường hợp mô hình đạt được độ chính xác gần như hoàn hảo, tiết lộ một hiệu ứng nhớ mạnh:

Độ chính xác của phân loại được giám sát trên tập đánh giá ImageNet cho các tập con với và không có sự rò rỉ. Các cột lợi ích hiển thị sự thay đổi so với tập đầy đủ. Các hàng tương ứng với các tập con bị rò rỉ được làm nổi bật.

Trong tìm kiếm hình ảnh-văn bản, hiệu suất một lần nữa được cải thiện cho các mẫu bị rò rỉ, với cả sự rò rỉ cứng và mềm dẫn đến độ nhớ lại cao hơn, và các tập con bị rò rỉ cũng cho kết quả nhất quán hơn trên các lần chạy:

Hiệu suất tìm kiếm hình ảnh-văn bản trên Flickr30k trên các tập con với và không có sự rò rỉ, với các tập con bị rò rỉ được làm nổi bật.

Các tác giả kết luận:

‘Tổng thể, chúng tôi [cho thấy] bằng chứng nhất quán rằng sự rò rỉ đặt ra một mối đe dọa nghiêm trọng đối với việc đánh giá mô hình công bằng trong các tập dữ liệu trực quan, làm suy yếu một trong những nguyên tắc học máy cơ bản nhất: không đánh giá mô hình trên dữ liệu đào tạo của nó.’

Kết Luận

Một khía cạnh đáng kinh ngạc của bài báo, mặc dù không phải là mới, là việc cần sử dụng CLIP để có được các tính năng cho lượng lớn dữ liệu hình ảnh trong LAION, thể hiện quy mô mà không thể giải quyết được bằng bất kỳ cách nào khác ngoài tổng hợp, xử lý các siêu dữ liệu được mã hóa token thay vì các đặc điểm chi tiết có thể được kiểm tra khi một tập dữ liệu có thể quản lý được.

Nó là một minh họa rõ ràng về mức độ mà việc đào tạo các mô hình ngôn ngữ tầm nhìn đã vượt quá ranh giới và khả năng của giám sát con người, hoặc bất kỳ loại chăm sóc thủ công nào ngoài các mẫu đại diện.

* Có thể hơi khó hiểu, vấn đề trùng lặp được định nghĩa trong bài báo là ‘sự rò rỉ’.

† Được các tác giả nhấn mạnh.

Được xuất bản lần đầu vào thứ ba, ngày 26 tháng 8 năm 2025