Các Mô Hình Ngôn Ngữ Lớn Đang Nhớ Các Bộ Dữ Liệu Được Sử Dụng Để Kiểm Tra Chúng

Nếu bạn dựa vào AI để khuyến nghị xem, đọc hoặc mua, nghiên cứu mới cho thấy rằng một số hệ thống có thể dựa vào nhớ thay vì kỹ năng: thay vì học cách đưa ra các gợi ý hữu ích, các mô hình thường nhớ lại các mục từ các bộ dữ liệu được sử dụng để đánh giá chúng, dẫn đến hiệu suất được đánh giá quá cao và các khuyến nghị có thể đã lỗi thời hoặc không phù hợp với người dùng.

Trong học máy, một phân chia kiểm tra được sử dụng để xem liệu một mô hình đã được đào tạo có học cách giải quyết các vấn đề tương tự nhưng không giống hệt với tài liệu nó được đào tạo trên hay không.

Vì vậy, nếu một mô hình nhận dạng giống chó mới được đào tạo trên một bộ dữ liệu gồm 100.000 bức ảnh của chó, nó thường có tỷ lệ chia 80/20 – 80.000 bức ảnh được cung cấp để đào tạo mô hình; và 20.000 bức ảnh được giữ lại và sử dụng làm tài liệu để kiểm tra mô hình hoàn chỉnh.

Đương nhiên, nếu dữ liệu đào tạo của AI vô tình bao gồm phần 20% “bí mật” của phân chia kiểm tra, mô hình sẽ đạt điểm cao trong các kỳ thi này, vì nó đã biết câu trả lời (nó đã xem 100% dữ liệu miền).

Tất nhiên, điều này không phản ánh chính xác cách mô hình sẽ hoạt động sau này, trên dữ liệu “trực tiếp” mới, trong một ngữ cảnh sản xuất.

Spoiler Phim

Vấn đề của việc AI gian lận trong các kỳ thi của nó đã tăng lên cùng với quy mô của các mô hình. Vì các hệ thống ngày nay được đào tạo trên các tập dữ liệu lớn, không phân biệt, được thu thập từ web như Common Crawl, khả năng các tập dữ liệu chuẩn (tức là 20% được giữ lại) bị lẫn vào hỗn hợp đào tạo không còn là một trường hợp ngoại lệ, mà là mặc định – một hội chứng được gọi là ô nhiễm dữ liệu; và ở quy mô này, việc kiểm tra thủ công có thể bắt lỗi như vậy là không thể về mặt hậu cần.

Trường hợp này được khám phá trong một bài báo mới từ Đại học Bari của Ý, nơi các nhà nghiên cứu tập trung vào vai trò quá lớn của một bộ dữ liệu khuyến nghị phim, MovieLens-1M, mà họ cho rằng đã được một số mô hình AI hàng đầu ghi nhớ một phần trong quá trình đào tạo.

Bởi vì bộ dữ liệu này được sử dụng rộng rãi trong việc kiểm tra các hệ thống khuyến nghị, sự hiện diện của nó trong bộ nhớ của mô hình có thể làm cho các kiểm tra này trở nên vô nghĩa: những gì có vẻ như là trí thông minh có thể thực sự chỉ là nhớ lại, và những gì trông giống như một kỹ năng khuyến nghị trực giác có thể chỉ là một hồi âm thống kê phản ánh sự phơi sáng trước đó.

Các tác giả tuyên bố:

‘Các phát hiện của chúng tôi chứng minh rằng LLMs có kiến thức rộng lớn về bộ dữ liệu MovieLens-1M, bao gồm các mục, thuộc tính người dùng và lịch sử tương tác. Đặc biệt, một lời nhắc đơn giản cho phép GPT-4o khôi phục gần 80% [các tên của hầu hết các bộ phim trong bộ dữ liệu].

‘Không có mô hình nào trong số các mô hình được kiểm tra là miễn nhiễm với kiến thức này, cho thấy rằng dữ liệu MovieLens-1M có khả năng được bao gồm trong các tập đào tạo của chúng. Chúng tôi quan sát thấy xu hướng tương tự trong việc thu hồi thuộc tính người dùng và lịch sử tương tác.’

Bài báo ngắn mới có tiêu đề Liệu LLMs có nhớ bộ dữ liệu khuyến nghị không? Một nghiên cứu sơ bộ về MovieLens-1M, và đến từ sáu nhà nghiên cứu của Đại học Bari. Đường ống để tái tạo công việc của họ đã được đặt tại GitHub.

Phương Pháp

Để hiểu liệu các mô hình đang được hỏi có thực sự học hỏi hay chỉ nhớ lại, các nhà nghiên cứu bắt đầu bằng cách định nghĩa what ghi nhớ có nghĩa là trong ngữ cảnh này, và bắt đầu bằng cách kiểm tra xem một mô hình có thể thu hồi các mảnh thông tin cụ thể từ bộ dữ liệu MovieLens-1M khi được nhắc một cách chính xác.

Nếu một mô hình được hiển thị ID của một bộ phim và có thể tạo ra tiêu đề và thể loại của nó, thì đó được coi là ghi nhớ một mục; nếu nó có thể tạo ra chi tiết về một người dùng (như tuổi, nghề nghiệp hoặc mã zip) từ ID của người dùng, thì đó cũng được coi là ghi nhớ người dùng; và nếu nó có thể tái tạo xếp hạng phim tiếp theo của một người dùng từ một chuỗi xếp hạng trước đó, thì đó được coi là bằng chứng rằng mô hình có thể nhớ lại dữ liệu tương tác cụ thể thay vì học các mẫu chung.

Mỗi hình thức nhớ lại này được kiểm tra bằng cách sử dụng các lời nhắc được viết cẩn thận, được thiết kế để đẩy mô hình mà không cung cấp thông tin mới. Độ chính xác của phản hồi càng cao, thì càng có khả năng mô hình đã gặp dữ liệu đó trong quá trình đào tạo:

Zero-shot prompting cho giao thức đánh giá được sử dụng trong bài báo mới. Nguồn: https://arxiv.org/pdf/2505.10212

Dữ Liệu và Kiểm Tra

Để tạo ra một bộ dữ liệu phù hợp, các tác giả đã khảo sát các bài báo gần đây từ hai hội nghị lớn trong lĩnh vực này, ACM RecSys 2024 và ACM SIGIR 2024. MovieLens-1M xuất hiện thường nhất, được trích dẫn trong hơn một phần năm số gửi.

MovieLens-1M bao gồm ba tệp: Movies.dat, liệt kê các bộ phim theo ID, tiêu đề và thể loại; Users.dat, ánh xạ ID người dùng đến các trường sinh học cơ bản; và Ratings.dat, ghi lại ai đã xếp hạng gì và khi nào.

Để tìm hiểu xem dữ liệu này có được các mô hình ngôn ngữ lớn ghi nhớ hay không, các nhà nghiên cứu đã sử dụng các kỹ thuật nhắc nhở được giới thiệu lần đầu tiên trong bài báo Trích xuất Dữ liệu Đào tạo từ Các Mô hình Ngôn ngữ Lớn, và sau đó được điều chỉnh trong công việc tiếp theo Bag of Tricks cho Trích xuất Dữ liệu Đào tạo từ Mô hình Ngôn ngữ.

Phương pháp này trực tiếp: đặt một câu hỏi phản ánh định dạng của bộ dữ liệu và xem liệu mô hình có trả lời chính xác hay không. Zero-shot, Chain-of-Thought và few-shot prompting được kiểm tra, và phương pháp cuối cùng, trong đó mô hình được hiển thị một số ví dụ, được cho là hiệu quả nhất; ngay cả khi các phương pháp tinh vi hơn có thể mang lại khả năng nhớ lại cao hơn, điều này được coi là đủ để tiết lộ những gì đã được nhớ lại.

Few-shot prompt được sử dụng để kiểm tra xem mô hình có thể tái tạo các giá trị MovieLens-1M cụ thể khi được hỏi với ngữ cảnh tối thiểu.

Để đo lường khả năng nhớ lại, các nhà nghiên cứu đã định nghĩa ba hình thức nhớ lại: mục, người dùng và tương tác. Những kiểm tra này xem xét liệu mô hình có thể thu hồi tiêu đề của một bộ phim từ ID của nó, tạo ra chi tiết người dùng từ ID người dùng, hoặc dự đoán xếp hạng tiếp theo của một người dùng dựa trên các xếp hạng trước đó. Mỗi kiểm tra được tính điểm bằng một chỉ số bao phủ* phản ánh bao nhiêu phần của bộ dữ liệu có thể được tái tạo thông qua nhắc nhở.

Các mô hình được kiểm tra bao gồm GPT-4o; GPT-4o mini; GPT-3.5 turbo; Llama-3.3 70B; Llama-3.2 3B; Llama-3.2 1B; Llama-3.1 405B; Llama-3.1 70B; và Llama-3.1 8B. Tất cả đều được chạy với nhiệt độ được đặt thành zero, top_p được đặt thành một, và cả tần suất và hiện diện bị vô hiệu hóa. Một hạt giống ngẫu nhiên cố định đảm bảo đầu ra nhất quán trên các lần chạy.

Tỷ lệ phần trăm của các mục MovieLens-1M được thu hồi từ movies.dat, users.dat và ratings.dat, với các mô hình được nhóm theo phiên bản và sắp xếp theo số lượng tham số.

Để kiểm tra xem bộ dữ liệu MovieLens-1M đã được hấp thụ sâu đến mức nào, các nhà nghiên cứu đã nhắc mỗi mô hình để thu hồi các mục nhập chính xác từ ba tệp (đã đề cập) của bộ dữ liệu: Movies.dat, Users.dat và Ratings.dat.

Kết quả từ các kiểm tra ban đầu, hiển thị ở trên, cho thấy sự khác biệt rõ ràng không chỉ giữa các mô hình GPT và Llama, mà còn giữa các kích thước mô hình. Trong khi GPT-4o và GPT-3.5 turbo thu hồi các phần lớn của bộ dữ liệu một cách dễ dàng, hầu hết các mô hình mã nguồn mở chỉ nhớ lại một phần nhỏ của cùng một tài liệu, cho thấy sự phơi sáng không đồng đều với bộ dữ liệu chuẩn này trong quá trình tiền đào tạo.

Đây không phải là những biên độ nhỏ. Trong tất cả các tệp, các mô hình mạnh nhất không chỉ vượt trội so với các mô hình yếu hơn, mà còn nhớ lại các phần toàn bộ của MovieLens-1M.

Trong trường hợp của GPT-4o, độ bao phủ đủ cao để cho thấy rằng một phần đáng kể của bộ dữ liệu đã được ghi nhớ trực tiếp.

Các tác giả tuyên bố:

‘Các phát hiện của chúng tôi chứng minh rằng LLMs có kiến thức rộng lớn về bộ dữ liệu MovieLens-1M, bao gồm các mục, thuộc tính người dùng và lịch sử tương tác.

‘Đặc biệt, một lời nhắc đơn giản cho phép GPT-4o khôi phục gần 80% các bản ghi MovieID::Title. Không có mô hình nào trong số các mô hình được kiểm tra là miễn nhiễm với kiến thức này, cho thấy rằng dữ liệu MovieLens-1M có khả năng được bao gồm trong các tập đào tạo của chúng.

‘Chúng tôi quan sát thấy xu hướng tương tự trong việc thu hồi thuộc tính người dùng và lịch sử tương tác.’

Tiếp theo, các tác giả đã kiểm tra tác động của việc ghi nhớ đối với các nhiệm vụ khuyến nghị bằng cách nhắc mỗi mô hình để hoạt động như một hệ thống khuyến nghị. Để đánh giá hiệu suất, họ đã so sánh đầu ra với bảy phương pháp chuẩn: UserKNN; ItemKNN; BPRMF; EASE^R; LightGCN; MostPop; và Random.

Bộ dữ liệu MovieLens-1M được chia 80/20 thành tập đào tạo và kiểm tra, sử dụng chiến lược lấy mẫu leave-one-out để mô phỏng sử dụng trong thế giới thực. Các chỉ số được sử dụng là Tỷ lệ Hit (HR@[n]); và nDCG(@[n]):

Độ chính xác của khuyến nghị trên các phương pháp chuẩn và phương pháp dựa trên LLM. Các mô hình được nhóm theo họ và sắp xếp theo số lượng tham số, với các giá trị in đậm cho thấy điểm số cao nhất trong mỗi nhóm.

Ở đây, một số mô hình ngôn ngữ lớn đã vượt trội so với các phương pháp chuẩn truyền thống trên tất cả các chỉ số, với GPT-4o thiết lập một lợi thế rộng trong mọi cột, và thậm chí các mô hình cỡ trung như GPT-3.5 turbo và Llama-3.1 405B cũng vượt trội so với các phương pháp chuẩn như BPRMF và LightGCN.

Trong số các biến thể Llama nhỏ hơn, hiệu suất thay đổi mạnh, nhưng Llama-3.2 3B nổi bật, với HR@1 cao nhất trong nhóm của nó.

Kết quả, các tác giả cho rằng, cho thấy rằng dữ liệu được ghi nhớ có thể chuyển thành lợi thế có thể đo lường được trong các nhiệm vụ khuyến nghị, đặc biệt là đối với các mô hình mạnh nhất.

Trong một quan sát bổ sung, các nhà nghiên cứu tiếp tục:

‘Mặc dù hiệu suất khuyến nghị có vẻ vượt trội, nhưng việc so sánh Bảng 2 với Bảng 1 cho thấy một mẫu thú vị. Trong mỗi nhóm, mô hình có khả năng ghi nhớ cao hơn cũng thể hiện hiệu suất vượt trội trong nhiệm vụ khuyến nghị.

‘Ví dụ, GPT-4o vượt trội so với GPT-4o mini, và Llama-3.1 405B vượt trội so với Llama-3.1 70B và 8B.

‘Những kết quả này cho thấy rằng việc đánh giá LLMs trên các tập dữ liệu bị rò rỉ trong tập đào tạo của chúng có thể dẫn đến hiệu suất quá lạc quan, được thúc đẩy bởi việc ghi nhớ thay vì tổng quát hóa.’

Về tác động của quy mô mô hình đối với vấn đề này, các tác giả quan sát thấy một mối tương quan rõ ràng giữa kích thước, khả năng ghi nhớ và hiệu suất khuyến nghị, với các mô hình lớn hơn không chỉ nhớ lại nhiều hơn bộ dữ liệu MovieLens-1M, mà còn hoạt động mạnh hơn trong các nhiệm vụ hạ nguồn.

Llama-3.1 405B, ví dụ, cho thấy tỷ lệ ghi nhớ trung bình là 12,9%, trong khi Llama-3.1 8B chỉ nhớ lại 5,82%. Sự giảm này gần 55% trong khả năng nhớ lại tương ứng với sự giảm 54,23% trong nDCG và giảm 47,36% trong HR trên các điểm cắt đánh giá.

Mẫu này được giữ suốt – khi khả năng ghi nhớ giảm, hiệu suất rõ ràng cũng giảm:

‘Những phát hiện này cho thấy rằng việc tăng quy mô mô hình dẫn đến khả năng ghi nhớ cao hơn của bộ dữ liệu, dẫn đến hiệu suất tốt hơn.

‘Do đó, trong khi các mô hình lớn hơn thể hiện hiệu suất khuyến nghị tốt hơn, chúng cũng tạo ra rủi ro liên quan đến khả năng rò rỉ dữ liệu đào tạo.’

Kiểm tra cuối cùng đã kiểm tra xem khả năng ghi nhớ có phản ánh sự thiên vị về phổ biến được nướng vào MovieLens-1M hay không. Các mục được nhóm theo tần suất tương tác, và biểu đồ dưới đây cho thấy rằng các mô hình lớn hơn nhất quán ủng hộ các mục nhập phổ biến nhất:

Sự bao phủ của mục theo mô hình trên ba cấp độ phổ biến: 20% mục phổ biến nhất; 20% mục trung bình; và 20% mục ít tương tác nhất.

GPT-4o đã thu hồi 89,06% mục hàng đầu nhưng chỉ 63,97% mục ít phổ biến nhất. GPT-4o mini và các mô hình Llama nhỏ hơn cho thấy sự bao phủ thấp hơn trên tất cả các băng.

Họ tiếp tục:

‘Các phát hiện của chúng tôi cho thấy sự thiên vị về phổ biến rõ ràng trong LLMs, với 20% mục phổ biến nhất được dễ dàng thu hồi hơn so với 20% mục ít tương tác nhất.

‘Xu hướng này cho thấy sự ảnh hưởng của phân phối dữ liệu đào tạo, nơi các bộ phim phổ biến được đại diện quá mức, dẫn đến việc chúng được mô hình nhớ lại một cách không tương xứng.’

Kết Luận

Vấn đề không còn mới: khi các tập đào tạo tăng lên, khả năng kiểm tra chúng giảm xuống theo tỷ lệ nghịch. MovieLens-1M, có thể cùng với nhiều bộ dữ liệu khác, đi vào các tập dữ liệu lớn này mà không có sự giám sát, vô hình trong số lượng lớn dữ liệu.

Vấn đề này lặp lại ở mọi quy mô và chống lại sự tự động hóa. Bất kỳ giải pháp nào cũng đòi hỏi không chỉ nỗ lực mà còn sự phán xét của con người – loại phán xét chậm và dễ bị sai sót mà máy móc không thể cung cấp. Trong khía cạnh này, bài báo mới không cung cấp cách tiến bộ.

* Chỉ số bao phủ trong ngữ cảnh này là một tỷ lệ phần trăm cho thấy bao nhiêu phần của bộ dữ liệu gốc mà một mô hình ngôn ngữ có thể tái tạo khi được hỏi một câu hỏi phù hợp. Nếu một mô hình được nhắc với ID của một bộ phim và trả lời với tiêu đề và thể loại chính xác, thì đó được coi là một hồi âm thành công. Số lượng hồi âm thành công được chia cho tổng số mục trong bộ dữ liệu để tạo ra một điểm số bao phủ. Ví dụ, nếu một mô hình trả lời chính xác thông tin cho 800 trong số 1.000 mục, thì điểm số bao phủ của nó sẽ là 80%.

Được xuất bản lần đầu vào thứ Sáu, ngày 16 tháng 5 năm 2025