Model Bahasa Besar Mengingat Dataset yang Digunakan untuk Menguji Mereka

Jika Anda mengandalkan AI untuk merekomendasikan apa yang harus ditonton, dibaca, atau dibeli, penelitian baru menunjukkan bahwa beberapa sistem mungkin berdasarkan hasil dari memori daripada keterampilan: bukan belajar untuk membuat saran yang berguna, model-model tersebut sering mengingat item dari dataset yang digunakan untuk mengevaluasi mereka, yang menyebabkan kinerja yang terlalu tinggi dan rekomendasi yang mungkin sudah ketinggalan zaman atau tidak sesuai dengan pengguna.

Dalam pembelajaran mesin, test-split digunakan untuk melihat apakah model yang telah dilatih telah belajar untuk memecahkan masalah yang serupa, tetapi tidak identik dengan materi yang digunakan untuk melatihnya.

Jadi, jika model pengenalan breed anjing baru dilatih pada dataset 100.000 gambar anjing, maka biasanya akan memiliki split 80/20 – 80.000 gambar disediakan untuk melatih model; dan 20.000 gambar disimpan dan digunakan sebagai bahan untuk menguji model yang sudah jadi.

Tentu saja, jika data pelatihan AI secara tidak sengaja mencakup bagian “rahasia” 20% dari test split, maka model tersebut akan dengan mudah mengalahkan tes tersebut, karena sudah mengetahui jawabannya (sudah melihat 100% dari domain data). Namun, ini tidak secara akurat mencerminkan bagaimana model tersebut akan berperforma nanti, pada data “live” baru, dalam konteks produksi.

Movie Spoilers

Masalah kecurangan AI pada ujian mereka telah tumbuh seiring dengan skala model-model tersebut. Karena sistem saat ini dilatih pada korpora web-scraped yang sangat besar dan tidak terbatas seperti Common Crawl, kemungkinan bahwa dataset benchmark (yaitu, 20% yang disimpan) masuk ke dalam campuran pelatihan tidak lagi merupakan kasus tepi, tetapi default – suatu sindrom yang dikenal sebagai kontaminasi data; dan pada skala ini, kurasi manual yang dapat menangkap kesalahan tersebut secara logistik tidak mungkin.

Kasus ini dieksplorasi dalam sebuah makalah baru dari Politecnico di Bari, Italia, di mana peneliti fokus pada peran besar dari sebuah dataset rekomendasi film, MovieLens-1M, yang mereka argumen telah sebagian diingat oleh beberapa model AI terkemuka selama pelatihan.

Karena dataset ini sangat banyak digunakan dalam pengujian sistem rekomendasi, kehadirannya dalam memori model tersebut secara potensial membuat tes tersebut menjadi tidak berarti: apa yang tampak seperti kecerdasan sebenarnya mungkin hanya sekedar pengingatan, dan apa yang tampak seperti keterampilan rekomendasi yang intuitif mungkin hanya sekedar refleksi statistik yang mencerminkan paparan sebelumnya.

Penulis menyatakan:

‘Temuan kami menunjukkan bahwa LLM memiliki pengetahuan yang luas tentang dataset MovieLens-1M, yang mencakup item, atribut pengguna, dan riwayat interaksi.

‘Tidak ada model yang diuji bebas dari pengetahuan ini, yang menunjukkan bahwa data MovieLens-1M kemungkinan termasuk dalam set pelatihan mereka. Kami mengamati tren yang sama dalam mengambil atribut pengguna dan riwayat interaksi.’

Makalah singkat baru ini berjudul Apakah LLM Mengingat Dataset Rekomendasi? Studi Pendahuluan tentang MovieLens-1M, dan berasal dari enam peneliti Politecnico. Pipa untuk mereproduksi pekerjaan mereka telah dibuat tersedia di GitHub.

Metode

Untuk memahami apakah model yang dipertanyakan benar-benar belajar atau hanya mengingat, peneliti mulai dengan mendefinisikan apa yang dimaksud dengan pengingatan dalam konteks ini, dan memulai dengan menguji apakah model dapat mengambil informasi spesifik dari dataset MovieLens-1M, ketika dipicu dengan cara yang tepat.

Jika model dapat menampilkan ID film dan menghasilkan judul dan genre, maka itu dihitung sebagai mengingat item; jika dapat menghasilkan detail tentang pengguna (seperti usia, pekerjaan, atau kode pos) dari ID pengguna, maka itu juga dihitung sebagai pengingatan pengguna; dan jika dapat mereproduksi peringkat film berikutnya dari urutan sebelumnya, maka itu dianggap sebagai bukti bahwa model mungkin mengingat data interaksi spesifik, bukan pola umum.

Setiap bentuk pengingatan ini diuji dengan prompt yang dirancang dengan hati-hati, yang dirancang untuk mendorong model tanpa memberikan informasi baru. Semakin akurat responsnya, semakin mungkin model tersebut telah mengalami data tersebut selama pelatihan:

Zero-shot prompting untuk protokol evaluasi yang digunakan dalam makalah baru. Sumber: https://arxiv.org/pdf/2505.10212

Data dan Tes

Untuk mengumpulkan dataset yang sesuai, penulis melakukan survei terhadap makalah-makalah terbaru dari dua konferensi utama bidang ini, ACM RecSys 2024, dan ACM SIGIR 2024. MovieLens-1M muncul paling sering, dengan lebih dari satu dari lima pengajuan. Karena studi sebelumnya telah mencapai kesimpulan yang sama, ini tidaklah mengejutkan, tetapi lebih merupakan konfirmasi dari dominasi dataset tersebut.

MovieLens-1M terdiri dari tiga file: Movies.dat, yang memuat daftar film oleh ID, judul, dan genre; Users.dat, yang memetakan ID pengguna ke bidang biografis dasar; dan Ratings.dat, yang mencatat siapa yang menilai apa, dan kapan.

Untuk mengetahui apakah data ini telah diingat oleh model bahasa besar, peneliti menggunakan teknik prompting yang pertama kali diperkenalkan dalam makalah Extracting Training Data from Large Language Models, dan kemudian disesuaikan dalam pekerjaan selanjutnya Bag of Tricks for Training Data Extraction from Language Models.

Metode ini langsung: ajukan pertanyaan yang mencerminkan format dataset dan lihat apakah model menjawab dengan benar. Zero-shot, Chain-of-Thought, dan few-shot prompting diuji, dan ditemukan bahwa metode terakhir, di mana model diberikan beberapa contoh, adalah yang paling efektif; bahkan jika pendekatan yang lebih rumit mungkin menghasilkan recall yang lebih tinggi, ini dianggap cukup untuk mengungkapkan apa yang telah diingat.

Few-shot prompt untuk menguji apakah model dapat mereproduksi nilai MovieLens-1M spesifik ketika ditanya dengan konteks minimal.

Untuk mengukur pengingatan, peneliti mendefinisikan tiga bentuk recall: item, user, dan interaksi. Tes ini mengeksaminasi apakah model dapat mengambil judul film dari ID-nya, menghasilkan detail pengguna dari ID pengguna, atau memprediksi peringkat film berikutnya berdasarkan peringkat sebelumnya. Setiap tes dinilai menggunakan metrik cakupan* yang mencerminkan seberapa banyak dataset yang dapat direkonstruksi melalui prompting.

Model yang diuji adalah GPT-4o; GPT-4o mini; GPT-3.5 turbo; Llama-3.3 70B; Llama-3.2 3B; Llama-3.2 1B; Llama-3.1 405B; Llama-3.1 70B; dan Llama-3.1 8B. Semua model dijalankan dengan suhu diatur ke nol, top_p diatur ke satu, dan kedua penalty frekuensi dan kehadiran dinonaktifkan. Sebuah benih acak tetap memastikan output konsisten di seluruh jalur.

Proporsi entri MovieLens-1M yang diambil dari movies.dat, users.dat, dan ratings.dat, dengan model dikelompokkan oleh versi dan diurutkan oleh jumlah parameter.

Untuk memeriksa seberapa dalam MovieLens-1M telah diserap, peneliti memicu setiap model untuk entri yang tepat dari tiga file dataset (sebelumnya disebutkan): Movies.dat, Users.dat, dan Ratings.dat.

Hasil dari tes awal, ditampilkan di atas, menunjukkan perbedaan yang tajam tidak hanya antara keluarga GPT dan Llama, tetapi juga di seluruh ukuran model. Sementara GPT-4o dan GPT-3.5 turbo mengambil sebagian besar dataset dengan mudah, sebagian besar model sumber terbuka hanya mengingat sebagian kecil dari bahan yang sama, yang menunjukkan paparan yang tidak merata ke benchmark ini dalam pelatihan.

Ini bukanlah margin yang kecil. Di seluruh tiga file, model terkuat tidak hanya mengungguli model yang lebih lemah, tetapi juga mengingat bagian-bagian besar dari MovieLens-1M.

Dalam kasus GPT-4o, cakupan cukup tinggi untuk menunjukkan bahwa sebagian besar dataset telah diingat secara langsung.

Penulis menyatakan:

‘Temuan kami menunjukkan bahwa LLM memiliki pengetahuan yang luas tentang dataset MovieLens-1M, yang mencakup item, atribut pengguna, dan riwayat interaksi.

‘Tidak ada model yang diuji bebas dari pengetahuan ini, yang menunjukkan bahwa data MovieLens-1M kemungkinan termasuk dalam set pelatihan mereka. Kami mengamati tren yang sama dalam mengambil atribut pengguna dan riwayat interaksi.’

Selanjutnya, penulis menguji dampak pengingatan pada tugas rekomendasi dengan memicu setiap model untuk bertindak sebagai sistem rekomendasi. Untuk membandingkan kinerja, mereka membandingkan output melawan tujuh metode standar: UserKNN; ItemKNN; BPRMF; EASE^R; LightGCN; MostPop; dan Random.

Dataset MovieLens-1M dibagi 80/20 menjadi set pelatihan dan pengujian, menggunakan strategi leave-one-out untuk mensimulasikan penggunaan dunia nyata. Metrik yang digunakan adalah Hit Rate (HR@[n]); dan nDCG(@[n]):

Akurasi rekomendasi pada baseline standar dan metode berbasis LLM. Model dikelompokkan oleh keluarga dan diurutkan oleh jumlah parameter, dengan nilai tebal menunjukkan skor tertinggi dalam setiap kelompok.

Di sini, beberapa model bahasa besar mengungguli baseline tradisional di seluruh metrik, dengan GPT-4o membangun keunggulan yang luas di setiap kolom, dan bahkan model ukuran sedang seperti GPT-3.5 turbo dan Llama-3.1 405B secara konsisten mengungguli metode benchmark seperti BPRMF dan LightGCN.

Di antara varian Llama yang lebih kecil, kinerja bervariasi secara tajam, tetapi Llama-3.2 3B menonjol, dengan HR@1 tertinggi dalam kelompoknya.

Hasilnya, menurut penulis, menunjukkan bahwa data yang diingat dapat diterjemahkan menjadi keunggulan yang dapat diukur dalam tugas rekomendasi, terutama untuk model terkuat.

Dalam pengamatan tambahan, peneliti melanjutkan:

‘Meskipun kinerja rekomendasi tampak luar biasa, membandingkan Tabel 2 dengan Tabel 1 mengungkapkan pola yang menarik. Di dalam setiap kelompok, model dengan pengingatan yang lebih tinggi juga menunjukkan kinerja yang lebih baik dalam tugas rekomendasi.

‘Sebagai contoh, GPT-4o mengungguli GPT-4o mini, dan Llama-3.1 405B mengungguli Llama-3.1 70B dan 8B.

‘Hasil ini menyoroti bahwa mengevaluasi LLM pada dataset yang bocor dalam set pelatihan mereka dapat menyebabkan kinerja yang terlalu optimis, yang didorong oleh pengingatan daripada generalisasi.’

Mengenai dampak skala model pada masalah ini, penulis mengamati korelasi yang jelas antara ukuran, pengingatan, dan kinerja rekomendasi, dengan model yang lebih besar tidak hanya mengingat lebih banyak dataset MovieLens-1M, tetapi juga berkinerja lebih baik dalam tugas downstream.

Llama-3.1 405B, misalnya, menunjukkan rata-rata tingkat pengingatan sebesar 12,9%, sedangkan Llama-3.1 8B hanya mengingat 5,82%. Pengurangan sekitar 55% dalam recall ini sesuai dengan penurunan sebesar 54,23% dalam nDCG dan 47,36% dalam HR di seluruh pemotongan evaluasi.

Polanya tetap ada di seluruh – di mana pengingatan menurun, kinerja yang tampak juga menurun:

‘Temuan ini menunjukkan bahwa meningkatkan skala model menyebabkan pengingatan dataset yang lebih besar, yang menghasilkan kinerja yang lebih baik.

‘Oleh karena itu, sementara model yang lebih besar menunjukkan kinerja rekomendasi yang lebih baik, mereka juga memiliki risiko yang terkait dengan kebocoran data pelatihan potensial.’

Tes terakhir menguji apakah pengingatan mencerminkan bias popularitas yang dibangun ke dalam MovieLens-1M. Item dikelompokkan berdasarkan frekuensi interaksi, dan grafik di bawah menunjukkan bahwa model yang lebih besar secara konsisten memfavoritkan entri yang paling populer:

Cakupan item oleh model di seluruh tiga tingkat popularitas: 20% paling populer; 20% moderat; dan 20% yang paling sedikit diinteraksi.

GPT-4o mengambil 89,06% dari item teratas, tetapi hanya 63,97% dari item yang paling sedikit diinteraksi. GPT-4o mini dan model Llama yang lebih kecil menunjukkan cakupan yang jauh lebih rendah di seluruh pita.

Penulis menyatakan:

‘Temuan kami mengungkapkan bias popularitas yang kuat dalam LLM, dengan 20% item paling populer jauh lebih mudah diambil daripada 20% yang paling sedikit diinteraksi.

‘Tren ini menyoroti pengaruh distribusi data pelatihan, di mana film populer overrepresentasikan, yang menyebabkan pengingatan yang tidak proporsional oleh model.’

Kesimpulan

Dilema ini tidak lagi baru: ketika set pelatihan tumbuh, prospek kurasi mereka menurun sebanding dengan skala. MovieLens-1M, mungkin di antara banyak lainnya, memasuki korpora yang sangat besar ini tanpa pengawasan, tanpa nama di antara volume data yang sangat besar.

Masalah ini berulang pada setiap skala dan resisten terhadap otomatisasi. Setiap solusi membutuhkan tidak hanya upaya, tetapi juga penilaian manusia – jenis yang lambat dan tidak sempurna yang tidak dapat disediakan oleh mesin. Dalam hal ini, makalah baru ini tidak menawarkan jalan keluar.

* Metrik cakupan dalam konteks ini adalah persentase yang menunjukkan seberapa banyak dari dataset asli yang dapat direproduksi oleh model bahasa ketika ditanya dengan pertanyaan yang tepat. Jika model dipicu dengan ID film dan merespons dengan judul dan genre yang benar, maka itu dihitung sebagai pengingatan yang sukses. Jumlah pengingatan yang sukses kemudian dibagi dengan jumlah total entri dalam dataset untuk menghasilkan skor cakupan. Sebagai contoh, jika model mengembalikan informasi yang benar untuk 800 dari 1.000 item, maka cakupannya akan menjadi 80 persen.

Dipublikasikan pertama kali pada hari Jumat, 16 Mei 2025