Kurang Adalah Lebih: Mengapa Mengambil Dokumen yang Lebih Sedikit Dapat Meningkatkan Jawaban AI

Retrieval-Augmented Generation (RAG) adalah pendekatan untuk membangun sistem AI yang menggabungkan model bahasa dengan sumber pengetahuan eksternal. Dalam istilah sederhana, AI pertama kali mencari dokumen yang relevan (seperti artikel atau halaman web) yang terkait dengan pertanyaan pengguna, dan kemudian menggunakan dokumen tersebut untuk menghasilkan jawaban yang lebih akurat. Metode ini telah dipuji karena membantu model bahasa besar (LLM) tetap faktual dan mengurangi halusinasi dengan menghubungkan respons mereka ke data nyata.

Intuitif, seseorang mungkin berpikir bahwa semakin banyak dokumen yang diambil AI, semakin baik jawabannya akan menjadi. Namun, penelitian terbaru menunjukkan bahwa terdapat twist yang mengejutkan: ketika datang ke memberikan informasi kepada AI, kadang-kadang kurang adalah lebih.

Lebih Sedikit Dokumen, Jawaban yang Lebih Baik

Sebuah studi baru oleh peneliti di Universitas Ibrani Yerusalem mengeksplorasi bagaimana jumlah dokumen yang diberikan kepada sistem RAG mempengaruhi kinerjanya. Secara kritis, mereka menjaga jumlah total teks tetap konstan – artinya jika lebih sedikit dokumen disediakan, dokumen tersebut sedikit diperluas untuk mengisi panjang yang sama dengan banyak dokumen. Dengan cara ini, perbedaan kinerja dapat dikaitkan dengan jumlah dokumen daripada hanya memiliki input yang lebih pendek.

Peneliti menggunakan dataset pertanyaan-jawaban (MuSiQue) dengan pertanyaan trivia, masing-masing awalnya dipasangkan dengan 20 paragraf Wikipedia (hanya beberapa di antaranya yang sebenarnya mengandung jawaban, dengan yang lainnya sebagai pengalih perhatian). Dengan memotong jumlah dokumen dari 20 menjadi hanya 2-4 dokumen yang benar-benar relevan – dan memadatkan dokumen tersebut dengan sedikit konteks tambahan untuk mempertahankan panjang yang konsisten – mereka menciptakan skenario di mana AI memiliki lebih sedikit bahan untuk dipertimbangkan, tetapi masih memiliki jumlah kata yang sama untuk dibaca.

Hasilnya sangat menarik. Dalam sebagian besar kasus, model AI menjawab dengan lebih akurat ketika mereka diberikan lebih sedikit dokumen daripada himpunan lengkap. Kinerja meningkat secara signifikan – dalam beberapa kasus hingga 10% dalam akurasi (skor F1) ketika sistem menggunakan hanya beberapa dokumen pendukung daripada koleksi besar. Peningkatan ini diamati di seluruh beberapa model bahasa sumber terbuka yang berbeda, termasuk varian dari Llama Meta dan lainnya, menunjukkan bahwa fenomena ini tidak terikat pada satu model AI tertentu.

Satu model (Qwen-2) adalah pengecualian yang mencolok yang menangani beberapa dokumen tanpa penurunan skor, tetapi hampir semua model yang diuji kinerjanya lebih baik dengan lebih sedikit dokumen secara keseluruhan. Dengan kata lain, menambahkan lebih banyak materi referensi di luar potongan-potongan yang benar-benar relevan sebenarnya merusak kinerjanya lebih sering daripada membantunya.

Sumber: Levy et al.

Mengapa ini begitu mengejutkan? Biasanya, sistem RAG dirancang dengan asumsi bahwa mengambil sepotong informasi yang lebih luas hanya dapat membantu AI – jika jawaban tidak ada di dokumen pertama, mungkin ada di dokumen kesepuluh atau kedua puluh.

Studi ini membalik skrip ini, menunjukkan bahwa menumpuk dokumen tambahan secara sembarangan dapat berbalik. Bahkan ketika panjang teks total dijaga konstan, kehadiran banyak dokumen yang berbeda (masing-masing dengan konteks dan kekhasan tersendiri) membuat tugas jawaban pertanyaan lebih menantang bagi AI. Tampaknya bahwa di luar titik tertentu, setiap dokumen tambahan memperkenalkan lebih banyak kebisingan daripada sinyal, membingungkan model dan mengganggu kemampuannya untuk mengekstrak jawaban yang benar.

Mengapa Kurang Dapat Lebih di RAG

Hasil “kurang adalah lebih” ini masuk akal ketika kita mempertimbangkan bagaimana model bahasa AI memproses informasi. Ketika AI diberikan hanya dokumen yang paling relevan, konteks yang dilihatnya terfokus dan bebas dari gangguan, seperti seorang siswa yang telah diberikan hanya halaman yang tepat untuk dipelajari.

Di studi ini, model kinerjanya jauh lebih baik ketika diberikan hanya dokumen pendukung, dengan materi yang tidak relevan dihilangkan. Konteks yang tersisa tidak hanya lebih pendek tetapi juga lebih bersih – mengandung fakta yang langsung menunjuk ke jawaban dan tidak ada yang lain. Dengan lebih sedikit dokumen untuk diatasi, model dapat memusatkan perhatiannya pada informasi yang relevan, membuatnya kurang mungkin untuk terganggu atau bingung.

Di sisi lain, ketika banyak dokumen diambil, AI harus menyaring campuran konten yang relevan dan tidak relevan. Sering kali dokumen tambahan ini “mirip tetapi tidak terkait” – mereka mungkin berbagi topik atau kata kunci dengan pertanyaan tetapi tidak sebenarnya mengandung jawaban. Konten seperti itu dapat menyesatkan model. AI mungkin membuang-buang upaya untuk menghubungkan titik-titik di seluruh dokumen yang tidak sebenarnya mengarah ke jawaban yang benar, atau lebih buruk, mungkin menggabungkan informasi dari beberapa sumber secara tidak benar. Ini meningkatkan risiko halusinasi – contoh di mana AI menghasilkan jawaban yang terdengar masuk akal tetapi tidak didasarkan pada sumber tunggal.

Pada intinya, memberikan terlalu banyak dokumen kepada model dapat mengencerkan informasi yang berguna dan memperkenalkan detail yang bertentangan, membuatnya lebih sulit bagi AI untuk menentukan apa yang benar.

Menariknya, peneliti menemukan bahwa jika dokumen tambahan jelas tidak relevan (misalnya, teks acak yang tidak terkait), model lebih baik dalam mengabaikannya. Masalah sebenarnya datang dari data yang mengganggu yang terlihat relevan: ketika semua teks yang diambil ada pada topik yang sama, AI menganggap seharusnya menggunakan semuanya, dan mungkin berjuang untuk menentukan detail mana yang sebenarnya penting. Ini sejalan dengan observasi studi bahwa pengalih perhatian acak menyebabkan lebih sedikit kebingungan daripada pengalih perhatian yang realistis dalam input. AI dapat menyaring keluar kebodohan yang jelas, tetapi informasi yang sedikit tidak tepat adalah perangkap yang licin – itu menyusup di bawah kedok relevansi dan mengganggu jawaban. Dengan mengurangi jumlah dokumen menjadi hanya yang benar-benar perlu, kita menghindari menetapkan perangkap ini dari awal.

Ada juga manfaat praktis: mengambil dan memproses lebih sedikit dokumen menurunkan beban komputasi untuk sistem RAG. Setiap dokumen yang ditarik harus dianalisis (disematkan, dibaca, dan diperhatikan oleh model), yang menggunakan waktu dan sumber daya komputasi. Menghilangkan dokumen yang berlebihan membuat sistem lebih efisien – dapat menemukan jawaban lebih cepat dan dengan biaya yang lebih rendah. Dalam skenario di mana akurasi meningkat dengan fokus pada sumber yang lebih sedikit, kita mendapatkan kemenangan ganda: jawaban yang lebih baik dan proses yang lebih ramping dan efisien.

Sumber: Levy et al.

Mempertimbangkan Kembali RAG: Arah Masa Depan

Bukti baru ini bahwa kualitas sering mengalahkan kuantitas dalam pengambilan memiliki implikasi penting untuk masa depan sistem AI yang bergantung pada pengetahuan eksternal. Ini menunjukkan bahwa perancang sistem RAG harus memprioritaskan penyaringan dan peringkat dokumen yang cerdas daripada volume murni. Sebagai gantinya untuk mengambil 100 pasase yang mungkin dan berharap jawabannya terkubur di suatu tempat, mungkin lebih bijak untuk mengambil hanya beberapa pasase yang paling relevan.

Penulis studi menekankan kebutuhan akan metode pengambilan untuk “mencapai keseimbangan antara relevansi dan keragaman” dalam informasi yang disediakan untuk model. Dengan kata lain, kita ingin memberikan cakupan topik yang cukup untuk menjawab pertanyaan, tetapi tidak terlalu banyak sehingga fakta-fakta inti tenggelam dalam lautan teks yang tidak perlu.

Maju, peneliti kemungkinan akan mengeksplorasi teknik yang membantu model AI menangani beberapa dokumen dengan lebih anggun. Salah satu pendekatan adalah mengembangkan sistem pengambilan yang lebih baik atau pengaturan ulang yang dapat mengidentifikasi dokumen mana yang benar-benar menambah nilai dan mana yang hanya memperkenalkan konflik. Sudut lain adalah memperbaiki model bahasa itu sendiri: jika satu model (seperti Qwen-2) berhasil menangani banyak dokumen tanpa kehilangan akurasi, memeriksa bagaimana ia dilatih atau diatur dapat menawarkan petunjuk untuk membuat model lain lebih kuat. Mungkin model bahasa besar di masa depan akan mengintegrasikan mekanisme untuk mengenali kapan dua sumber mengatakan hal yang sama (atau bertentangan) dan fokus sesuai. Tujuannya adalah untuk memungkinkan model memanfaatkan berbagai sumber tanpa jatuh ke dalam kebingungan – secara efektif mendapatkan yang terbaik dari kedua dunia (kedalaman informasi dan fokus yang jelas).

Ini juga patut disebutkan bahwa ketika sistem AI memperoleh jendela konteks yang lebih besar (kemampuan untuk membaca lebih banyak teks sekaligus), hanya membuang lebih banyak data ke prompt tidak ada obat ajaib. Konteks yang lebih besar tidak secara otomatis berarti pemahaman yang lebih baik. Studi ini menunjukkan bahwa bahkan jika AI dapat membaca 50 halaman sekaligus, memberinya 50 halaman informasi yang campuran mungkin tidak menghasilkan hasil yang baik. Model masih mendapat manfaat dari memiliki konten yang dikurasi dan relevan untuk bekerja, bukan dump yang tidak disaring. Faktanya, pengambilan yang cerdas mungkin menjadi lebih penting di era jendela konteks raksasa – untuk memastikan kapasitas tambahan digunakan untuk pengetahuan yang berharga daripada kebisingan.

Temuan dari “Lebih Banyak Dokumen, Panjang yang Sama” (judul paper yang tepat) mendorong kita untuk memeriksa kembali asumsi kita dalam penelitian AI. Terkadang, memberikan AI semua data yang kita miliki tidak seefektif yang kita pikir. Dengan fokus pada potongan informasi yang paling relevan, kita tidak hanya meningkatkan akurasi jawaban yang dihasilkan AI tetapi juga membuat sistem lebih efisien dan lebih mudah dipercaya. Ini adalah pelajaran yang tidak terduga, tetapi dengan ramifikasi yang menarik: sistem RAG di masa depan mungkin lebih pintar dan lebih ramping dengan memilih dokumen yang lebih sedikit dan lebih baik untuk diambil.