Penelitian Baru Menemukan Enam Belas Masalah Utama dengan Sistem RAG, Termasuk Perplexity

Sebuah studi baru dari AS menemukan bahwa kinerja nyata sistem Retrieval Augmented Generation (RAG) yang populer, seperti Perplexity dan Bing Copilot, jauh dari harapan pemasaran dan adopsi populer yang telah menjadi headline selama 12 bulan terakhir.

Proyek ini, yang melibatkan partisipasi survei ekstensif dengan 21 suara ahli, menemukan tidak kurang dari 16 area di mana sistem RAG yang dipelajari (You Chat, Bing Copilot, dan Perplexity) menghasilkan penyebab kekhawatiran:

1: Kurangnya detail objektif dalam jawaban yang dihasilkan, dengan ringkasan generik dan kedalaman kontekstual atau nuansa yang kurang.

2. Penguatan bias pengguna yang dirasakan, di mana mesin RAG sering gagal mempresentasikan berbagai sudut pandang, tetapi malah menginfer dan memperkuat bias pengguna, berdasarkan cara pengguna merumuskan pertanyaan.

3. Bahasa yang terlalu percaya diri, terutama dalam respons subjektif yang tidak dapat dibuktikan secara empiris, yang dapat menyebabkan pengguna mempercayai jawaban lebih dari yang seharusnya.

4: Bahasa yang sederhana dan kurangnya pemikiran kritis dan kreativitas, di mana respons efektif memanjakan pengguna dengan informasi yang “dumbed-down” dan “setuju”, bukan pemikiran yang matang dan analisis.

5: Penyalahgunaan dan penyalahpenulisan sumber, di mana mesin jawaban menggunakan sumber yang dikutip yang tidak mendukung responsnya, menciptakan ilusi kredibilitas.

6: Mengambil informasi dari konteks yang diinferensi, di mana agen RAG tampaknya mencari jawaban yang mendukung kontennya dan estimasi apa yang pengguna inginkan, bukan berdasarkan analisis objektif sumber yang dapat diandalkan (mungkin menunjukkan konflik antara data LLM yang “dibakar” dan data yang diperoleh secara langsung dari internet dalam menanggapi pertanyaan).

7: Menghilangkan kutipan yang mendukung pernyataan, di mana materi sumber untuk respons tidak ada.

8: Tidak menyediakan skema logis untuk responsnya, di mana pengguna tidak dapat menanyakan mengapa sistem memprioritaskan sumber tertentu daripada sumber lain.

9: Jumlah sumber yang terbatas, di mana sebagian besar sistem RAG biasanya menyediakan sekitar tiga sumber pendukung untuk pernyataan, bahkan ketika keragaman sumber yang lebih besar akan berlaku.

10: Sumber yang terpisah, di mana data dari semua atau sebagian sumber pendukung sistem tidak benar-benar disertakan dalam jawaban.

11: Penggunaan sumber yang tidak dapat diandalkan, di mana sistem tampaknya lebih memilih sumber yang populer (yaitu, dalam istilah SEO) daripada benar secara faktual.

12: Sumber yang berlebihan, di mana sistem menyajikan beberapa kutipan di mana kertas sumber pada dasarnya sama dalam konten.

13: Sumber yang tidak disaring, di mana sistem menawarkan pengguna tidak ada cara untuk mengevaluasi atau menyaring kutipan yang ditawarkan, memaksa pengguna untuk mempercayai kriteria seleksi.

14: Kurangnya interaktivitas atau kemampuan menjelajahi, di mana beberapa partisipan studi pengguna merasa frustrasi bahwa sistem RAG tidak meminta pertanyaan klarifikasi, tetapi menganggap niat pengguna dari pertanyaan pertama.

15: Keperluan verifikasi eksternal, di mana pengguna merasa terdorong untuk melakukan verifikasi independen dari respons yang disediakan, sebagian besar menghilangkan kemudahan yang seharusnya dari RAG sebagai “pengganti pencarian”.

16: Penggunaan metode kutipan akademis, seperti [1] atau [34]; ini adalah praktik standar dalam lingkaran akademis, tetapi dapat tidak intuitif bagi banyak pengguna.

Untuk pekerjaan ini, peneliti mengumpulkan 21 ahli dalam kecerdasan buatan, kesehatan dan kedokteran, ilmu terapan dan pendidikan, dan ilmu sosial, semua baik peneliti pasca-doktor atau kandidat PhD. Partisipan berinteraksi dengan sistem RAG yang diuji sambil mengucapkan proses pemikiran mereka dengan keras, untuk memperjelas (bagi peneliti) skema rasional mereka sendiri.

Makalah ini secara luas mengutip keraguan dan kekhawatiran partisipan tentang kinerja ketiga sistem yang dipelajari.

Metodologi studi pengguna kemudian disistematisasi menjadi studi otomatis dari sistem RAG, menggunakan suite kontrol browser:

‘Evaluasi otomatis besar-besaran dari sistem seperti You.com, Perplexity.ai, dan BingChat menunjukkan bahwa tidak satu pun dari mereka memenuhi kinerja yang dapat diterima di sebagian besar metrik, termasuk aspek kritis yang terkait dengan penanganan halusinasi, pernyataan yang tidak didukung, dan akurasi kutipan.’

Penulis berpendapat dengan panjang lebar (dan assiduously, dalam makalah 27 halaman yang komprehensif) bahwa baik pengguna baru maupun berpengalaman harus berhati-hati saat menggunakan kelas sistem RAG yang dipelajari. Mereka lebih lanjut mengusulkan sistem metrik baru, berdasarkan kekurangan yang ditemukan dalam studi, yang dapat membentuk dasar pengawasan teknis yang lebih besar di masa depan.

Namun, penggunaan publik yang meningkat dari sistem RAG meminta penulis juga untuk mendukung legislasi yang tepat dan tingkat kebijakan pemerintah yang lebih besar dalam kaitannya dengan antarmuka pencarian AI yang dibantu agen.

Studi ini berasal dari lima peneliti di Pennsylvania State University dan Salesforce, dan berjudul Search Engines in an AI Era: The False Promise of Factual and Verifiable Source-Cited Responses. Pekerjaan ini mencakup sistem RAG hingga keadaan seni pada Agustus 2024

Perdagangan RAG

Penulis memulai pekerjaan mereka dengan mengulangi empat kekurangan yang diketahui dari Model Bahasa Besar (LLM) di mana mereka digunakan dalam Mesin Jawaban.

Pertama, mereka rentan menghalusinasi informasi, dan kekurangan kemampuan untuk mendeteksi inkonsistensi faktual. Kedua, mereka memiliki kesulitan menilai akurasi dari kutipan dalam konteks jawaban yang dihasilkan. Ketiga, mereka cenderung mengutamakan data dari bobot pra-latih mereka sendiri, dan mungkin resisten terhadap data dari dokumen yang diperoleh secara eksternal, bahkan jika data tersebut lebih baru atau lebih akurat.

Terakhir, sistem RAG cenderung menuju orang-orang yang menyenangkan, perilaku sycophantic, seringkali dengan mengorbankan akurasi informasi dalam respons mereka.

Semua kecenderungan ini dikonfirmasi dalam kedua aspek studi, di antara banyak observasi baru tentang jebakan RAG.

Makalah ini memandang OpenAI’s SearchGPT RAG produk (dirilis kepada pelanggan minggu lalu, setelah makalah baru diserahkan), sebagai kemungkinan untuk mendorong adopsi pengguna RAG-basis pencarian, meskipun kekurangan dasar yang hasil survei menunjukkan*:

‘Pengeluaran OpenAI’s ‘SearchGPT,’ dipasarkan sebagai ‘Google search killer’, lebih memperburuk [kekhawatiran]. Ketika ketergantungan pada alat-alat ini tumbuh, sehingga urgensi untuk memahami dampaknya. Lindemann memperkenalkan konsep Pengetahuan yang Disegel, yang mengkritik bagaimana sistem-sistem ini membatasi akses ke jawaban yang beragam dengan mengondensasi pertanyaan pencarian menjadi respons otoritatif tunggal, efektif mendekontekstualisasi informasi dan mempersempit perspektif pengguna.

‘Ini “mengunci” pengetahuan memperkuat bias pemilihan dan membatasi pandangan yang dimarginalkan.’

Studi

Penulis pertama kali menguji prosedur studi mereka pada tiga dari 24 partisipan yang dipilih, semua diundang melalui LinkedIn atau email.

Tahap pertama, untuk 21 partisipan yang tersisa, melibatkan Pengambilan Informasi Keahlian, di mana partisipan rata-rata sekitar enam pertanyaan pencarian selama sesi 40 menit. Bagian ini berkonsentrasi pada pengambilan dan verifikasi pertanyaan dan jawaban berbasis fakta, dengan solusi empiris potensial.

Tahap kedua berkaitan dengan Pengambilan Informasi Debat, yang menangani masalah subjektif, termasuk ekologi, vegetarianisme, dan politik.

Jawaban studi yang dihasilkan dari Perplexity (kiri) dan You Chat (kanan). Sumber: https://arxiv.org/pdf/2410.22349

Karena semua sistem memungkinkan setidaknya beberapa tingkat interaktivitas dengan kutipan yang disediakan sebagai dukungan untuk jawaban yang dihasilkan, subjek studi didorong untuk berinteraksi dengan antarmuka sebanyak mungkin.

Di kedua kasus, partisipan diminta untuk merumuskan pertanyaan mereka baik melalui sistem RAG dan mesin pencari konvensional (dalam hal ini, Google).

Ketiga Mesin Jawaban – You Chat, Bing Copilot, dan Perplexity – dipilih karena mereka dapat diakses secara publik.

Sebagian besar partisipan sudah menjadi pengguna sistem RAG, dengan frekuensi yang bervariasi.

Karena keterbatasan ruang, kami tidak dapat memecah setiap kekurangan kunci yang didokumentasikan dengan baik dari 16 poin yang ditemukan dalam studi, tetapi kami menyajikan beberapa contoh yang paling menarik dan mendalam.

Kurangnya Detail Objektif

Makalah ini mencatat bahwa pengguna menemukan bahwa respons sistem sering kali kekurangan detail objektif, di seluruh jawaban faktual dan subjektif. Salah satu komentar:

‘Ini hanya mencoba menjawab tanpa benar-benar memberi saya jawaban yang solid atau jawaban yang lebih terpikir, yang saya dapatkan dengan beberapa pencarian Google.’

Yang lain mengamati:
‘Ini terlalu singkat dan hanya merangkum semuanya. [Model] perlu memberi saya lebih banyak data untuk klaim, tetapi ini sangat ringkas.’

Kurangnya Sudut Pandang Holistik

Penulis mengungkapkan kekhawatiran tentang kurangnya nuansa dan spesifikasi ini, dan menyatakan bahwa Mesin Jawaban sering gagal mempresentasikan beberapa perspektif pada argumen apa pun, cenderung memihak pada bias yang dirasakan yang diinferensi dari frasa pertanyaan pengguna.

Seorang partisipan mengatakan:

‘Saya ingin mengetahui lebih lanjut tentang sisi lain argumen… ini semua dengan sedikit garam karena kita tidak tahu sisi lain dan bukti dan fakta.’

Yang lain mengomentari:
‘Ini tidak memberi Anda kedua sisi argumen; ini tidak berdebat dengan Anda. Sebaliknya, [model] hanya mengatakan kepada Anda, ‘Anda benar… dan berikut adalah alasan-alasannya.’

Bahasa yang Percaya Diri

Penulis mengamati bahwa ketiga sistem yang diuji menunjukkan penggunaan bahasa yang terlalu percaya diri, bahkan untuk respons yang mencakup masalah subjektif. Mereka berpendapat bahwa nada ini akan cenderung menginspirasi kepercayaan yang tidak dibenarkan dalam respons.

Seorang partisipan mencatat:

‘Ini menulis dengan sangat percaya diri, saya merasa yakin tanpa melihat sumber. Tetapi ketika Anda melihat sumber, itu buruk dan itu membuat saya mempertanyakan lagi.’

Yang lain mengomentari:
‘Jika seseorang tidak tahu jawaban yang tepat, mereka akan mempercayai ini bahkan ketika itu salah.’

Kutipan yang Tidak Tepat

Masalah lain yang sering terjadi adalah penyalahgunaan sumber yang dikutip sebagai otoritas untuk respons sistem RAG, dengan salah satu subjek studi yang menyatakan:

‘[Pernyataan] ini tidak tampaknya ada di sumber. Saya maksud pernyataan itu benar; itu valid… tetapi saya tidak tahu dari mana [sistem] mendapatkan informasi ini.’

Penulis makalah ini mengomentari ^†:

‘Partisipan merasa bahwa sistem menggunakan kutipan untuk melegitimasi jawaban mereka, menciptakan ilusi kredibilitas. Ini hanya terungkap kepada beberapa pengguna yang memeriksa sumber.’

Mengambil Informasi untuk Menyesuaikan Pertanyaan

Kembali ke konsep orang-orang yang menyenangkan, perilaku sycophantic dalam respons RAG, studi ini menemukan bahwa banyak jawaban menyoroti satu sudut pandang tertentu daripada merangkum topik secara komprehensif, seperti yang diamati oleh seorang partisipan:

‘Saya merasa [sistem] manipulatif. Ini hanya mengambil beberapa informasi dan itu membuat saya merasa saya dimanipulasi untuk hanya melihat satu sisi hal-hal.’

Yang lain mengatakan:

‘[Sumber] sebenarnya memiliki kedua pro dan kontra, dan [sistem] memilih hanya argumen yang diperlukan dari tautan ini tanpa gambaran lengkap.’

Untuk contoh yang lebih mendalam (dan kutipan kritis dari partisipan survei), kami merujuk pembaca ke makalah sumber.

RAG Otomatis

Dalam tahap kedua dari studi yang lebih luas, peneliti menggunakan scripting berbasis browser untuk secara sistematis meminta pertanyaan dari tiga mesin RAG yang dipelajari. Mereka kemudian menggunakan sistem LLM (GPT-4o) untuk menganalisis respons sistem.

Pernyataan ini dianalisis untuk relevansi pertanyaan dan Pernyataan Pro dan Kontra (yaitu, apakah responsnya untuk, melawan, atau netral, dalam kaitannya dengan bias implisit dari pertanyaan.

Skor Kepercayaan Jawaban juga dievaluasi dalam fase otomatis ini, berdasarkan metode pengujian psikometrik Likert scale. Di sini, hakim LLM diperkuat oleh dua pengannotator manusia.

Operasi ketiga melibatkan penggunaan web-scraping untuk mendapatkan konten teks lengkap dari halaman web yang dikutip, melalui alat Jina.ai Reader. Namun, seperti yang dicatat di tempat lain dalam makalah, sebagian besar alat web-scraping tidak dapat mengakses situs yang dibayarkan seperti kebanyakan orang (meskipun penulis mengamati bahwa Perplexity.ai telah diketahui menghindari hambatan ini).

Pertimbangan tambahan adalah apakah jawaban mengutip sumber (dihitung sebagai ‘matriks kutipan’), serta ‘matriks dukungan faktual’ – metrik yang diverifikasi dengan bantuan empat pengannotator manusia.

Demikian, delapan metrik yang mencakup: jawaban satu sisi; jawaban yang terlalu percaya diri; pernyataan yang relevan; sumber yang tidak dikutip; pernyataan yang tidak didukung; keperluan sumber; akurasi kutipan; dan kelengkapan kutipan.

Bahan yang diuji terhadap metrik ini terdiri dari 303 pertanyaan yang dikurasi dari fase studi pengguna, menghasilkan 909 jawaban di seluruh tiga sistem yang diuji.

Evaluasi kuantitatif di seluruh tiga sistem RAG yang diuji, berdasarkan delapan metrik.

Mengenai hasilnya, makalah ini menyatakan:

‘Dengan melihat tiga metrik yang terkait dengan teks jawaban, kami menemukan bahwa mesin jawaban yang dievaluasi semua sering (50-80%) menghasilkan jawaban satu sisi, memilih untuk setuju dengan formulasi pertanyaan debat yang diisi daripada mempresentasikan beberapa perspektif dalam jawaban, dengan Perplexity melakukan lebih buruk daripada dua mesin lainnya.

‘Temuan ini sesuai dengan [temuan] hasil kualitatif kami. Secara mengejutkan, meskipun Perplexity paling mungkin menghasilkan jawaban satu sisi, juga menghasilkan jawaban terpanjang (18,8 pernyataan per jawaban rata-rata), menunjukkan bahwa kurangnya keanekaragaman jawaban tidak disebabkan oleh ke singkatannya.

‘Dengan kata lain, meningkatkan panjang jawaban tidak selalu meningkatkan keanekaragaman jawaban.’

Penulis juga mencatat bahwa Perplexity paling mungkin menggunakan bahasa yang percaya diri (90% jawaban), dan bahwa, sebaliknya, dua sistem lainnya cenderung menggunakan bahasa yang lebih hati-hati dan kurang percaya diri ketika konten subjektif terlibat.

You Chat adalah satu-satunya kerangka RAG yang mencapai nol sumber yang tidak dikutip untuk jawaban, dengan Perplexity pada 8% dan Bing Chat pada 36%.

Semua model menunjukkan ‘proporsi signifikan’ dari pernyataan yang tidak didukung, dan makalah ini menyatakan^†:

‘Kerangka RAG diiklankan untuk memecahkan perilaku halusinasi dari LLM dengan memastikan bahwa LLM menghasilkan jawaban yang didasarkan pada dokumen sumber, namun hasilnya menunjukkan bahwa mesin jawaban RAG masih menghasilkan jawaban yang mengandung proporsi besar pernyataan yang tidak didukung oleh sumber yang mereka sediakan.‘

Selain itu, semua sistem yang diuji memiliki kesulitan dalam mendukung pernyataan mereka dengan kutipan:

‘You.Com dan [Bing Chat] melakukan sedikit lebih baik daripada Perplexity, dengan sekitar dua pertiga kutipan yang menunjuk ke sumber yang mendukung pernyataan yang dikutip, dan Perplexity melakukan lebih buruk dengan lebih dari setengah kutipannya yang tidak akurat.

‘Hasil ini mengejutkan: kutipan tidak hanya tidak akurat untuk pernyataan yang tidak didukung oleh sumber, tetapi kami juga menemukan bahwa bahkan ketika ada sumber yang mendukung pernyataan, semua mesin masih sering mengutip sumber yang berbeda yang tidak akurat, melewatkan kesempatan untuk menyediakan informasi sumber yang benar kepada pengguna.

‘Dengan kata lain, perilaku halusinasi tidak hanya ditampilkan dalam pernyataan yang tidak didukung, tetapi juga dalam kutipan yang tidak akurat yang menghalangi pengguna untuk memverifikasi keabsahan informasi.‘

Penulis menyimpulkan:

‘Tidak satu pun dari mesin jawaban yang mencapai kinerja yang baik pada sebagian besar metrik, menyoroti ruang yang besar untuk perbaikan dalam mesin jawaban.’

* Konversi saya dari kutipan inline penulis ke tautan. Di mana perlu, saya telah memilih kutipan pertama dari beberapa kutipan untuk tautan, karena praktikitas pemformatan.

^† Penekanan penulis, bukan saya.

Dipublikasikan pertama kali pada hari Senin, 4 November 2024