Mengapa Model Bahasa Besar Lupa di Tengah: Mengungkap Titik Buta Tersembunyi AI

Seiring Model Bahasa Besar (LLM) digunakan secara luas untuk tugas seperti ringkasan dokumen, analisis hukum, dan evaluasi riwayat medis, sangat penting untuk mengenali keterbatasan model ini. Sementara masalah umum seperti halusinasi dan bias sudah diketahui, para peneliti baru-baru ini mengidentifikasi kelemahan signifikan lain: ketika memproses teks panjang, LLM cenderung mempertahankan informasi di awal dan akhir tetapi sering mengabaikan bagian tengah.

Masalah ini, yang disebut sebagai fenomena “lost-in-the-middle“, dapat sangat mempengaruhi kinerja model ini dalam aplikasi dunia nyata. Misalnya, jika AI diberi tugas untuk meringkas dokumen hukum yang panjang, melewatkan detail kritis dari bagian tengah dapat menyebabkan ringkasan yang menyesatkan atau tidak lengkap. Dalam pengaturan medis, mengabaikan informasi dari bagian tengah riwayat pasien dapat menghasilkan rekomendasi yang tidak akurat. Memahami mengapa ini terjadi tetap menjadi tugas yang menantang bagi peneliti yang berusaha membangun AI yang lebih aman dan lebih handal. Namun, baru-baru ini sebuah studi memberikan beberapa jawaban yang paling jelas, mengungkapkan bahwa masalah ini sangat terkait dengan arsitektur model ini.

Masalah “Lost-in-the-Middle”

Fenomena “lost-in-the-middle” merujuk pada kecenderungan LLM untuk memberikan perhatian yang lebih sedikit pada informasi di bagian tengah urutan input panjang. Ini mirip dengan bagaimana manusia sering mengingat item pertama dan terakhir dalam sebuah daftar lebih baik daripada item di tengah. Bias kognitif ini pada manusia sering dikenal sebagai efek primasi dan kebaruan. Untuk LLM, ini berarti mereka berkinerja lebih baik ketika informasi kunci berada di awal atau akhir teks tetapi berjuang ketika informasi tersebut terkubur di bagian tengah. Ini menghasilkan kurva kinerja berbentuk “U”, di mana akurasi tinggi di awal, turun secara signifikan di tengah, dan kemudian naik lagi di akhir.

Fenomena ini bukan hanya masalah teoretis. Ini telah diamati dalam berbagai tugas, dari jawaban pertanyaan hingga ringkasan dokumen. Misalnya, jika Anda bertanya kepada LLM sebuah pertanyaan di mana jawabannya terletak di beberapa paragraf pertama artikel panjang, itu kemungkinan akan menjawab dengan benar. Hal yang sama berlaku jika jawaban berada di beberapa paragraf terakhir. Namun, jika informasi kritis berada di tengah, akurasi model turun secara tajam. Ini adalah keterbatasan serius, karena berarti kita tidak dapat sepenuhnya mempercayai model ini dengan tugas yang memerlukan pemahaman konteks panjang dan kompleks. Ini juga membuat mereka rentan terhadap manipulasi. Seseorang bisa sengaja meletakkan informasi menyesatkan di awal atau akhir dokumen untuk mempengaruhi output AI.

Memahami Arsitektur LLM

Untuk memahami mengapa LLM melupakan bagian tengah, kita perlu melihat bagaimana mereka dibangun. LLM modern didasarkan pada arsitektur yang disebut Transformer. Transformer merupakan terobosan dalam AI karena memperkenalkan mekanisme yang disebut perhatian mandiri. Perhatian mandiri memungkinkan model untuk menimbang pentingnya kata-kata yang berbeda dalam teks input ketika memproses kata tertentu. Misalnya, ketika memproses kalimat “Kucing duduk di atas tikar,” mekanisme perhatian mandiri mungkin belajar bahwa “kucing” dan “duduk” sangat terkait. Ini memungkinkan model untuk membangun pemahaman yang lebih kaya tentang hubungan antara kata-kata daripada arsitektur sebelumnya.

Komponen kunci lainnya adalah pengkodean posisional. Karena mekanisme perhatian mandiri itu sendiri tidak memiliki pemahaman bawaan tentang urutan kata, pengkodean posisional ditambahkan ke input untuk memberikan model informasi tentang posisi setiap kata dalam urutan. Tanpa ini, model akan melihat teks input sebagai sekadar “kumpulan kata” tanpa struktur. Dua komponen ini, perhatian mandiri dan pengkodean posisional, bekerja sama untuk membuat LLM lebih efektif. Namun, penelitian baru menunjukkan bahwa cara mereka berinteraksi juga merupakan sumber titik buta tersembunyi ini.

Bagaimana Bias Posisi Muncul

Sebuah studi baru-baru ini menggunakan pendekatan cerdas untuk menjelaskan fenomena ini. Mereka memodelkan aliran informasi di dalam Transformer sebagai grafik, di mana setiap kata adalah node dan koneksi perhatian adalah edge. Ini memungkinkan peneliti untuk melacak secara matematis bagaimana informasi dari posisi yang berbeda diproses melalui lapisan-lapisan model.

Mereka menemukan dua wawasan utama. Pertama, penggunaan masking kausal dalam banyak LLM secara inheren menciptakan bias menuju awal urutan. Masking kausal adalah teknik yang memastikan ketika model menghasilkan kata, itu hanya dapat memperhatikan kata-kata yang datang sebelumnya, bukan setelahnya. Ini sangat penting untuk tugas seperti generasi teks. Namun, melalui banyak lapisan, ini menciptakan efek komponen. Kata-kata pertama dalam teks diproses berulang kali, dan representasi mereka menjadi lebih dan lebih berpengaruh. Sebaliknya, kata-kata di tengah selalu melihat kembali konteks yang sudah mapan, dan kontribusi unik mereka dapat tenggelam.

Kedua, peneliti melihat bagaimana pengkodean posisional berinteraksi dengan efek masking kausal ini. LLM modern sering menggunakan pengkodean posisional relatif, yang fokus pada jarak antara kata-kata daripada posisi absolut. Ini membantu model untuk menggeneralisasi teks dengan panjang yang berbeda. Sementara ini tampak seperti ide yang baik, ini menciptakan tekanan yang bersaing. Mask kausal mendorong fokus model ke awal, sementara pengkodean posisional relatif mendorong model untuk fokus pada kata-kata di sekitar. Hasil dari tarik-menarik ini adalah bahwa model memperhatikan paling banyak awal teks dan konteks lokal sekitar kata tertentu. Informasi yang jauh dan tidak di awal, dengan kata lain, bagian tengah, mendapatkan perhatian paling sedikit.

Implikasi yang Lebih Luas

Fenomena “lost-in-the-middle” memiliki konsekuensi signifikan untuk aplikasi yang bergantung pada pemrosesan teks panjang. Penelitian menunjukkan bahwa masalah ini bukan hanya efek acak tetapi konsekuensi fundamental dari cara kita merancang model ini. Ini berarti bahwa hanya dengan melatih mereka pada lebih banyak data tidak mungkin untuk memecahkan masalah ini. Sebaliknya, kita mungkin perlu merevisi beberapa prinsip arsitektur dasar Transformer.

Bagi pengguna dan pengembang AI, ini adalah peringatan kritis. Kita harus menyadari keterbatasan ini ketika merancang aplikasi yang bergantung pada LLM. Untuk tugas yang melibatkan dokumen panjang, kita mungkin perlu mengembangkan strategi untuk mitigasi bias ini. Ini bisa melibatkan memecah dokumen menjadi potongan-potongan yang lebih kecil atau membuat model yang secara khusus mengarahkan perhatian model ke bagian-bagian teks yang berbeda. Ini juga menekankan pentingnya pengujian yang ketat. Kita tidak bisa mengasumsikan bahwa LLM yang berkinerja baik pada teks pendek akan dapat diandalkan ketika dihadapkan pada input yang lebih panjang dan lebih kompleks.

Intinya

Pengembangan AI selalu fokus pada mengidentifikasi keterbatasan dan menemukan cara untuk mengatasi mereka. Masalah “lost-in-the-middle” adalah kelemahan signifikan dalam model bahasa besar, di mana mereka cenderung mengabaikan informasi di bagian tengah urutan teks panjang. Masalah ini muncul dari bias dalam arsitektur Transformer, terutama interaksi antara masking kausal dan pengkodean posisional relatif. Sementara LLM berkinerja baik dengan informasi di awal dan akhir teks, mereka berjuang ketika detail penting ditempatkan di tengah. Keterbatasan ini dapat mengurangi akurasi LLM dalam tugas seperti ringkasan dokumen dan jawaban pertanyaan, yang dapat memiliki implikasi serius dalam bidang seperti hukum dan kedokteran. Pengembang dan peneliti harus menyelesaikan masalah ini untuk meningkatkan kehandalan LLM dalam aplikasi praktis. ils are placed in the middle. This limitation can reduce the accuracy of LLMs in tasks like document summarization and question answering, which can have serious implications in fields like law and medicine. Developers and researchers must resolve this issue to improve the reliability of LLMs in practical applications.