Mengapa Model Bahasa Mengalami Kehilangan dalam Percakapan

Sebuah makalah baru dari Microsoft Research dan Salesforce menemukan bahwa bahkan model bahasa besar (LLM) yang paling mampu mengalami kehilangan ketika instruksi diberikan dalam beberapa tahap, bukan sekaligus. Penulis menemukan bahwa kinerja menurun rata-rata 39 persen di enam tugas ketika prompt dibagi menjadi beberapa bagian:

Percakapan satu putaran (kiri) mendapatkan hasil terbaik, tetapi tidak alami untuk pengguna akhir. Percakapan multi-putaran (kanan) menemukan bahwa bahkan model LLM yang paling tinggi dan paling berkinerja mengalami kehilangan dalam percakapan. Sumber: https://arxiv.org/pdf/2505.06120

Lebih menarik lagi, keandalan respons mengalami penurunan, dengan model-model prestisius seperti ChatGPT-4.1 dan Gemini 2.5 Pro berfluktuasi antara jawaban yang hampir sempurna dan kegagalan yang jelas, tergantung pada cara instruksi diberikan; lebih lanjut, konsistensi output dapat menurun lebih dari setengah dalam proses.

Untuk mengeksplorasi perilaku ini, makalah tersebut memperkenalkan metode yang disebut sharding*, yang membagi prompt yang lengkap menjadi bagian-bagian kecil dan melepaskannya satu per satu dalam percakapan.

Dalam istilah yang paling sederhana, ini setara dengan memberikan perintah yang koheren dan komprehensif di restoran, meninggalkan pelayan dengan tidak ada yang harus dilakukan kecuali mengakui permintaan; atau memutuskan untuk menyerang masalah secara kolaboratif:

Dua versi ekstrem dari percakapan restoran (tidak dari makalah baru, untuk tujuan ilustrasi saja).

Untuk penekanan, contoh di atas mungkin memasukkan pelanggan dalam cahaya negatif. Tetapi gagasan inti yang digambarkan dalam kolom kedua adalah transaksi yang jelas, yang memperjelas masalah sebelum menanganinya – tampaknya cara yang rasional dan masuk akal untuk mendekati tugas.

Setup ini tercermin dalam pendekatan sharded baru untuk interaksi LLM. Penulis mencatat bahwa LLM sering menghasilkan respons yang terlalu panjang dan kemudian terus mengandalkan wawasan mereka meskipun wawasan tersebut telah terbukti salah atau tidak relevan. Kecenderungan ini, dikombinasikan dengan faktor lain, dapat menyebabkan sistem kehilangan jejak pertukaran secara keseluruhan.

Pada kenyataannya, peneliti mencatat apa yang banyak dari kita temukan secara anekdot – bahwa cara terbaik untuk mendapatkan percakapan kembali pada jalur yang benar adalah dengan memulai percakapan baru dengan LLM.

‘Jika percakapan dengan LLM tidak menghasilkan hasil yang diharapkan, memulai percakapan baru yang mengulangi informasi yang sama mungkin menghasilkan hasil yang jauh lebih baik daripada melanjutkan percakapan yang sedang berlangsung.

‘Ini karena LLM saat ini dapat kehilangan dalam percakapan, dan eksperimen kami menunjukkan bahwa melanjutkan percakapan dengan model tersebut tidak efektif. Selain itu, karena LLM menghasilkan teks dengan keacakan, percakapan baru mungkin menghasilkan hasil yang lebih baik.’

Penulis mengakui bahwa sistem agen seperti Autogen atau LangChain dapat memperbaiki hasil dengan bertindak sebagai lapisan interpretatif antara pengguna akhir dan LLM, hanya berkomunikasi dengan LLM ketika mereka telah mengumpulkan cukup respons sharded untuk menggabungkan menjadi pertanyaan tunggal yang koheren (yang pengguna akhir tidak akan terpapar pada):

‘Argumen dapat dibuat bahwa kemampuan multi-putaran tidak perlu menjadi fitur LLM, karena dapat di-offload ke kerangka agen. Dengan kata lain, apakah kita memerlukan dukungan multi-putaran asli di LLM ketika kerangka agen dapat mengatur interaksi dengan pengguna dan memanfaatkan LLM hanya sebagai operator tunggal?…’

Tetapi setelah menguji proposisi tersebut di seluruh contoh mereka, mereka menyimpulkan:

‘[Mengandalkan] kerangka agen untuk memproses informasi mungkin membatasi, dan kami berargumen bahwa LLM harus mendukung interaksi multi-putaran secara asli’

Makalah menarik ini baru berjudul LLM Get Lost In Multi-Turn Conversation, dan berasal dari empat peneliti di MS Research dan Salesforce,

Percakapan yang Terpecah

Metode baru ini pertama-tama memecah instruksi konvensional menjadi bagian-bagian kecil yang dirancang untuk diperkenalkan pada saat-saat kunci selama interaksi LLM, struktur yang mencerminkan gaya interaksi eksploratif dan bolak-balik yang dilihat dalam sistem seperti ChatGPT atau Google Gemini.

Setiap instruksi asli adalah prompt tunggal yang mandiri yang mengirimkan tugas secara keseluruhan sekaligus, menggabungkan pertanyaan tingkat tinggi, konteks pendukung, dan kondisi relevan. Versi sharded memecahnya menjadi beberapa bagian kecil, dengan setiap bagian menambahkan hanya satu potong informasi:

Instruksi berpasangan yang menunjukkan (a) prompt lengkap yang disampaikan dalam satu putaran dan (b) versi sharded yang digunakan untuk mensimulasikan interaksi multi-putaran yang tidak lengkap. Secara semantik, setiap versi mengirimkan payload informasi yang sama.

Potongan pertama selalu memperkenalkan tujuan utama tugas, sementara potongan lainnya memberikan detail yang menjelaskan. Bersama-sama, mereka mengirimkan konten yang sama dengan prompt asli, tetapi tersebar secara alami selama beberapa putaran dalam percakapan.

Setiap percakapan simulasi terjadi antara tiga komponen: asisten, model yang sedang dievaluasi; pengguna, agen simulasi dengan akses ke instruksi lengkap dalam bentuk sharded; dan sistem, yang mengawasi dan menskor pertukaran.

Percakapan dimulai dengan pengguna mengungkapkan potongan pertama dan asisten merespons secara bebas. Sistem kemudian mengklasifikasikan respons tersebut ke dalam salah satu kategori, seperti permintaan klarifikasi atau upaya jawaban penuh.

Jika model melakukan upaya jawaban, komponen terpisah mengekstrak hanya span yang relevan untuk evaluasi, mengabaikan teks sekitarnya. Pada setiap putaran baru, pengguna mengungkapkan satu potongan tambahan, memicu respons lain. Pertukaran berlanjut sampai model menjawab dengan benar atau tidak ada potongan lagi untuk diungkapkan:

Diagram simulasi percakapan sharded, dengan model yang dievaluasi ditandai dengan warna merah.

Uji coba awal menunjukkan bahwa model sering bertanya tentang informasi yang belum dibagikan, sehingga penulis membuang ide mengungkapkan potongan dalam urutan tetap. Sebagai gantinya, simulator digunakan untuk memutuskan potongan mana yang akan diungkapkan berikutnya, berdasarkan bagaimana percakapan berlangsung.

Simulator pengguna, diimplementasikan menggunakan GPT-4o-mini, diberi akses penuh ke instruksi lengkap dan riwayat percakapan, tugasnya adalah memutuskan, pada setiap putaran, potongan mana yang akan diungkapkan berikutnya, berdasarkan bagaimana pertukaran berlangsung.

Simulator pengguna juga mengubah setiap potongan untuk mempertahankan aliran percakapan, tanpa mengubah makna. Ini memungkinkan simulasi untuk mencerminkan ‘beri dan ambil’ dari dialog nyata, sambil mempertahankan kontrol atas struktur tugas.

Sebelum percakapan dimulai, asisten hanya diberi informasi dasar yang diperlukan untuk menyelesaikan tugas, seperti skema database atau referensi API. Asisten tidak diberitahu bahwa instruksi akan dibagi, dan asisten tidak diarahkan untuk menangani percakapan dengan cara tertentu. Ini dilakukan dengan sengaja: dalam penggunaan dunia nyata, model jarang diberitahu bahwa prompt akan tidak lengkap atau diperbarui seiring waktu, dan menghilangkan konteks ini membantu simulasi mencerminkan bagaimana model berperilaku dalam konteks yang lebih realistis.

GPT-4o-mini juga digunakan untuk memutuskan bagaimana respons model harus diklasifikasikan, dan untuk menarik jawaban akhir dari respons tersebut. Ini membantu simulasi tetap fleksibel, tetapi memperkenalkan kesalahan yang jarang terjadi: namun, setelah memeriksa beberapa ratus percakapan secara manual, penulis menemukan bahwa kurang dari lima persen memiliki masalah, dan kurang dari dua persen menunjukkan perubahan hasil karena kesalahan tersebut, dan mereka menganggap ini sebagai tingkat kesalahan yang rendah dalam parameter proyek.

Skenario Simulasi

Penulis menggunakan lima jenis simulasi untuk menguji perilaku model di bawah kondisi yang berbeda, masing-masing merupakan variasi dari cara dan kapan bagian instruksi diungkapkan.

Dalam pengaturan Full, model menerima instruksi lengkap dalam satu putaran. Ini mewakili format benchmark standar dan berfungsi sebagai baseline kinerja.

Pengaturan Sharded membagi instruksi menjadi beberapa bagian dan mengirimkannya satu per satu, mensimulasikan percakapan yang lebih realistis dan tidak lengkap. Ini adalah pengaturan utama yang digunakan untuk menguji seberapa baik model menangani input multi-putaran.

Dalam pengaturan Concat, potongan-potongan dijahit kembali sebagai daftar tunggal, mempertahankan kata-katanya tetapi menghilangkan struktur putaran-putaran. Ini membantu mengisolasi efek fragmentasi percakapan dari pengubahan atau kehilangan konten.

Pengaturan Recap berjalan seperti Sharded, tetapi menambahkan putaran terakhir di mana semua potongan sebelumnya dinyatakan kembali sebelum model memberikan jawaban akhir. Ini menguji apakah prompt ringkasan dapat membantu memulihkan konteks yang hilang.

Akhirnya, Snowball melangkah lebih jauh dengan mengulangi semua potongan sebelumnya pada setiap putaran, menjaga instruksi lengkap tetap terlihat saat percakapan berlangsung – dan menawarkan tes yang lebih memaafkan terhadap kemampuan multi-putaran.

Jenis simulasi berdasarkan instruksi sharded. Prompt yang lengkap dibagi menjadi bagian-bagian kecil, yang kemudian dapat digunakan untuk mensimulasikan baik percakapan satu putaran (Full, Concat) atau multi-putaran (Sharded, Recap, Snowball), tergantung pada seberapa cepat informasi diungkapkan.

Tugas dan Metrik

Enam tugas generasi dipilih untuk mencakup baik domain pemrograman dan bahasa alami: prompt generasi kode diambil dari HumanEval dan LiveCodeBench; kueri Text-to-SQL diambil dari Spider; panggilan API dibangun menggunakan data dari Berkeley Function Calling Leaderboard; masalah matematika dasar disediakan oleh GSM8K; tugas penjelasan tabel didasarkan pada ToTTo; dan ringkasan multi-dokumen diambil dari dataset Summary of a Haystack.

Kinerja model diukur menggunakan tiga metrik inti: kinerja rata-rata, kesanggupan, dan ketidakandalan.

Kinerja rata-rata menangkap seberapa baik model melakukan secara keseluruhan di seluruh upaya; kesanggupan mencerminkan hasil terbaik yang dapat dicapai model, berdasarkan output terbaiknya; dan ketidakandalan mengukur seberapa banyak hasil tersebut bervariasi, dengan celah yang lebih besar antara hasil terbaik dan terburuk menunjukkan perilaku yang kurang stabil.

Nilai semua skor ditempatkan pada skala 0-100 untuk memastikan konsistensi di seluruh tugas, dan metrik dihitung untuk setiap instruksi – dan kemudian dihitung rata-rata untuk memberikan gambaran keseluruhan tentang kinerja model.

Enam tugas sharded yang digunakan dalam eksperimen, mencakup baik pemrograman dan generasi bahasa alami. Setiap tugas ditunjukkan dengan instruksi yang lengkap dan versi sharded. Antara 90 dan 120 instruksi disesuaikan dari benchmark yang mapan untuk setiap tugas.

Pesaing dan Tes

Dalam simulasi awal (dengan biaya perkiraan $5000), 600 instruksi yang mencakup enam tugas dibagi dan digunakan untuk mensimulasikan tiga jenis percakapan: lengkap, concat, dan sharded. Untuk setiap kombinasi model, instruksi, dan jenis simulasi, sepuluh percakapan dijalankan, menghasilkan lebih dari 200.000 simulasi secara keseluruhan – skema yang memungkinkan untuk menangkap kinerja keseluruhan dan ukuran yang lebih dalam tentang kesanggupan dan keandalan.

Limabelas model diuji, mencakup berbagai penyedia dan arsitektur: model OpenAI GPT-4o (versi 2024-11-20), GPT-4o-mini (2024-07-18), GPT-4.1 (2025-04-14), dan model o3 (2025-04-16).

Model Antropic adalah Claude 3 Haiku (2024-03-07) dan Claude 3.7 Sonnet (2025-02-19), diakses melalui Amazon Bedrock.

Google memberikan Gemini 2.5 Flash (preview-04-17) dan Gemini 2.5 Pro (preview-03-25). Model Meta adalah Llama 3.1-8B-Instruct dan Llama 3.3-70B-Instruct, serta Llama 4 Scout-17B-16E, melalui Together AI.

Entri lainnya adalah OLMo 2 13B, Phi-4, dan Command-A, semua diakses secara lokal melalui Ollama atau Cohere API; dan Deepseek-R1, diakses melalui Amazon Bedrock.

Untuk dua model ‘pemikiran’ (o3 dan R1), batas token ditingkatkan menjadi 10.000 untuk mengakomodasi rantai penalaran yang lebih panjang:

Skor kinerja rata-rata untuk setiap model di enam tugas: kode, database, tindakan, data-ke-teks, matematika, dan ringkasan. Hasil ditampilkan untuk tiga jenis simulasi: lengkap, concat, dan sharded. Model diurutkan berdasarkan skor lengkap rata-rata. Bayangan mencerminkan derajat penurunan kinerja dari pengaturan lengkap, dengan dua kolom terakhir melaporkan penurunan rata-rata untuk concat dan sharded relatif terhadap lengkap.

Mengenai hasil ini, penulis menyatakan^†:

‘Pada tingkat yang lebih tinggi, setiap model mengalami penurunan kinerja pada setiap tugas ketika membandingkan kinerja FULL dan SHARDED, dengan penurunan rata-rata sebesar -39%. Kami menamakan fenomena ini Lost in Conversation: model yang mencapai kinerja luar biasa (90%+) dalam pengaturan laboratorium dari percakapan satu putaran yang lengkap, kesulitan pada tugas yang sama dalam pengaturan yang lebih realistis ketika percakapan tidak lengkap dan multi-putaran.’

Concat skor rata-rata 95 persen dari lengkap, menunjukkan bahwa penurunan kinerja dalam pengaturan sharded tidak dapat dijelaskan oleh kehilangan informasi. Model yang lebih kecil seperti Llama3.1-8B-Instruct, OLMo-2-13B, dan Claude 3 Haiku menunjukkan penurunan yang lebih besar dalam pengaturan concat, menunjukkan bahwa model yang lebih kecil umumnya kurang kuat terhadap pengubahan ulang daripada model yang lebih besar.

Penulis mengamati^†:

‘Mengejutkan, model yang lebih berkinerja (Claude 3.7 Sonnet, Gemini 2.5, GPT-4.1) mengalami kehilangan dalam percakapan dibandingkan dengan model yang lebih kecil (Llama3.1-8B-Instruct, Phi-4), dengan penurunan rata-rata sebesar 30-40%. Ini sebagian karena definisi metrik. Karena model yang lebih kecil mencapai skor absolut yang lebih rendah dalam FULL, mereka memiliki ruang yang lebih kecil untuk penurunan daripada model yang lebih baik.

‘Singkatnya, tidak peduli seberapa kuat kinerja satu putaran LLM, kami mengamati penurunan kinerja yang besar dalam pengaturan multi-putaran.’

Uji coba awal menunjukkan bahwa beberapa model bertahan lebih baik dalam tugas tertentu: Command-A pada Tindakan, Claude 3.7 Sonnet, dan GPT-4.1 pada kode; dan Gemini 2.5 Pro pada Data-ke-Teks, menunjukkan bahwa kemampuan multi-putaran bervariasi menurut domain. Model penalaran seperti o3 dan Deepseek-R1 tidak berkinerja lebih baik secara keseluruhan, mungkin karena jawaban yang lebih panjang mereka memperkenalkan lebih banyak asumsi, yang cenderung membingungkan percakapan.

Keandalan

Hubungan antara kesanggupan dan keandalan, yang jelas dalam simulasi satu putaran, tampaknya hancur dalam kondisi multi-putaran. Sementara kesanggupan menurun hanya sedikit, ketidakandalan dua kali lipat rata-rata. Model yang stabil dalam prompt lengkap, seperti GPT-4.1 dan Gemini 2.5 Pro, menjadi sama tidak stabil seperti model yang lebih lemah seperti Llama3.1-8B-Instruct atau OLMo-2-13B begitu instruksi dibagi.

Gambaran kesanggupan dan ketidakandalan seperti yang ditunjukkan dalam plot kotak (a), diikuti oleh hasil keandalan dari eksperimen dengan limabelas model (b), dan hasil dari uji sharding bertahap di mana instruksi dibagi menjadi satu hingga delapan potongan (c).

Respons model sering bervariasi sebanyak 50 poin pada tugas yang sama, bahkan ketika tidak ada yang baru ditambahkan, menunjukkan bahwa penurunan kinerja tidak disebabkan oleh kurangnya keterampilan, tetapi karena model menjadi semakin tidak stabil di seluruh putaran.

Makalah tersebut menyatakan^†:

‘[Meskipun] model yang lebih baik cenderung memiliki kesanggupan multi-putaran yang sedikit lebih tinggi, semua model cenderung memiliki tingkat ketidakandalan yang sama. Dengan kata lain, dalam pengaturan multi-putaran yang tidak lengkap, semua model yang kami uji menunjukkan ketidakandalan yang sangat tinggi, dengan kinerja menurun 50 poin pada skala rata-rata antara run terbaik dan terburuk untuk instruksi yang diperbaiki.’

Untuk menguji apakah penurunan kinerja terkait dengan jumlah putaran, penulis menjalankan eksperimen sharding bertahap, membagi setiap instruksi menjadi satu hingga delapan potongan (lihat kolom kanan dalam gambar di atas).

Ketika jumlah potongan meningkat, ketidakandalan meningkat secara stabil, mengkonfirmasi bahwa peningkatan putaran yang bahkan kecil membuat model lebih tidak stabil. Kesanggupan tetap hampir tidak berubah, memperkuat bahwa masalah terletak pada kesisteman, bukan kemampuan.

Kontrol Suhu

Sebuah set eksperimen terpisah menguji apakah ketidakandalan hanya merupakan produk dari keacakan. Untuk melakukan ini, penulis mengubah pengaturan suhu baik asisten dan simulator pengguna di seluruh tiga nilai: 1,0, 0,5, dan 0,0.

Dalam format satu putaran seperti lengkap dan concat, mengurangi suhu asisten secara signifikan meningkatkan keandalan, mengurangi variasi hingga 80 persen; tetapi dalam pengaturan sharded, intervensi yang sama memiliki sedikit efek:

Skor ketidakandalan untuk berbagai kombinasi suhu asisten dan pengguna di seluruh pengaturan lengkap, concat, dan sharded, dengan nilai yang lebih rendah menunjukkan konsistensi respons yang lebih besar.

Bahkan ketika asisten dan pengguna sama-sama disetel ke suhu nol, ketidakandalan tetap tinggi, dengan GPT-4o menunjukkan variasi sekitar 30 persen, menunjukkan bahwa ketidakstabilan yang diamati dalam percakapan multi-putaran tidak hanya kebisingan stokastik, tetapi kelemahan struktural dalam cara model menangani input yang terpecah.

Implikasi

Penulis menulis tentang implikasi dari temuan mereka dengan panjang yang tidak biasa pada kesimpulan makalah, berargumen bahwa kinerja satu putaran yang kuat tidak menjamin keandalan multi-putaran, dan memperingatkan terhadap mengandalkan benchmark yang sepenuhnya spesifik saat mengevaluasi kesiapan dunia nyata (karena benchmark tersebut menyembunyikan ketidakstabilan dalam interaksi yang lebih alami dan terpecah).

Mereka juga menyarankan bahwa ketidakandalan bukan hanya artefak sampling, tetapi batasan fundamental dalam cara model saat ini memproses input yang berkembang, dan mereka menyarankan bahwa ini menimbulkan kekhawatiran untuk kerangka agen, yang bergantung pada penalaran yang berkelanjutan di seluruh putaran.

Akhirnya, mereka berargumen bahwa kemampuan multi-putaran harus dianggap sebagai kemampuan inti LLM, bukan sesuatu yang dapat di-offload ke sistem eksternal.

Penulis mencatat bahwa hasil mereka kemungkinan meremehkan skala masalah yang sebenarnya, dan menarik perhatian pada kondisi ideal tes: simulator pengguna dalam setup mereka memiliki akses penuh ke instruksi dan dapat mengungkapkan potongan dalam urutan optimal, yang memberikan asisten konteks yang sangat menguntungkan (dalam penggunaan dunia nyata, pengguna sering memberikan prompt yang terpecah atau ambigu tanpa mengetahui apa yang model butuhkan untuk didengar selanjutnya).

Tambahan, asisten dievaluasi langsung setelah setiap putaran, sebelum percakapan sepenuhnya terbentuk, mencegah kebingungan atau kontradiksi diri yang terjadi kemudian dari hukuman, yang jika tidak akan memperburuk kinerja. Pilihan-pilihan ini, meskipun perlu untuk kontrol eksperimental, berarti bahwa celah keandalan yang diamati dalam praktek kemungkinan besar lebih besar daripada yang dilaporkan.

Mereka menyimpulkan:

‘[Kami] percaya bahwa simulasi yang dilakukan mewakili lingkungan pengujian yang ringan untuk kemampuan multi-putaran LLM. Karena kondisi simulasi yang terlalu disederhanakan, kami percaya bahwa degradasi yang diamati dalam eksperimen adalah perkiraan yang meremehkan dari ketidakandalan LLM, dan seberapa sering LLM mengalami kehilangan dalam percakapan di pengaturan dunia nyata.’

Kesimpulan

Siapa pun yang telah menghabiskan waktu yang cukup dengan LLM kemungkinan akan mengenali masalah yang dirumuskan di sini, dari pengalaman praktis; dan kebanyakan dari kita, saya bayangkan, telah secara intuitif meninggalkan percakapan LLM yang ‘hilang’ untuk percakapan baru, dengan harapan bahwa LLM mungkin ‘memulai lagi’ dan berhenti mengobsesi materi yang muncul dalam pertukaran yang panjang dan semakin menjengkelkan.

Sangat menarik untuk mencatat bahwa melemparkan lebih banyak konteks ke masalah mungkin tidak selalu menyelesaikannya; dan memang, untuk mengamati bahwa makalah ini mengajukan lebih banyak pertanyaan daripada jawaban yang diberikan (kecuali dalam hal cara untuk menghindari masalah).

* Menyesatkan, ini tidak terkait dengan makna konvensional ‘sharding’ dalam AI.

† Penekanan tebal dari penulis.

Dipublikasikan pertama kali pada hari Senin, 12 Mei 2025