Mengapa Teks yang Dihasilkan AI Lebih Sulit Dipahami daripada yang Anda Bayangkan

Model AI mungkin semakin sulit dipahami karena pelatihannya makin banyak mendorong penyelesaian masalah secara efisien, alih-alih penjelasan yang jelas bagi manusia.

Kalimat di atas, tanpa penyuntingan, ditulis oleh ChatGPT sebagai jawaban atas permintaan untuk membuat ringkasan satu kalimat dari sebuah makalah sains dengan gaya ELI5; kalimat itu menunjukkan setidaknya beberapa ciri perusak bahasa yang dijelaskan dalam studi baru tersebut*. Karya baru itu menyimpulkan bahwa masalah ini memengaruhi semua model terdepan, serta model yang hampir menyamai model terdepan dan beberapa model berbobot terbuka yang juga diuji.

Misalnya, bagian awal dari kutipan “pelatihannya makin banyak mendorong penyelesaian masalah secara efisien” menggambarkan pandangan makalah tersebut bahwa model AI terkadang memberikan tindakan manusia kepada benda tak hidup (karena dalam contoh di atas, “pelatihan” digambarkan secara aktif memberi penghargaan kepada sesuatu).

Hal ini dapat menghambat pemahaman cepat atas frasa tersebut, karena kita harus menyadari dalam benak bahwa atribusi itu merupakan cara ilustratif untuk menyampaikan sesuatu, alih-alih memahaminya secara harfiah (yang jauh lebih sederhana).

Bagian akhir, “makin banyak mendorong penyelesaian masalah secara efisien”, juga memadatkan beberapa gagasan sekaligus sehingga pembaca harus mencari tahu apa yang diberi penghargaan, apa yang diselesaikan, dan apa yang menjadi lebih efisien.

Makalah tersebut menyatakan^†:

“[Readers] menggunakan kebernyawaan sebagai petunjuk saat memproses kalimat, dan tanpa konteks tambahan, ketidakcocokan dapat memicu respons P600^†† yang berkaitan dengan analisis ulang.

“Namun, mengubah kalimat-kalimat ini agar tidak menggunakan subjek benda tak hidup berpotensi membuat kalimatnya lebih panjang: misalnya, kata “menggigit” menggantikan frasa “menyebabkan masalah”.

“Kami menduga bahwa selama pelatihan, model mungkin terbiasa menggunakan konstruksi semacam ini sebagai cara yang efisien, meski tidak baku, untuk mengungkapkan makna yang jika tidak demikian akan membutuhkan lebih banyak token.”

Maksudnya?

Inilah inti makalah tersebut: karena model AI modern seperti ChatGPT, Claude, dan Gemini dioptimalkan untuk berbagai jenis pemecahan masalah, bukan secara khusus untuk komunikasi, model-model ini cenderung menyampaikan bahasa dalam bentuk paket yang sangat padat dan perlu diuraikan.

Hal ini mengejutkan saya, karena saya terus berusaha meyakinkan ChatGPT dan model-model sejenisnya agar tidak terlalu bertele-tele dan lebih padat—masalah yang telah dikenali dan dibahas dalam literatur.

Sebaliknya, makalah tersebut menggambarkan verbosity sebagai semacam bom zip yang menghambat pemahaman dengan mudah, bahkan dalam kalimat yang tidak terlalu panjang. Jadi, jika kita menggabungkan dua masalah ini—panjang jawaban bawaan yang berlebihan dan pengamatan makalah tentang pemadatan yang berlebihan—kita dapat membayangkan bahwa pola khas gaya respons bawaan AI terdepan sangat berbeda (dan, barangkali, gaya yang cukup singkat ini sebagian digunakan sebagai penentu dalam detektor teks yang dihasilkan AI, meskipun makalah tersebut tidak membahas hal ini).

Para penulis juga mengkaji gabungan nomina bertumpuk, yang dicontohkan oleh frasa bermasalah Regu Membantu Anjing Menggigit^†:

“Dalam bahasa Inggris, nomina dengan leluasa menerangkan nomina lain layaknya kata sifat: dalam frasa kedai kopi, kopi menerangkan kedai, meskipun biasanya digunakan sebagai nomina. Sifat ini memungkinkan beberapa nomina ditumpuk menjadi kata majemuk yang kaya makna dan menunjukkan arti yang sangat spesifik.

Namun, rangkaian seperti ini dapat menimbulkan ambiguitas pengelompokan, seperti pada judul Regu Membantu Korban Gigitan Anjing, dan mengganggu proses membaca.”

Jadi, jika LLM bertele-tele karena pemadatan, apakah mereka menjadi dua kali lebih bertele-tele dengan menghasilkan volume teks padat yang berlebihan sebagai jawaban atas pertanyaan? Artinya, bukan hanya ada banyak teks yang harus dibaca sebagai jawaban atas pertanyaan Anda, tetapi teks itu sendiri mungkin mengandung banyak makna “tersirat” yang perlu diuraikan.

Sebuah makalah tahun 2023 mengemukakan bahwa LLM dapat menjadi terlalu bertele-tele karena penggunaan juri AI selama pelatihan, sebab juri semacam ini sering memberi nilai lebih tinggi pada jawaban yang lebih panjang—bahkan ketika dalam pengujian studi tersebut, manusia lebih menyukai jawaban yang lebih singkat.

Para penulis karya baru itu mengaitkan (lihat kutipan sebelumnya) sebagian kecenderungan model terdepan untuk memadatkan teks dengan kecenderungan arsitektural untuk menghemat token, yang merupakan anggapan yang cukup murah hati saat ini.

Mari kita tinjau metode, data, dan pengujian yang dilakukan para penulis dalam studi tersebut.

Data dan Metode

Kombinasi kata yang tidak lazim (diukur melalui n-gram, atau rangkaian kata) diteliti untuk mengetahui tingkat ketakterdugaannya; kombinasi yang langka dikaitkan dengan kesulitan membaca yang lebih tinggi.

Panjang dependensi (jarak antara kata-kata yang terhubung secara gramatikal) juga diukur karena jarak yang lebih panjang lebih membebani memori kerja, terutama ketika subjek dan kata kerjanya dipisahkan oleh beberapa kata.

Klausa relatif objek (konstruksi seperti ‘rumah yang dibangun para kontraktor’) diteliti, khususnya ketika kata-kata opsional dihilangkan (misalnya ‘yang’ dalam ‘rumah yang dibangun para kontraktor’).

Gabungan kata benda bertumpuk yang telah disebutkan sebelumnya (tiga kata benda atau lebih yang digabungkan, seperti ‘pembangkit lagu latar film horor’) juga diteliti karena hubungan antarkata penyusunnya dapat bermakna ambigu.

Verba denominal (kata benda yang digunakan sebagai kata kerja, seperti ‘garpui itu’ alih-alih ‘letakkan itu di atas garpu’) diteliti, bersama subjek benda mati yang dipasangkan dengan kata kerja yang biasanya dikaitkan dengan makhluk hidup (seperti yang telah dibahas sebelumnya). Kedua konstruksi ini memungkinkan makna dipadatkan ke dalam lebih sedikit kata, tetapi pembaca mungkin perlu melakukan penafsiran tambahan.

Para Pesaing

Para peneliti mengumpulkan percakapan yang dihasilkan AI dari 14 model: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5, dan Fable 5; GPT-5.6 Luna, Terra, dan Sol; Olmo Base, Instruct, dan Think; serta Llama Base and Instruct.

Pengujian mencakup sepuluh prompt awal untuk percakapan umum dan lima prompt untuk pemrograman. Untuk setiap tugas, model diminta membuat salinan repositori GitHub publik yang nyata, menemukan bug, lalu memperbaikinya di lingkungan sandbox.

Percakapan dibatasi hingga 12 pertukaran, sedangkan sesi pemrograman dibatasi hingga 11 pertukaran, lalu diakhiri dengan pesan penutup yang telah ditetapkan. Dalam pengujian terpisah, setiap model diminta menulis tujuh esai berdasarkan tugas dari kumpulan data PERSUADE 2.0.

Sebagai pembanding, teks yang ditulis manusia diambil dari sumber yang semirip mungkin dengan tiga jenis keluaran AI: OpenSubtitles (kumpulan subtitle film dan televisi yang tidak terkait dengan platform subtitle sumber terbuka) digunakan untuk percakapan umum; StackExchange (jaringan daring forum tanya jawab) untuk diskusi pemrograman; dan esai mahasiswa dari kumpulan data PERSUADE 2.0 yang disebutkan sebelumnya untuk tugas menulis. Wikipedia juga digunakan sebagai sumber pembanding tambahan.

Jika tersedia data manusia yang sesuai, fitur linguistik yang sama diukur pada teks yang ditulis manusia dan teks yang dihasilkan AI. Kumpulan data referensi ini juga digunakan untuk menilai frekuensi kemunculan gabungan kata.

Terjemahan bolak-balik (dari bahasa Inggris ke bahasa Jepang lalu kembali ke bahasa Inggris, menggunakan model NLLB-200) digunakan untuk membedakan preferensi gaya dari kebutuhan linguistik. Makna sebagian besar tetap terjaga meskipun struktur kalimat berubah, sehingga susunan kata yang kompleks tetapi tidak perlu dapat diidentifikasi.

Hasil

Eksperimen 1

Seperti ditunjukkan di bawah ini, beberapa konstruksi yang sulit ditemukan lebih sering dalam teks asli yang dihasilkan AI, terutama pada model terdepan. Hal ini ditafsirkan sebagai bukti adanya kecenderungan memilih ungkapan yang rumit tanpa perlu:

Perbandingan teks asli yang dihasilkan AI dengan versi yang diterjemahkan ke bahasa Jepang lalu kembali ke bahasa Inggris. Titik hijau menunjukkan pola bahasa yang lebih sering digunakan dalam teks asli; titik merah muda menunjukkan pola yang lebih sering digunakan setelah diterjemahkan. Perbedaannya umumnya lebih besar pada model GPT dan Claude. Sumber

Enam fitur linguistik dibandingkan pada 14 model AI dalam tiga konteks (percakapan, pemrograman, dan penulisan esai). Dua belas model diuji dalam percakapan, sembilan dalam pemrograman, dan seluruh 14 model dalam penulisan esai:

Perbandingan enam fitur linguistik pada model AI dalam percakapan, pemrograman, dan penulisan esai. Setiap simbol wajik menunjukkan hasil gabungan suatu model; garis horizontal menunjukkan interval kepercayaan 95%. Garis vertikal putus-putus menandai nilai dasar teks yang ditulis manusia, berdasarkan OpenSubtitles (percakapan), StackExchange (pemrograman), dan esai mahasiswa dari PERSUADE 2.0 (penulisan esai). Garis bertitik menunjukkan perbandingan dengan Wikipedia. Nilai yang lebih tinggi umumnya menunjukkan penggunaan konstruksi yang diukur lebih sering atau kompleksitas linguistik yang lebih besar. Lihat makalah sumber untuk mendapatkan gambar dengan resolusi lebih tinggi.

Teks asli yang dihasilkan AI juga dibandingkan dengan versi yang diterjemahkan kembali, sehingga perbedaan dalam struktur kalimat dapat diukur:

Perbandingan antara teks asli yang dihasilkan AI (berlian penuh) dan versi yang diterjemahkan ke bahasa Jepang lalu kembali ke bahasa Inggris menggunakan NLLB-200 (lingkaran kosong). Garis merah muda menunjukkan fitur yang lebih sering digunakan setelah penerjemahan; garis hijau menunjukkan fitur yang lebih sering digunakan dalam teks asli. Tanda bintang menunjukkan signifikansi statistik (satu, dua, atau tiga tanda bintang menunjukkan bukti statistik yang semakin kuat). Penerjemahan mengurangi sebagian besar konstruksi yang berkaitan dengan tingkat kesulitan membaca, terutama pada model terdepan. Silakan lihat makalah sumber untuk mendapatkan resolusi yang lebih baik.

Model terdepan dan yang hampir menyamai model terdepan diketahui terlalu sering menggunakan kombinasi kata yang tidak lazim, verba denominal, subjek tak bernyawa, serta klausa relatif objek yang menghilangkan kata opsional (lihat grafik di atas). Kecenderungan ini umumnya lebih lemah pada Llama dan Olmo Base, tetapi lebih kentara pada Olmo Think.

Perbedaan yang ditemukan dalam penulisan esai lebih kecil daripada dalam percakapan atau pemrograman. Hal ini dikaitkan dengan sifat esai yang hanya menggunakan satu perintah, sementara percakapan bolak-balik yang panjang mungkin lebih mendorong pemadatan bahasa.

Para penulis mencatat:

‘Esai PERSUADE menunjukkan perubahan yang lebih kecil dalam beberapa kategori (ukuran n-gram, panjang dependensi, nomina bertumpuk, verba denominal) setelah diterjemahkan bolak-balik, dibandingkan dengan percakapan dan [coding].

‘Kami berhipotesis bahwa hal ini terjadi karena esai menggunakan satu perintah, tidak seperti banyaknya giliran percakapan dan pemrograman yang berulang. Kami menduga pola tertentu dapat muncul dalam percakapan bolak-balik yang panjang (yang mungkin menuntut pemadatan informasi lebih besar).’

Perubahan paling kecil setelah penerjemahan ditemukan pada Llama serta Olmo Base dan Instruct, yang juga paling mendekati esai mahasiswa dalam hal kombinasi kata dan penggunaan verba. Sebaliknya, Olmo Think diketahui berperilaku lebih mirip dengan model terdepan. Claude Opus 5.5 tercatat menggunakan lebih sedikit konstruksi sulit daripada Opus 5 dalam 19 dari 21 perbandingan, dengan interval kepercayaan 95% yang tidak tumpang tindih pada delapan di antaranya.

Eksperimen 2

Eksperimen kedua dirancang untuk menguji apakah dorongan mendasar untuk menghasilkan jawaban yang lebih singkat dan padat informasi dapat membuat model memilih konstruksi bahasa yang lebih sulit dipahami manusia.

Dalam eksperimen ini, Qwen2.5-1.5B-Instruct disetel lebih lanjut menggunakan Group Relative Policy Optimization (GRPO), dan model tersebut ditugaskan mengubah deskripsi peristiwa terstruktur berformat JSON menjadi kalimat bahasa Inggris.

Dua aspek pelatihan yang disesuaikan adalah seberapa besar model diizinkan mengubah pilihan katanya yang lazim (β) dan seberapa berat penalti yang dikenakan untuk jawaban yang lebih panjang (λ). Setiap peristiwa dapat diungkapkan dengan dua cara yang gramatikal, dengan jumlah token yang diketahui berbeda.

Sebagai contoh, ‘He sent us a photo’ memerlukan enam token, sedangkan ‘He sent a photo to us’ memerlukan tujuh token. Pengujian terpisah juga dilakukan dengan dua cara untuk menyampaikan hal yang sama yang memerlukan jumlah token identik, guna memeriksa apakah perbedaan disebabkan oleh panjang kalimat.

Efeknya diuji pada kalimat yang belum pernah ditemui sebelumnya menggunakan empat konstruksi yang dijumpai selama pelatihan; dua konstruksi yang tidak dilatih dan melibatkan kata opsional ‘that’; serta konstruksi lain yang tidak berkaitan, yang melibatkan bentuk posesif, kuantifikator, kalimat pasif, dan klausa tujuan.

Pengujian dirancang untuk menentukan apakah preferensi terhadap ungkapan yang lebih singkat akan dipelajari dan diterapkan pada konstruksi yang belum pernah dijumpai selama pelatihan:

Dampak pemberian penalti pada respons yang lebih panjang selama pelatihan. Contoh ungkapan yang lebih pendek dan lebih panjang ditampilkan pada A. Preferensi terhadap konstruksi yang lebih pendek diukur pada B, sedangkan pengujian terhadap konstruksi yang belum pernah dilatih ditampilkan pada C dan D. Warna oranye menandakan pelatihan tanpa pembatasan terhadap perubahan pada model asli; warna biru menandakan pelatihan dengan pembatasan tersebut. Garis putus-putus menunjukkan preferensi model asli. Penalti yang lebih besar umumnya menghasilkan preferensi yang lebih kuat terhadap ungkapan yang lebih pendek, bahkan pada konstruksi yang tidak ada dalam pelatihan. Lihat makalah sumber untuk mendapatkan gambar dengan resolusi lebih baik.

Semakin besar penalti untuk respons yang lebih panjang, semakin sering ungkapan yang lebih pendek dipilih (seperti yang ditunjukkan tepat di atas). Tanpa penalti KL (pembatasan terhadap seberapa jauh model dapat menyimpang dari prediksi kata aslinya), pergeseran ini terjadi dengan cepat; dengan penalti tersebut, efek yang sama terlihat secara lebih bertahap. Tanpa kedua penalti, preferensi sangat bervariasi di antara proses pelatihan, tetapi penalti panjang yang kecil sekalipun menghasilkan preferensi yang konsisten terhadap alternatif yang lebih pendek.

Preferensi ini juga terlihat pada konstruksi kalimat yang belum pernah ditemui, yang melibatkan kata opsional ‘that’. Transfer ke konstruksi tata bahasa yang lebih berbeda jauh lebih lemah; efeknya hanya ditemukan pada bentuk posesif ketika penalti KL tidak diterapkan.

Para penulis menyimpulkan:

‘Kami memandang hasil ini sebagai bukti awal bahwa penalti panjang yang digunakan selama pembelajaran penguatan dengan GRPO dapat secara langsung memengaruhi fitur tata bahasa.

‘Kami mencatat bahwa model tidak secara langsung diperintahkan untuk menggunakan bahasa yang ringkas atau padat, dan tidak secara langsung diberi informasi tentang ketersediaan variasi sintaksis.

‘Sebaliknya, penalti tersebut memunculkan preferensi terhadap bentuk yang lebih pendek dalam variasi sintaksis.’

Kesimpulan

Saya telah lama tertarik pada penanda—baik yang tidak disengaja maupun yang disengaja—yang menjadi ciri teks buatan AI. Karena itu, temuan baru ini sedikit menjelaskan pertentangan yang tampak antara kecenderungan LLM untuk bertele-tele, yang telah banyak dicatat, dan kecenderungannya yang kini juga banyak dicatat untuk memadatkan informasi dengan cara yang tampak “mudah dibaca” hanya karena jumlah katanya sedikit—padahal, jelas, petunjuk itu tidak seharusnya ditafsirkan demikian.

Pada LLM, teks keluaran yang ringkas mungkin menandakan kerumitan, bukan penyaringan menjadi inti sari; seolah-olah AI menyodorkan teka-teki alih-alih menyampaikan konsep langsung yang mendasari kata-kata tersebut. Rupanya, semua ini dilakukan agar satu model dapat membuat kode dan menulis.

* Berjudul ‘Mengapa bahasa yang dihasilkan AI begitu sulit dipahami?’, makalah ini ditulis oleh dua penulis dari New York University dan The University of Texas.

^† Perubahan yang saya lakukan pada sitasi dalam teks penulis menjadi hyperlink.

^†† https://mikeydoes.com/glossary/p600/

Pertama kali diterbitkan pada Senin, 26 Oktober 2026