Bahkan Model Bahasa Pimpinan Rentan terhadap Transkripsi ‘Interpretif’

Penelitian baru dari Amazon menemukan bahwa semakin pintar model, semakin mungkin akan ‘kreatif’ ketika diminta untuk melakukan Pengenalan Karakter Optik.

Pengenalan Karakter Optik (OCR) dianggap sebagai masalah yang sudah sebagian besar terselesaikan. Jika Anda memindai beberapa teks atau mempresentasikan foto teks ke sistem OCR, itu melakukan individuasi yang rumit dari setiap huruf, membuat tebakan terbaik yang bisa dilakukan berdasarkan huruf per huruf:

Top left, the zoning of characteristic loci in a segmented identified letter (source); main image: segmentation result for an institutional repository (Source).

OCR menafsirkan karakter secara individual; karakter-karakter tersebut, dalam jarak yang cukup dekat, mungkin atau mungkin tidak membentuk kata-kata atau konstruk lainnya. OCR tidak peduli; pada saat masalah tersebut muncul, itu sudah selesai dan beralih ke pekerjaan berikutnya, karena pengecekan ejaan tidak dalam ruang lingkupnya.

Salah satu sistem OCR paling populer adalah Tesseract yang terhormat, sebuah interpreter algoritmik yang ketat, yang digunakan secara luas dalam berbagai aplikasi sumber terbuka dan alur kerja. Dengan berbagai add-on OCR algoritmik ‘datar’ yang tersedia di semua sistem operasi, kemampuan untuk mengubah teks gambar kembali menjadi teks yang dapat diedit telah mencapai status komoditas gratis – bahkan jika tidak ada sistem yang tanpa kesalahan atau kelemahan.

Selain itu, untuk tetap relevan, organisasi dan produk komersial yang secara tradisional bersaing di ruang OCR algoritmik telah menyesuaikan sistem warisan mereka menjadi sistem manajemen dokumen yang dibantu AI. Namun, teknologi intinya – mengeluarkan grup perkiraan yang tersegmentasi dan diidentifikasi huruf – tetap tidak berubah.

Kata Pembuka

Bersama dengan tugas yang semakin banyak, OCR semakin banyak ditangani oleh generasi baru Model Bahasa Visi (VLMs); dihadapkan pada teks yang tidak dapat diedit atau raster, versi agen dari sistem terbaru ini dapat membaca dan transliterasi dengan tepat.

Namun, menurut penelitian baru dari Amazon.com, mereka yang percaya bahwa AI akan meniru fungsi yang sama dengan OCR mungkin akan terkejut: penelitian baru ini menemukan bahwa model LLM favorit Anda kemungkinan akan ‘melakukan ekstra’ dalam transkripsi, apakah Anda menginginkannya atau tidak; melebihi konteks per-huruf ke dalam konteks per-kata – dan memperbaiki ‘kesalahan’ yang ditemukan, dengan cara yang bisa memiliki konsekuensi yang tidak diinginkan untuk bidang seperti hukum, medis, dan transliterasi sejarah.

Para penulis menyatakan:

‘Model Bahasa Visi (VLMs) semakin banyak digunakan sebagai pengganti pipeline OCR tradisional untuk pemahaman dokumen.

‘[Kami] menunjukkan bahwa mereka tidak selalu bertindak sebagai penyalin yang setia: ketika teks tidak sempurna, mereka sering cenderung menulis ulang menjadi bentuk yang lebih masuk akal – perilaku yang tidak dapat dideteksi oleh benchmark OCR teks bersih.’

Para penulis memperkenalkan dataset baru yang dikurasi dan benchmark yang disebut FaithC4, yang mereka uji melintasi seleksi 15 model FOSS dan sumber tertutup, termasuk versi ChatGPT dan Google Gemini.

Mereka menemukan bahwa model AI umum lebih mungkin daripada sistem OCR tradisional untuk menggantikan kata yang tidak sempurna dengan kata yang lebih ‘masuk akal’, terkadang menulis ulang hampir 65% dari kata yang teracak, sementara kesalahan lokal kecil juga menyebabkan kesalahan di tempat lain dalam teks yang akurat.

Kata-kata pendek sangat rentan, dan instruksi eksplisit tidak untuk membuat koreksi mengurangi masalah, meskipun tidak menghilangkannya.

Makalah tersebut menyatakan*:

‘Sementara perilaku penulisan ulang dapat bermanfaat untuk memulihkan beberapa kesalahan asli, ini mungkin menjadi masalah untuk beberapa domain yang mungkin memerlukan transkripsi literal, seperti dokumen hukum, catatan medis, dan naskah sejarah.

‘Meskipun pentingnya, perilaku penulisan ulang ini telah sebagian besar diabaikan dalam penelitian VLM. Benchmark OCR yang ada OCR benchmark fokus pada pengenalan teks bersih dan oleh karena itu tidak cukup untuk menyelidiki bagaimana model dapat menangani input yang tidak sempurna.’

Pesan utama adalah bahwa sistem AI yang lebih maju berjuang untuk tidak memperbaiki kesalahan yang dapat dengan mudah dikonfigurasi untuk mengeluarkan ‘mentah’ oleh platform OCR algoritmik; dalam banyak kasus, interpretasi manusia sangat penting untuk menyelesaikan masalah; tetapi jika ‘koreksi’ yang tidak tepat sudah diterapkan, masalah tersebut cenderung mengalir di bawah radar dari sebagian besar sistem pemeriksaan.

Makalah baru ini berjudul Apakah VLM Membaca atau Menulis Ulang? Tentang Kesetiaan Transkripsi dalam Model Bahasa Visi, dan berasal dari lima peneliti di Amazon.com.

Data dan Metode

Untuk mempopulasi dataset benchmark mereka, para penulis mengambil dari Colossal Cleaned Crawled Corpus – a.k.a. C4 – sebuah koleksi web yang dikumpulkan pada tahun 2020. Dari korpus ini, 1.455 dokumen halaman tunggal dipilih melintasi bahasa Inggris, Cina, dan Korea, dengan setiap pasangan ukuran untuk memuat pada satu halaman yang dirender.

Dataset benchmark akhir berisi 500 dokumen Inggris, 500 dokumen Cina, dan 455 dokumen Korea, menyediakan tempat uji multibahasa untuk mengukur apakah sistem AI menyalin teks dengan setia atau tidak.

Untuk menguji apakah model AI akan menyalin apa yang mereka lihat dengan setia, kesalahan yang dikontrol dimasukkan ke dalam dokumen sebelum mereka dirender sebagai gambar, dengan sekitar 8% dari kata yang memenuhi syarat diubah, masing-masing berisi setidaknya empat karakter. Versi yang tidak disentuh dari dokumen ini digunakan sebagai kebenaran dasar.

Tiga varian gangguan kemudian diterapkan: acak mengacak huruf-huruf internal kata sambil mempertahankan huruf pertama dan terakhir; acak menggantikan setiap karakter dengan karakter acak alternatif dari sistem penulisan yang sama; dan visual menggantikan karakter yang secara visual mirip yang tetap masuk akal bagi mata, sambil mengubah teks dasar.

Versi Cina menghilangkan acak kondisi karena sistem penulisannya tidak memiliki kata-kata yang dipisahkan oleh spasi, sebaliknya menggunakan jendela empat karakter tetap untuk gangguan lain; tambahan, panjang kata rata-rata yang lebih pendek dari Korea berarti lebih sedikit kata yang memenuhi syarat untuk modifikasi.

Setiap dokumen kemudian dirender sebagai halaman PDF, dan diserahkan ke sistem transkripsi yang bersaing.

Uji

Uji untuk penelitian ini mencakup model umum yang tertutup, yaitu GPT-5.4-mini; Gemini-3-Flash; dan Gemini-2.5-Flash; dan model sumber terbuka, yang terdiri dari model umum Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; dan Gemma4-E2B.

Selain itu, model OCR yang dikhususkan juga disertakan, yang terdiri dari olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; dan LightOnOCR-2-1B. Akhirnya, mesin OCR tradisional Tesseract dan docTR juga diuji.

Ketiga kelompok tersebut bergantung pada bahasa dengan derajat yang berbeda-beda: model AI umum sangat bergantung pada pengetahuan bahasa yang luas yang diperoleh selama pelatihan awal; model OCR yang dikhususkan menempatkan penekanan yang lebih besar pada transkripsi dokumen yang setia melalui pelatihan tugas-khusus; dan sistem OCR tradisional bergantung pada pengenalan karakter, bukan pada inferensi linguistik.

Dua metrik diadopsi, dimulai dengan Tingkat Kesalahan Kata (WER), metrik OCR standar untuk menentukan berapa banyak kata yang ditranskripsi secara tidak benar oleh sistem. Berbeda dengan hanya menghitung karakter yang salah, WER mencatat penggantian, penghapusan, dan penyisipan relatif terhadap teks asli, membuatnya sensitif terhadap kata-kata yang salah dan kata-kata yang dihilangkan atau ditambahkan.

Untuk Cina, di mana kata-kata tidak dipisahkan oleh spasi, pendekatan yang sama diterapkan pada tingkat karakter, sebagai Tingkat Kesalahan Karakter (CER).

Untuk menangkap kesalahan yang lebih halus, metrik Similaritas Jarak Edit (EDS) juga digunakan. EDS membandingkan teks yang diprediksi dengan teks asli pada tingkat karakter, dan – tidak seperti WER – dapat membedakan antara kata yang sepenuhnya salah dan kata yang berbeda hanya dengan satu atau dua karakter. Secara alami ini membuatnya berguna untuk mendeteksi near-miss, serta penulisan ulang sebagian yang mungkin tidak akan terlihat sama.

Sebagaimana ditunjukkan pada grafik di bawah, sistem OCR tradisional terbukti paling tahan terhadap ketiga jenis gangguan, dengan sedikit kehilangan akurasi karena mereka terutama mengenali karakter individual daripada mencoba menginferensi kata dari konteks:

Perubahan dalam Tingkat Kesalahan Kata (kiri) dan Similaritas Jarak Edit (kanan) melintasi bahasa Inggris, Cina, dan Korea setelah menerapkan tiga metode gangguan teks. Sistem OCR tradisional menunjukkan degradasi kinerja terkecil secara keseluruhan, model OCR yang dikhususkan menduduki tanah tengah, sementara model AI umum paling terpengaruh oleh teks yang rusak. Source

Model OCR yang dikhususkan menduduki tanah tengah; MinerU dan LightOn tetap relatif kuat; dan olmOCR dan DeepSeek-OCR menunjukkan sensitivitas yang lebih besar terhadap teks yang rusak, menunjukkan bahwa pelatihan dokumen-khusus mengurangi, tetapi tidak menghilangkan, kecenderungan untuk menafsirkan kembali apa yang dibaca.

Model AI umum secara keseluruhan menunjukkan kinerja terburuk, menunjukkan peningkatan kesalahan transkripsi yang substansial ketika dihadapkan pada teks yang rusak. Sebagian besar menderita degradasi yang jauh lebih besar daripada model OCR yang dikhususkan atau sistem OCR tradisional – meskipun Gemini-3-Flash berdiri sebagai pengecualian yang mencolok, berperforma lebih seperti sistem OCR konvensional.

Secara keseluruhan, peringkat tersebut sejalan dengan derajat yang sistem tersebut bergantung pada pengetahuan bahasa, dengan prioritas bahasa yang lebih kuat sesuai dengan kecenderungan yang lebih besar untuk menulis ulang teks daripada hanya menyalinnya.

Pembagian jenis kesalahan, seperti yang ditunjukkan pada tabel di bawah, menunjukkan bahwa sistem OCR tradisional sebagian besar menghasilkan kesalahan transkripsi konvensional, seperti penggantian, penghapusan, dan penyisipan:

Hasil dari uji gangguan ‘Scramble’ bahasa Inggris, menunjukkan bagaimana setiap sistem transkripsi mendistribusikan kesalahan mereka di seluruh penulisan ulang yang tepat, transkripsi near-miss (‘Close’), kesalahan transkripsi yang lebih substansial (‘Moderate’), dan output yang sepenuhnya salah (‘Wrong’). Model-model tersebut dipesan berdasarkan tingkat penulisan ulang kata yang rusak.

Sebaliknya, model AI umum jauh lebih mungkin untuk menggantikan kata yang rusak dengan alternatif yang masuk akal sambil mempertahankan kalimat sekitarnya, memberikan bukti kuat bahwa mereka tidak hanya salah membaca teks yang rusak, tetapi secara aktif menulis ulang menggunakan konteks linguistik.

Penelitian ini juga menemukan bahwa kesalahan transkripsi tidak hanya terbatas pada kata-kata yang rusak:

Hasil dari analisis propagasi kesalahan, menunjukkan tingkat kesalahan per-kata pada kata yang rusak dan tidak rusak setelah setiap jenis gangguan. Mengubah sekitar 4,7% kata menyebabkan kesalahan transkripsi menyebar ke teks yang tidak diubah di sekitarnya melintasi banyak model.

Sebagaimana ditunjukkan pada tabel hasil di atas dan grafik di bawah, mengubah sekitar 4,7% kata dalam dokumen bahasa Inggris secara substansial meningkatkan tingkat kesalahan pada teks yang tidak diubah di sekitarnya:

Hasil lebih lanjut dari analisis propagasi kesalahan, menunjukkan peningkatan kesalahan transkripsi pada kata-kata yang rusak dan tidak rusak setelah setiap jenis gangguan. Model AI umum menunjukkan amplifikasi kesalahan terbesar, dengan kesalahan yang sering menyebar di luar kata-kata yang rusak asli.

Model AI umum paling terpengaruh, dengan tingkat kesalahan pada kata-kata yang tidak disentuh meningkat hingga sepuluh kali lipat dari baseline. Sebaliknya, sistem OCR tradisional hanya menunjukkan peningkatan yang modest. Model yang menulis ulang proporsi kata yang rusak juga menunjukkan propagasi kesalahan terkuat, menunjukkan bahwa kedua perilaku tersebut berasal dari ketergantungan yang sama pada konteks linguistik.

Secara praktis, ini berarti bahwa sejumlah kecil teks yang rusak dapat mengompromikan akurasi dokumen yang lainnya, membuat skor benchmark OCR yang bersih menjadi panduan yang tidak dapat diandalkan untuk kesetiaan transkripsi di dunia nyata.

Akhirnya, para penulis juga memeriksa apakah panjang kata mempengaruhi perilaku penulisan ulang, menemukan bahwa kata-kata yang lebih pendek jauh lebih rentan daripada kata-kata yang lebih panjang.

Karena mereka mengandung lebih sedikit petunjuk visual, kata-kata pendek tampaknya mendorong VLM untuk lebih bergantung pada pengetahuan bahasa kontekstual – meningkatkan kemungkinan bahwa teks yang rusak akan digantikan dengan alternatif yang masuk akal, bukan ditranskripsi secara harfiah (yang mungkin menyebabkan peringatan yang berguna untuk pengawasan manusia).

Para penulis juga menemukan bahwa meskipun instruksi eksplisit tidak untuk memperbaiki kesalahan mengurangi kecenderungan ini, itu tidak menghilangkannya. Ini tampaknya menunjukkan bahwa transkripsi interpretatif adalah karakteristik bawaan dari VLM saat ini, bukan perilaku yang dapat ditekan dengan andal melalui prompting saja.

Para penulis menyimpulkan:

‘Untuk aplikasi yang memerlukan transkripsi literal, seperti pemrosesan dokumen hukum, digitalisasi naskah sejarah, dan forensik, sistem OCR tradisional atau VLM OCR yang dikhususkan dengan hati-hati tetap menjadi pilihan yang paling aman, sementara model AI umum memperkenalkan penulisan ulang sistematis yang tidak ditangkap oleh benchmark teks bersih.’

Kesimpulan

Penelitian ini mengulangi apa yang menjadi benang merah dalam literatur LLM: bahwa meskipun model VLM yang dilatih sangat kuat, mereka juga resisten terhadap instruksi kritis – dalam hal ini Baca dan tafsirkan huruf-huruf yang Anda temukan dalam gambar.

Model yang lebih maju tidak bisa melakukannya, tampaknya – seolah-olah mereka menganggapnya sebagai ‘pekerjaan kasar’, atau mungkin terdorong secara irasional untuk menyelesaikan ‘tugas setengah jadi’.

* Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada hari Senin, 27 Juli 2026