Önde Gelen Dil Modelleri ‘Yorumlayıcı’ Transkripte Eğilimlidir

Amazon’dan yeni bir araştırmaya göre, model ne kadar akıllıysa, Optik Karakter Tanıma (OCR) gerçekleştirmesi istendiğinde o kadar ‘yaratıcı’ olma eğilimindedir.

Optik Karakter Tanıma (OCR) büyük ölçüde çözülmüş bir problem olarak kabul edilir. Bir metni tararsanız veya metnin fotoğrafını OCR sistemine sunarsanız, her bir harfi ayrıntılı bir şekilde tanır ve her bir harf için en iyi tahminde bulunur:

Sol üstte, bir segmentli tanımlanmış harfin karakteristik loci’nin bölümlenmesi (kaynak); ana görüntü: bir kurumsal depo için bölümlenme sonucu (Kaynak).

OCR, karakterleri bireysel olarak yorumlar; bu karakterler, yeterli yakınlıkta olabilecekleri takdirde kelimeler veya diğer dilbilimsel yapıları oluşturabilir. OCR bunu önemsemez; bu sorunlar ortaya çıktığında, işi bitirmiş ve bir sonraki işe geçmiştir, çünkü yazım denetimi onun görevi değildir.

En popüler OCR sistemlerinden biri, saygın Tesseract‘tır; bu, katı bir algoritmik yorumlayıcudur ve çeşitli açık kaynaklı uygulamalar ve iş akışlarında yaygın olarak kullanılır. Tüm işletim sistemleri boyunca kullanılabilen geniş bir ‘düz’ algoritmik OCR eklenti yelpazesi ile, görüntüden metni düzenlenebilir metne dönüştürme yetisi, artık ücretsiz bir mal haline gelmiştir – hiçbir sistem hatalardan veya tuhaflıklardan muaf değildir.

Ayrıca, algoritmik OCR alanında geleneksel olarak rekabet eden kuruluşlar ve ticari ürünler, miras sistemlerini AI destekli belge yönetim sistemlerine uyarlamışlardır. Ancak, temel teknoloji – tahmin edilen gruplanmış ve tanımlanmış harfler çıkarmak – değişmez.

Kelime

OCR, artan bir şekilde, yeni nesil Görüntü Dili Modelleri (VLM’ler) tarafından ele alınmaktadır; düzenlenebilir olmayan veya rasterize edilmiş metinle karşılaştıklarında, bu sistemlerin ajantik sürümleri, gerekli olduğunda becerikli bir şekilde okuyabilir ve transkript edebilir.

Ancak, Amazon.com’dan yeni bir araştırma göre, AI’nin tam olarak OCR’nin aynı işlevini tekrarlayacağına inananlar şaşırabilir: yeni çalışma, favori LLM’inin transkriptasyonda ‘fazladan’ gitme olasılığı daha yüksek olduğunu bulmuştur; harf bağlamını kelime bağlamına aşan ve bulduğu ‘hataları’ düzeltme şekilleri, yasal, tıbbi ve tarihi transkriptler gibi alanlar için istenmeyen sonuçlara yol açabilir.

Yazarlar iddia eder:

‘Görüntü Dili Modelleri (VLM’ler) geleneksel OCR boru hatlarının yerine belge anlama için giderek daha fazla kullanılmaktadır.

‘[Biz] onların her zaman sadık transkriptörler olarak davranmadıklarını gösteriyoruz: metin mükemmel değilse, genellikle daha inandırıcı bir forma yeniden yazma eğilimindedirler – bu, temiz metin OCR benchmark’ları tarafından tespit edilemeyen bir davranıştır.’

Yazarlar, FaithC4 adlı yeni, büyük bir küratörlü veri kümesi ve benchmark’ı sunar ve bunu, ChatGPT ve Google Gemini’nin sürümleri de dahil olmak üzere 15 FOSS ve kapalı kaynak modeli üzerinde test eder.

Genel amaçlı AI modellerinin, geleneksel OCR sistemlerine kıyasla, mükemmel olmayan kelimeleri daha ‘inandırıcı’ olanlarla değiştirme olasılıklarının daha yüksek olduğunu buldular; bazı durumlarda, karışık kelimelerin neredeyse %65’ini yeniden yazarken, küçük yerel hatalar da başka yerlerde doğru metinde hatalara neden oldu.

Kısa kelimeler özellikle savunmasızdı ve değil düzeltmeler yapma talimatları sorunu azalttı, ancak ortadan kaldırmadı.

Makalede denir*:

‘Yeniden yazma davranışı, bazı gerçek hataları kurtarmak için faydalı olabilir, ancak yasal belgeler, tıbbi kayıtlar ve tarihi el yazmaları gibi bazı alanlar için sorunlu olabilir.

‘Bu yeniden yazma davranışı, VLM araştırmalarında büyük ölçüde göz ardı edilmiştir. Mevcut OCR benchmark’ları temiz metin tanıma üzerinde odaklanır ve bu nedenle, modellerin mükemmel olmayan girişleri nasıl işleyebileceğini araştırmak için yetersizdirler.’

Merkezi mesaj, daha gelişmiş AI sistemlerinin, algoritmik OCR platformlarının kolayca ‘ham’ olarak teslim edebileceği hataları düzeltmekten kaçınmakta zorlandığıdır; birçok durumda, insan yorumu sorunu çözmek için gereklidir; ancak, yanlış bir ‘düzeltme’ zaten uygulanmışsa, sorun çoğu kontrol sisteminin radarının altında kaybolma eğilimindedir.

Yeni makale, Görüntü Dili Modellerinde Transkript Faithfulness olarak adlandırılmıştır ve Amazon.com’dan beş araştırmacının eseridir.

Veri ve Yöntem

Benchmark veri kümesini doldurmak için yazarlar, Colossal Cleaned Crawled Corpus – yani C4 – 2020’den kalma bir hiperscale web tarama koleksiyonundan yararlandılar. Bu korpusun içinden, İngilizce, Çince ve Korece dillerinde olmak üzere 1.455 tek sayfalık belge seçildi, her bir pasaj tek bir渲染 sayfasına sığacak şekilde boyutlandırıldı.

Final benchmark, 500 İngilizce belge, 500 Çince belge ve 455 Korece belge içeriyordu; bu, AI sistemlerinin metni sadık bir şekilde kopyalayıp kopyalamadığını veya bir şekilde yeniden yazıp yazmadığını ölçmek için çok dilli bir test yatağı sağladı.

AI modellerinin gerçekten gördüklerini kopyalayıp kopyalamadığını test etmek için, belgelerin render edilmeden önce kontrol edilen hatalar tanıtildi; yaklaşık %8’i uygun kelimeler değiştirildi ve her biri en az dört karakter içeriyordu. Dokümanların dokunulmamış sürümleri, temel gerçek olarak kullanıldı.

Üç pertürbasyon varyantı daha sonra uygulandı: karıştır kelimelerin iç harflerini korurken karıştırıyor; rastgele her karakteri aynı yazı sisteminden rastgele bir alternatif ile değiştiriyor; ve görsel göze göre inandırıcı kalan ancak alttaki metni değiştiren görsel olarak benzer karakterler ile değiştiriyor.

Çin varyantı, karıştır koşulunu atladı, çünkü yazı sistemi boşlukla ayrılmış kelimelere sahip değildi; bunun yerine, diğer pertürbasyonlar için sabit dört karakterlik pencereler kullanıldı; Korece’nin ortalama kelime uzunluğunun daha kısa olması, daha az kelimenin değiştirilmeye uygun olmasına neden oldu.

Her belge daha sonra bir PDF sayfası olarak render edildi ve yarışan transkript sistemlerine geçirildi.

Testler

Çalışma, kapalı kaynak genel amaçlı modelleri, yani GPT-5.4-mini; Gemini-3-Flash; ve Gemini-2.5-Flash; ve açık kaynaklı modelleri, yani genel amaçlı modelleri Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; ve Gemma4-E2B içeriyordu.

Ayrıca, OCR’ye özgü modeller de dahil edildi; bunlar olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; ve LightOnOCR-2-1B. Son olarak, geleneksel OCR motorları Tesseract ve docTR de test edildi.

Üç grup, dilden farklı derecelerde yararlanmaktadır: genel amaçlı AI modelleri, geniş dil bilgisini ön eğitime dayanarak kullanır; OCR’ye özgü modeller, belgelerin sadık bir şekilde transkript edilmesine daha fazla önem verir; ve geleneksel OCR sistemleri, dilbilimsel çıkarıma değil karakter tanımaına dayanır.

İki ölçüt kabul edildi; bunlardan ilki, Kelime Hata Oranı (WER) idi, bu, bir sistemin kaç tam kelimeyi yanlış transkript ettiğini belirlemek için kullanılan standart OCR ölçütüdür. Sadece yanlış karakterleri saymak yerine, WER, orijinal metne göre değişiklikler, silmeler ve eklemeleri kaydeder, böylece hem yanlış kelimelere hem de atlanan veya eklenen kelimelere duyarlıdır.

Çin için, kelimeler boşluklarla ayrılmadığından, aynı yaklaşım karakter düzeyinde Karakter Hata Oranı (CER) olarak kullanıldı.

Daha ince hataları yakalamak için, Düzenleme Mesafesi Benzerliği (EDS) ölçütü de kullanıldı. EDS, tahmin edilen metni orijinal metinle karakter düzeyinde karşılaştırır ve – WER’nin aksine – tamamen yanlış bir kelime ile sadece bir veya iki karakter farklı olan bir kelime arasında ayrım yapabilir. Doğal olarak, bu, neredeyse kaçırmaları ve WER tarafından benzer görünabilecek kısmi yeniden yazmaları tespit etmek için yararlıdır.

Aşağıdaki grafiğe göre, geleneksel OCR sistemleri, üç pertürbasyon türüne karşı en fazla direnci gösteren sistemler oldu; doğrulukta little kaybı vardı, çünkü esas olarak karakterleri tanımlamaya çalışıyorlardı, değil de bağlamdan kelimeleri çıkarmaya:

Kelime Hata Oranında (solda) ve Düzenleme Mesafesi Benzerliğinde (sağda) İngilizce, Çince ve Korece’de üç metin pertürbasyon yönteminin uygulanmasının ardından değişiklikler. Geleneksel OCR sistemleri genel olarak en küçük performans azalışını gösterdi, OCR’ye özgü modeller orta seviyede yer aldı, genel amaçlı AI modelleri ise genellikle en fazla etkilenenlerdi. Kaynak

OCR’ye özgü AI modelleri orta seviyede yer aldı; MinerU ve LightOn nispeten dayanıklı kaldı; ve olmOCR ve DeepSeek-OCR, bozulmuş metne karşı daha fazla duyarlılık gösterdi, bu da, belgeye özgü eğitimin, metni yeniden yorumlama eğilimini azalttığını, ancak ortadan kaldırmadığını gösterdi.

Genel amaçlı AI modelleri genel olarak en kötü performans gösteren modellerdi; çoğu, geleneksel OCR veya OCR’ye özgü modellerden daha büyük bir transkript hata artışı gösterdi – ancak Gemini-3-Flash, geleneksel bir OCR sistemi gibi davranarak dikkat çekti.

Genel olarak, sıralama, her modelin dil bilgisine ne kadar güvendiğiyle yakından eşleşti; daha güçlü dil öncülleri, metni yeniden yazma eğilimini daha fazla gösterdi.

Hata türlerinin bir dökümü, aşağıdaki tabloda gösterildiği gibi, geleneksel OCR sistemlerinin büyük çoğunlukla geleneksel transkript hataları ürettiğini gösterdi:

İngilizce ‘Karıştır’ pertürbasyon testinin sonuçları, her bir transkript sisteminin hatalarını, tam yeniden yazma, yakın kaçırma transkriptleri (‘Yakın’), daha önemli transkript hataları (‘Orta’) ve tamamen yanlış çıktılar (‘Yanlış’) arasında nasıl dağıttığını gösterir. Modeller, bozulmuş kelimeleri yeniden yazma oranlarına göre sıralanmıştır.

Tersine, genel amaçlı AI modelleri, bozuk kelimeleri, cümle etrafındaki metni korurken, daha ‘inandırıcı’ alternatiflerle değiştirme olasılığı daha yüksekti; bu, yalnızca hasarlı metni yanlış okumadıklarını, sondern aktif olarak bağlamsal dil bilgisi kullanarak yeniden yazdıklarını gösteren güçlü kanıtlar sağlar.

Çalışma ayrıca, transkript hatalarının yalnızca bozuk kelimelerle sınırlı kalmadığını buldu:

Hata yayılma analizinin sonuçları, her bir pertürbasyon türünden sonra, pertürbasyonlu ve pertürbasyonlu olmayan kelimeler için kelime başına hata oranlarını gösterir. Yaklaşık %4.7’lik bir kelime değişikliği, birçok modelde surrounding, değiştirilmeyen metinde transkript hatalarına neden oldu.

Aşağıdaki grafikte gösterildiği gibi, bir İngilizce belgesindeki yaklaşık %4.7’lik kelime değişikliği, surrounding, değiştirilmeyen metinde hata oranlarını önemli ölçüde artırdı:

Hata yayılma analizinin daha fazla sonucu, her bir pertürbasyon türünden sonra, pertürbasyonlu ve pertürbasyonlu olmayan kelimeler için transkript hatalarındaki artışı gösterir. Genel amaçlı AI modelleri en fazla hata amplifikasyonu gösterdi; hatalar, genellikle orijinal olarak bozuk kelimelerin ötesine yayıldı.

Genel amaçlı VLM’ler en fazla etkilenen modellerdi; surrounding, dokunulmamış kelimelerdeki hata oranları, bazline göre on katına kadar çıktı. Tersine, geleneksel OCR sistemleri yalnızca mütevazı artışlar gösterdi. Modeller, en fazla kelimeyi yeniden yazan modeller, aynı zamanda en güçlü hata yayılma davranışını sergiledi; bu, her iki davranışın da aynı temel dil bağımlılığından kaynaklandığını gösteriyor.

Pratikte, bu, küçük miktarda hasarlı metnin, otherwise intact bir belgenin doğruluğunu tehlikeye atabileceği anlamına gelir; bu, temiz OCR benchmark puanlarının gerçek dünya transkript doğruluğuna güvenilir bir rehber olmadığı anlamına gelir.

Son olarak, yazarlar ayrıca kelime uzunluğu davranışını etkileyip etkilemediğini inceledi ve kısa kelimelerin daha uzun olanlardan önemli ölçüde daha savunmasız olduğunu buldular.

Çünkü daha az görsel ipucu içerirler, kısa kelimeler, VLM’lerin daha fazla dil bilgisi bilgisine güvenmelerine neden olur; bu da, hasarlı metnin, literal olarak transkript edilmek yerine, inandırıcı bir alternatif ile sessizce değiştirilme olasılığını artırır.

Yazarlar ayrıca, modellere değil hataları düzeltme talimatı verilmesinin bu eğilimi azalttığını, ancak ortadan kaldırmadığını buldu. Bu, yorumlayıcı transkriptin, current VLM’lerin inherent bir özelliği olduğu anlamına gelir; bu, yalnızca talimat ile güvenilir bir şekilde bastırılamayan bir davranıştır.

Yazarlar şöyle diyor:

‘LITERAL transkript gerektiren uygulamalar için, örneğin yasal belge işleme, tarihi el yazması dijitalleştirme ve adli tıp, geleneksel OCR sistemleri veya dikkatli seçilmiş OCR’ye özgü VLM’ler en güvenli seçimdir, जबकi genel amaçlı VLM’ler, temiz metin benchmark’ları tarafından yakalanmayan sistematik yeniden yazma davranışı sergiler.’

SONUÇ

Bu çalışma, LLM literatüründe tekrarlanan bir tema olan şeyi yinelemektedir: eğitimli VLM modelleri son derece güçlü olsalar da, kritik talimatlara karşı dirençlidirler – bu durumda, Görüntüdeki harfleri oku ve ayrıştır.

Daha gelişmiş modeller bunu yapamaz gibi görünüyor – sanki ‘pis iş’ olarak görüyorlar veya mantıksız bir şekilde ‘yarı tamamlanmış bir görevi’ tamamlama eğilimindeler.

* Yazarların satır içi alıntılarını hyperlinklere dönüştürmem.

İlk olarak Pazartesi, 27 Temmuz 2026’da yayınlandı