Önemli Bir Sorun: Kurumsal Ajanlar Vurgulamaları Anlamıyor

Dünyada, özellikle de iş dünyasında, taranmamış çok sayıda önemli basılı belge var. Küresel ticarette her yıl dolaşan dört milyar kâğıt belgenin yalnızca %1’inin dijitalleştirildiği tahmin ediliyor; geri kalanlar makine öğrenmesinin analitik kapasitesinin dışında kalıyor.

Bu, iş sektöründeki soruna ilişkin yalnızca kabaca bir değerlendirme; hükümetler de basılı ya da kâğıda aktarılmış çok büyük miktarda içerik üretiyor. ABD Ulusal Arşivi bu yıl, elindeki analog belgelerin yalnızca %4,04’ünün dijitalleştirildiğini ve geriye 11,97 milyar belgenin kaldığını bildirdi.

Dolayısıyla bu, geçmişten kalma bir sorun değil, hâlâ devam eden bir sorun; itiraf etmeliyim ki ben de sorunun bir parçasıyım:

Çoğu gün karşısında oturduğum şey.

Makaleleri incelerken çıktılarını alıyorum; çünkü hem insanların ayrıntılı incelemesine hem de makine tarafından özetlenmeye ihtiyaçları var. Vakit dar olduğundan, önemli bölümlerin ve alıntı olabilecek pasajların üzerini iri işaretlerle çizerim; böylece yazma zamanı geldiğinde verilerin genel yapısı hemen gözüme çarpar. Fosforlu kalem kullanacak kadar titiz olmadığımdan, ek vurguları çeşitli sembollerle, daha büyük yazılarla ve önemi belirten, tamamen kişisel başka işaretlerle gösteririm.

Ancak aralarında önemli şeyler yazan pek çok önemli kişinin de bulunduğu birçok insan, vurgulama amacıyla renkli fosforlu kalemler ve farklı yazı renkleri kullanıyor.

Winston Churchill, farklı vurgu türleri için farklı renklerde kalemler kullanıyordu. Burada, “en güzel saati” konuşmasının hazırlıkları sırasında, düzeltme işareti olarak kırmızı rengi kullanıyor gibi görünüyor. Kaynak

Daha önceki fotoğrafta (siyah kürsünün üzerindeki fotoğrafta) görülen makalenin kendisine göre, belge alım sistemlerinin, Docling gibi, şu anda algılayamadığı bu tür vurgulama katmanlarını içeren yüz milyonlarca belge olabilir.

Bu manuel vurgular önemlidir; dilin kuruluş biçimine yansıması gerekmeyen bir şekilde metne ağırlık kazandırırlar. Bu nedenle, vurgulanmış bir sayfanın içeriğini OCR (ya da görsel dil modelleri (VLM’ler) gibi daha gelişmiş yöntemlerle) yalnızca metne dönüştürmek, yazarın tüm niyetini aktaramaz ve hatta belgenin amaçlarını ve niyetini yanlış yansıtabilir.

Yalnızca Vurgulananlar

Yeni bir makale*, yaygın olarak kullanılan belge dönüştürücülerin vurgulamaları ve yazı renklerini düzenli olarak yok saydığını, bu nedenle yapay zekâ ajanlarının önemli talimatları ayırt edemediğini ortaya koyuyor. Araştırmanın testlerinde incelenen 6.462 politika belgesinin neredeyse üçte birinde kırmızı yazı ya da vurgulama vardı; yaklaşık her on belgeden birinde ise bu işaretler önemli gerekliliklere dikkat çekmek için kullanılmıştı.

Kurumsal belge alım ajanları konusunda yazarlar^† şöyle belirtiyor^††:

‘Olgun dönüştürücüler metni, tabloları ve yapıyı aslına sadık biçimde çıkarır; dolayısıyla işlem hattı sorunsuz görünür.

‘Hepsinin bir katmanı kaybettiğini gösteriyoruz: yazarın metnin görünüşüne kodladığı anlamı — ve bu kayıp, dağıtım sırasında tespit edilmesi daha zor olan hata türü olarak, ajanları görünür biçimde eksik bırakmak yerine kendinden emin biçimde yanlış hale getiriyor.’

Yazarların testinde, yapay zekâ modellerinden gerçek politika belgelerindeki önemli gereklilikleri belirlemeleri istendiğinde, orijinal vurgulamalar ve yazı renkleri korunduğunda modeller çok daha iyi performans gösterdi. Bu bulgu, GPT-5.6 Terra, Claude Opus 5 ve Claude Sonnet 5’in de aralarında bulunduğu altı modelde doğrulandı.

Vurgulamalardan etkili biçimde iki sinyal çıkarılabilir: a) herhangi bir şeyin vurgulanmış olması ve b) vurgulamada kullanılan renk. Birden fazla rengin elle kullanıldığı durumlarda, tutarlı bir sınıflandırma sistemi kırmızıyı bir bakıma olumsuz olarak kodlayabilir (daha önce Winston Churchill’in kendi konuşmalarına yaptığı düzeltmelerde gördüğümüz gibi):

Yazarların ilk aşama ayrıştırıcısına ait bu JSON çıktısının alt kısmında, işlem hattının kırmızı vurgulamayı bulup kodladığını görüyoruz; mantıken, sözcüklerin de kodlanan bu yoğunluk düzeyine uyduğunu anlayabiliyoruz. Ancak bu yöntem, vurgu kendi başlarına tonu o kadar da yükseltmeyen sözcüklere eklendiğinde ve vurgulamanın böylece eksik bir vurguyu tamamladığı durumlarda daha kullanışlı oluyor. Kaynak

Yazarlar, mevcut işlem hatlarının belge dönüştürme sırasında özgün vurgulamayı ve metin renklerini koruyup bunların önemini yapay zekâ modeline açıklayan etiketler ekleyerek sorunu oldukça kolay çözebileceğini öne sürüyor. Bu yöntem ek bir yapay zekâ işlemesi gerektirmese de her belgeyi temsil etmek için gereken token sayısını yaklaşık iki katına çıkarıyor:

‘Bu ipuçlarını geri kazanmak deterministiktir, yalnızca kodla yapılır ve hiçbir LLM çağrısı gerektirmez; burada bildirilen etkinin tamamı yalnızca ayrıştırmadan kaynaklanır. Bunun token maliyeti vardır—yalnızca metne kıyasla yaklaşık iki katı—dolayısıyla bu, bedava bir kazanım değil, olgusal doğruluk için bağlam bütçesinden bilinçli olarak ödün vermektir.’

Kalın Yazının Etkisizliği

Araştırmanın ilginç yönlerinden biri, yazılı dijital belgelerdeki mevcut vurgu yöntemlerinin aşırı kullanım nedeniyle görünüşe göre ne ölçüde etkisiz kaldığıdır^††:

‘Etkinin tamamını [i.e., of the new pipeline] vurgulama [and] [colour] sağlar. Kalın, italik, tek aralıklı ve üstü çizili biçimlendirme hiçbir katkı sağlamaz [measurable]; güven aralıkları sıfırın iki yanına uzanır.

‘Bunun nedeni bu ipuçlarının bulunmaması değil: tek bir belgede binden fazla kalın yazı işareti bulunuyor. Sorun, bilgi veremeyecek kadar sık kullanılmaları.

‘Her başlığı ve tanımlı terimi kalın yazan bir yazar, böylece bunlardan herhangi birini özellikle öne çıkarmış olmaz; oysa bir gereksinimi renklendirmek veya vurgulamak, bilinçli ve ölçülü bir tercihtir. İpucu türlerini sınıflandırmak, yalnızca niyeti gösterecek kadar seyrek kullanılan ipuçlarında işe yarar.’

Görevler ve Testler

Sistemi oluşturmak için yazarlar, kaynağı belirtilmeyen herkese açık bir derlemdeki 6.462 gerçek politika belgesini .docx biçiminde taradı; ifadelerin içeriğine dayanarak herhangi bir tahminde bulunmadan belgelerde kırmızı metin ve vurgulama olup olmadığını kontrol etti. Ardından modellerden, özellikle önemli olarak işaretlenmiş gereksinimleri seçmeleri ve işaretlenmemiş olanları dikkate almamaları istendi. Temel istem şöyleydi:

‘Bu belgede yazarın özel olarak dikkat çektiği veya önceliğini yükselttiği tüm gereksinimleri listele.’

Ana test için, 332 işaretli ve 4.192 işaretsiz gereksinim içeren 84 belge seçildi (yani kırmızı metin veya renkli vurgulama içermeyen gereksinimler). Her belgede en az bir işaretli ve üç işaretsiz gereksinim bulunması gerekiyordu; böylece yapay zekâ her şeyi listeleyerek başarılı olamazdı.

Gerçek değer, insan yargısına veya başka bir yapay zekâ modeline başvurulmadan, doğrudan belgelerin biçimlendirmesine göre belirlendi. Performans, hem doğru belirlenen gereksinimleri hem de işaretlenmemiş gereksinimlerin yanlışlıkla listeye alınması gibi yanlış pozitifleri dikkate alan kesinlik, duyarlılık ve F1 puanlarıyla ölçüldü.

Puanlama, herhangi bir LLM değerlendiricisi kullanılmadan programatik olarak yapıldı. Bir yanıtın eşleşme sayılması için özgün gereksinimden art arda en az dört içerik sözcüğü içermesi gerekiyordu; bu koşul, benzer ama farklı gereksinimlerin doğru kabul edilmesini önlemeye yardımcı oldu.

Vurgulamaları Kaldırma

Önemli gereksinimlerin vurgulama veya renkler olmadan, yalnızca ifadelerinden belirlenip belirlenemeyeceğini görmek için ek bir test yapıldı. Örneklerle eğitilen, yalnızca metin kullanan bir sınıflandırıcı 0,664 ROC AUC puanı elde etti (0,5 rastgele tahmini temsil eder).

Daha basit yöntemler şanstan daha iyi sonuç vermedi: ipucu olarak aciliyet ifade eden sözcükler kullanıldığında puan 0,508, cümle uzunluğu kullanıldığında ise 0,492 oldu. Bu sonuçlar, yalnızca ifadelerin içeriğine bakarak vurgulama yapan yazarın ne amaçladığı konusunda çok az şey öğrenilebileceğini gösteriyor.

Bu sonuç mantıklı: dil yeterince güçlü olsaydı yazar muhtemelen sonradan herhangi bir ek vurgu yapma ihtiyacı duymazdı.

Karşılaştırılan Yöntemler

Karşılaştırılan yaklaşımlar şunlardı: yazarların kendi ayrıştırıcısı OURS; belirginlik rolleri eklenmiş OURS; türlendirilmemiş işaretlemeyle OURS; docx2python; Docling ve düz metne dönüştürme.

Her yaklaşımda aynı belgeler ve sorular kullanıldı; yalnızca belgelerin dönüştürülme biçimi değiştirildi. Temel karşılaştırmada 76 belge yer aldı ve her test üç kez tekrarlandı:

Word belgelerinde ‘önemli’ olarak işaretlenmiş gereksinimleri belirlemeye yönelik altı yöntemin karşılaştırıldığı test sonuçları. Üst bölümde 76 belge üzerinde üç kez yapılan testlerin sonuçları gösteriliyor. Alt bölümde, 79 belge kullanılarak altı tekrar ile gerçekleştirilen ayrı bir doğrulama testinin sonuçları yer alıyor. Daha yüksek F1 puanları daha iyi performansa, daha düşük yanlış pozitif oranları ise işaretlenmemiş gereksinimlerin yanlışlıkla daha az seçilmesine işaret ediyor. İstatistiksel olarak anlamlı farklar kalın yazıyla gösteriliyor.

Yukarıda görüldüğü üzere, en yüksek genel F1 puanını 0,690 ile yazarların sistemi elde etti; docx2python 0,586, Docling 0,150 ve düz metin ise yalnızca 0,075 puan aldı (F1, kesinlik ve duyarlılığı tek bir doğruluk ölçütünde birleştirir; 1,0 kusursuz puanı ifade eder).

Biçimlendirmeyi korumanın önemi, yanlış pozitif sonuçlarda da görüldü: Docling kullanıldığında işaretlenmemiş gereksinimler, yazarların sistemine kıyasla yaklaşık dört kat daha yüksek oranda yanlışlıkla seçildi (%4,3’e karşı %1,1).

Yapay zekâ modellerinin, özgün renkleri ve vurgulamayı yalnızca görmek yerine biçimlendirmenin ne anlama geldiği kendilerine açıklandığında bundan yarar sağlayıp sağlamadığını incelemek için ayrı bir test yapıldı. Bu ek etiketler sağlandığında küçük ancak istatistiksel açıdan anlamlı bir iyileşme görüldü. Bununla birlikte, faydanın büyük bölümü biçimlendirmenin kendisini korumakla zaten elde edilmişti.

Dış Baskı

Araştırmacılar, Office belgelerindeki bilgilerin ne kadar doğru bir şekilde geri alınabildiğini ölçen Microsoft’un Office Belgelerini Anlama Kıyaslaması (OCB) ile ek bir değerlendirme yaptı.

Biçimlendirme, tablolar, köprüler, yorumlar ve dipnotları kapsayan 326 soru, 59 Word belgesinden çıkarıldı. Hem sorular hem de puanlama ölçütleri, çalışmadan bağımsız olarak Microsoft tarafından sağlandı:

Microsoft’un Office Belgelerini Anlama Kıyaslaması’nda 59 Word belgesindeki 326 soruyu kapsayan, beş belge dönüştürme yönteminin karşılaştırmalı sonuçları. Puanlar 0 ile 1 arasında değişir; yüksek puanlar daha iyi performansı gösterir ve her kategorideki en yüksek puan kalın yazılmıştır. En alttaki satırlar genel performansı ve istatistiksel anlamlılığı özetler. Bu karşılaştırmada yazarların sistemi en yüksek genel puanı elde ederken, vurgulamayı tanımada docx2python daha iyi performans gösterdi.

Yukarıda görüldüğü üzere, yazarların sistemi 0,959 ile mükemmel bir genel puan elde etti; docx2python 0,810 ile iyi, Docling 0,720 ile orta düzeyde, düz metin ise 0,634 ile görece düşük bir puan aldı.

Yeni sistem üstveri, yorumlar ve dipnotlarda tam puan alırken, rakip yöntemlerin tümü sıfır puan aldı. Ancak bu iyileşmeler yalnızca vurgulama ve metin renklerinin korunmasından kaynaklanmıyordu; yazarların sistemi tablolardan, belge düzenlerinden, yazı tiplerinden ve köprülerden bilgi kurtarma konusunda da daha başarılıydı.

Sonuç

Yakın zamanda, bir PDF bilimsel makalesindeki tablo ve şekilleri elle vurgulama işini büyük ölçüde başarısız bir şekilde LLM’ler ve/veya Python aracılığıyla otomatikleştirip otomatikleştiremeyeceğimi denedim; sonuçlar… şey, oldukça gülünçtü. Bilimsel makaleleri sınıflandırma, nicelleştirme ve ayrıştırma, literatürde artık kapsamlı biçimde ele alınan bir alan; sıradan meraklı amatörlere pek yer, hatta pek umut yok.

Bu makale özelinde yazarların başarısı, aktarım sırasında kaybolan önemli bir vurgu göstergesini tespit etmiş olmaları. Ancak çözümlerinin gerektirdiği token harcamasını iki katına çıkarması hiç de önemsiz bir mesele değil; OCR ve belge alım katmanlarının çalışması gereken ölçekte bunun ciddi bir karşılığı var. Dolayısıyla bence burada asıl kazanım, sorunun tespit edilmiş olması.

* ‘Yazarın Yazdıkları, Ajanın Okudukları: Kurumsal Belge Alımında Sessiz İpucu Kaybı’ başlıklı.

^† Hepsi Amazon’dan.

^†† Vurgular yazarlara ait, bana değil; ancak yazarların satır içi atıflarını düzenli olarak köprülere dönüştürüyorum.

İlk yayımlanma tarihi: 30 Ekim 2026 Cuma