Yang Krusial, Agen Perusahaan Tidak Memahami Penyorotan

Di dunia ini masih banyak dokumen kertas penting yang belum dipindai, terutama di dunia bisnis. Diperkirakan hanya 1% dari empat miliar dokumen kertas yang beredar dalam perdagangan global setiap tahun telah didigitalkan, sehingga sisanya berada di luar jangkauan kemampuan analitis pembelajaran mesin.

Itu baru perkiraan kasar untuk sektor bisnis; pemerintah juga menghasilkan dokumen cetak atau berjilid dalam jumlah sangat besar, dan tahun ini US National Archive melaporkan bahwa hanya 4,04% dokumen analog yang mereka simpan telah didigitalkan, sementara 11,97 miliar dokumen masih belum didigitalkan.

Jadi, ini masalah yang masih berlangsung, bukan sekadar warisan masa lalu, dan saya mengakui bahwa saya juga turut menjadi bagian dari masalah ini:

Yang saya hadapi hampir setiap hari.

Saat menelaah makalah, saya mencetaknya karena makalah-makalah itu perlu ditelaah banyak oleh manusia, selain diringkas oleh mesin. Karena waktu terbatas, saya membuat tanda penekanan besar-besar pada bagian penting dan kutipan yang mungkin akan digunakan, agar pola datanya langsung terlihat saat tiba waktunya menulis. Karena saya tidak cukup obsesif sampai repot memakai stabilo, saya menandai bagian yang perlu mendapat penekanan tambahan dengan beragam simbol, teks yang lebih besar, dan penanda lain yang sangat personal untuk menunjukkan tingkat kepentingannya.

Namun, banyak orang—termasuk orang-orang penting yang menulis hal-hal penting—memang menggunakan stabilo berwarna dan warna teks yang berbeda-beda untuk memberi penekanan.

Winston Churchill menggunakan pena dengan warna berbeda untuk jenis penekanan yang berbeda. Di sini, saat mempersiapkan pidato “saat terbaiknya”, ia tampaknya menggunakan warna merah sebagai kode koreksi. Sumber

Menurut makalah yang ditampilkan dalam foto sebelumnya—yang memperlihatkan dokumen di atas mimbar hitam—mungkin ada ratusan juta dokumen yang memuat lapisan penekanan semacam ini, tetapi saat ini sistem pemasukan dokumen seperti Docling belum mampu mendeteksinya.

Penekanan manual ini penting karena memberi bobot pada teks dengan cara yang belum tentu tercermin dalam susunan bahasanya. Karena itu, mengubah isi halaman yang diberi penyorotan menjadi teks semata melalui OCR (atau metode yang lebih canggih, seperti VLM) tidak menyampaikan seluruh maksud penulis, bahkan dapat keliru merepresentasikan tujuan dan maksud dokumen tersebut.

Sekadar Sorotan

Makalah baru* ini menemukan bahwa konverter dokumen yang banyak digunakan secara rutin menghapus penyorotan dan warna teks, sehingga agen AI tetap tidak mampu mengenali instruksi penting. Dari 6.462 dokumen kebijakan yang diperiksa dalam pengujian penelitian tersebut, hampir sepertiganya memuat teks atau penyorotan berwarna merah, dan sekitar satu dari sepuluh dokumen menggunakan penanda ini untuk menarik perhatian pada persyaratan penting.

Mengenai agen pemasukan dokumen perusahaan, para penulis^† menyatakan^††:

“Konverter yang matang merekonstruksi teks, tabel, dan struktur secara akurat, sehingga alur kerjanya tampak berjalan baik.

“Kami menunjukkan bahwa semua konverter kehilangan satu lapisan—makna yang disampaikan penulis melalui cara teks ditampilkan—dan kehilangan itu membuat agen keliru dengan penuh keyakinan, bukan tampak tidak lengkap; kegagalan seperti inilah yang lebih sulit dideteksi saat diterapkan.”

Dalam pengujian para penulis, model AI jauh lebih baik dalam mengidentifikasi persyaratan penting di dokumen kebijakan nyata ketika penyorotan dan warna teks asli dipertahankan—temuan yang dikonfirmasi pada enam model, termasuk GPT-5.6 Terra, Claude Opus 5, dan Claude Sonnet 5.

Pada dasarnya, penyorotan dapat memberikan dua sinyal: a) apakah ada sesuatu yang disorot dan b) warna yang digunakan untuk menyorotnya. Jika beberapa warna digunakan untuk penyorotan manual, pedoman yang logis akan menandai warna merah sebagai sesuatu yang negatif (seperti yang kita lihat sebelumnya pada koreksi Winston Churchill terhadap pidatonya sendiri):

Di bagian bawah keluaran JSON untuk pengurai tahap pertama buatan para penulis, kita melihat bahwa alur kerja telah mendeteksi dan mengodekan penyorotan merah. Secara logis, kita dapat melihat bahwa kata-katanya sesuai dengan tingkat intensitas yang dikodekan itu. Namun, metode ini lebih berguna ketika penekanan ditambahkan pada kata-kata yang sebenarnya tidak terlalu meningkatkan nada tulisan, sehingga penyorotan tersebut menambahkan penekanan yang sebelumnya tidak ada. Sumber

Penulis menyarankan agar alur pemrosesan yang ada mengatasi masalah ini dengan cukup mudah: mempertahankan penyorotan dan warna teks asli saat mengonversi dokumen, lalu menambahkan label yang menjelaskan arti pentingnya bagi model AI. Cara ini tidak memerlukan pemrosesan AI tambahan, tetapi kira-kira menggandakan jumlah token yang diperlukan untuk merepresentasikan setiap dokumen:

‘Memulihkan petunjuk ini bersifat deterministik, hanya memerlukan kode, dan tidak membutuhkan panggilan LLM; seluruh dampak yang dilaporkan di sini berasal dari penguraian saja. Namun, cara ini membutuhkan token—kira-kira dua kali lebih banyak daripada teks biasa—sehingga ini merupakan pertukaran yang disengaja: mengorbankan anggaran konteks demi akurasi faktual, bukan keuntungan tanpa biaya.’

Sikap Acuh terhadap Huruf Tebal

Salah satu aspek menarik dalam penelitian ini adalah sejauh mana cara-cara penekanan yang sudah tersedia dalam dokumen digital yang diketik ternyata tidak efektif karena terlalu sering digunakan^††:

‘Seluruh dampak [i.e., of the new pipeline] berasal dari penyorotan [and] [colour]. Huruf tebal, miring, monospace, dan coret tidak berkontribusi apa pun [measurable], dengan interval kepercayaan yang melintasi angka tersebut.

‘Bukan berarti petunjuk-petunjuk itu tidak ada: satu dokumen saja memuat lebih dari seribu penanda huruf tebal. Masalahnya, penanda itu terlalu umum sehingga tidak informatif.

‘Penulis yang menebalkan setiap judul dan istilah yang didefinisikan tidak berarti telah menonjolkan hal tertentu. Sebaliknya, memberi warna atau menyoroti suatu persyaratan merupakan tindakan yang disengaja dan dilakukan secara hemat. Pengelompokan jenis petunjuk hanya bermanfaat jika petunjuk tersebut cukup jarang digunakan untuk menandakan maksud.’

Tugas dan Pengujian

Untuk membangun sistem ini, penulis memindai 6.462 dokumen kebijakan nyata berformat .docx dari suatu korpus publik yang tidak disebutkan, lalu memeriksa teks merah dan penyorotan di dalamnya tanpa membuat dugaan berdasarkan pilihan kata. Setelah itu, model diminta menemukan persyaratan yang ditandai sebagai sangat penting dan mengabaikan yang tidak ditandai, dengan prompt inti berikut:

‘Sebutkan setiap persyaratan dalam dokumen ini yang secara khusus disorot oleh penulis atau diberi prioritas lebih tinggi.’

Untuk pengujian utama, dipilih 84 dokumen yang memuat 332 persyaratan bertanda dan 4.192 persyaratan tanpa tanda (yakni persyaratan yang tidak menggunakan teks merah atau penyorotan berwarna). Setiap dokumen harus memuat setidaknya satu persyaratan bertanda dan tiga persyaratan tanpa tanda agar AI tidak bisa sekadar mencantumkan semuanya.

Data acuan ditetapkan langsung berdasarkan pemformatan dokumen, bukan melalui penilaian manusia atau model AI lain. Kinerja diukur menggunakan skor presisi, sensitivitas, dan F1, dengan memperhitungkan persyaratan yang berhasil diidentifikasi maupun positif palsu, yaitu persyaratan tanpa tanda yang keliru ikut dicantumkan.

Penilaian dilakukan secara terprogram tanpa melibatkan penilai LLM. Agar dianggap cocok, jawaban harus memuat setidaknya empat kata isi berurutan dari persyaratan asli. Ketentuan ini membantu mencegah persyaratan yang mirip tetapi berbeda dinilai benar.

Menghilangkan Penyorotan

Pengujian tambahan dilakukan untuk mengetahui apakah persyaratan penting dapat dikenali hanya dari pilihan katanya, tanpa penyorotan atau warna. Pengklasifikasi berbasis teks yang dilatih dengan contoh memperoleh skor luas di bawah kurva ROC sebesar 0,664 (angka 0,5 menunjukkan tebakan acak).

Metode yang lebih sederhana tidak menunjukkan hasil yang lebih baik daripada peluang acak: penggunaan kata-kata yang mengisyaratkan urgensi sebagai petunjuk menghasilkan skor 0,508, sedangkan panjang kalimat menghasilkan skor 0,492. Hasil ini menunjukkan bahwa pilihan kata saja hanya sedikit mengungkapkan apa yang dimaksudkan oleh penulis yang menggunakan penyorot.

Hal ini masuk akal: kemungkinan besar, jika bahasanya sudah cukup tegas, penulis tidak akan merasa perlu memberikan penekanan setelahnya.

Metode Pembanding

Pendekatan yang dibandingkan mencakup pengurai buatan penulis, OURS; OURS dengan peran saliensi; OURS dengan markup tanpa tipe; docx2python; Docling; dan konversi teks biasa.

Dokumen dan pertanyaan yang sama digunakan untuk setiap pendekatan; yang diubah hanya cara dokumen dikonversi. Perbandingan utama mencakup 76 dokumen, dengan setiap pengujian diulang tiga kali:

Hasil pengujian yang membandingkan enam metode untuk mengenali persyaratan yang ditandai sebagai ‘penting’ dalam dokumen Word. Bagian atas menampilkan hasil dari 76 dokumen yang diuji tiga kali. Bagian bawah menampilkan pengujian konfirmasi terpisah menggunakan 79 dokumen dan enam pengulangan. Skor F1 yang lebih tinggi menunjukkan kinerja yang lebih baik; tingkat positif palsu yang lebih rendah menunjukkan lebih sedikit persyaratan tanpa tanda yang keliru dipilih. Perbedaan yang signifikan secara statistik ditampilkan dengan huruf tebal.

Seperti yang ditunjukkan di atas, sistem para penulis meraih skor F1 keseluruhan tertinggi, yaitu 0,690, dibandingkan dengan 0,586 untuk docx2python, 0,150 untuk Docling, dan hanya 0,075 untuk teks biasa (F1 menggabungkan presisi dan perolehan menjadi satu ukuran akurasi, dengan 1,0 menunjukkan skor sempurna).

Pentingnya mempertahankan pemformatan juga terlihat dari hasil positif palsu: dengan Docling, persyaratan yang tidak ditandai keliru dipilih hampir empat kali lebih sering daripada dengan sistem para penulis (4,3% berbanding 1,1%).

Sebuah pengujian terpisah dilakukan untuk mengetahui apakah model AI memperoleh manfaat jika diberi tahu arti pemformatan, alih-alih sekadar diperlihatkan warna dan sorotan asli. Hasilnya, ditemukan peningkatan kecil tetapi signifikan secara statistik ketika label tambahan ini diberikan. Namun, sebagian besar manfaat telah diperoleh dengan mempertahankan pemformatan itu sendiri.

Tekanan Eksternal

Para peneliti melakukan penilaian tambahan menggunakan Tolok Ukur Pemahaman Office (OCB) dari Microsoft, yang mengukur seberapa akurat informasi dapat dipulihkan dari dokumen Office.

Sebanyak 326 pertanyaan diambil dari 59 dokumen Word, mencakup pemformatan, tabel, hyperlink, komentar, dan catatan kaki. Baik pertanyaan maupun kriteria penilaian disediakan oleh Microsoft secara independen dari penelitian ini:

Hasil perbandingan lima metode konversi dokumen berdasarkan Tolok Ukur Pemahaman Office dari Microsoft, yang mencakup 326 pertanyaan dari 59 dokumen Word. Skor berkisar dari 0 hingga 1; skor yang lebih tinggi menunjukkan kinerja yang lebih baik. Skor terbaik di setiap kategori dicetak tebal. Baris-baris terbawah merangkum kinerja keseluruhan dan signifikansi statistik. Dalam pengujian ini, sistem para penulis meraih skor keseluruhan tertinggi, meskipun docx2python berkinerja lebih baik dalam mempertahankan sorotan.

Seperti yang ditunjukkan di atas, sistem para penulis meraih skor keseluruhan yang sangat baik, yaitu 0,959, dibandingkan dengan skor baik sebesar 0,810 untuk docx2python, skor sedang sebesar 0,720 untuk Docling, dan skor yang relatif rendah sebesar 0,634 untuk teks biasa.

Sistem baru meraih skor sempurna untuk metadata, komentar, dan catatan kaki, sementara semua metode pesaing mendapat skor nol. Namun, peningkatan ini tidak semata-mata berkat dipertahankannya sorotan dan warna teks; sistem para penulis juga terbukti lebih baik dalam memulihkan informasi dari tabel, tata letak dokumen, jenis huruf, dan hyperlink.

Kesimpulan

Baru-baru ini, saya mencoba—dengan sedikit keberhasilan—mengotomatiskan penekanan yang saya tambahkan sendiri pada tabel dan gambar dalam sebuah makalah ilmiah PDF menggunakan LLM dan/atau Python. Hasilnya… ya, kocak. Pengelompokan, penghitungan, dan penguraian makalah ilmiah kini menjadi bidang yang banyak diteliti dalam literatur, sehingga hanya tersisa sedikit ruang—atau harapan—bagi penggemar amatir.

Terkait makalah ini, keberhasilan para penulis terletak pada ditemukannya indikator penekanan penting yang hilang dalam proses penerjemahan. Namun, biaya token yang harus dikeluarkan untuk solusi mereka menjadi dua kali lipat—bukan jumlah yang kecil, terutama pada skala yang harus ditangani oleh lapisan OCR dan pemasukan dokumen. Jadi, menurut saya, nilai utama di sini adalah menemukan masalahnya.

* Berjudul ‘Apa yang Ditulis Penulis, Apa yang Dibaca Agen: Hilangnya Isyarat secara Diam-Diam dalam Pemasukan Dokumen Perusahaan’.

^† Semuanya dari Amazon.

^†† Penekanan dari para penulis, bukan dari saya, meskipun saya memang rutin mengubah kutipan dalam teks para penulis menjadi hyperlink.

Pertama kali diterbitkan Jumat, 30 Oktober 2026