Mengatasi Gunung PDF Pemerintah AS dengan Penglihatan Komputer

Format PDF Adobe telah tertanam sangat dalam dalam pipa dokumen pemerintah AS sehingga jumlah dokumen yang diterbitkan oleh negara yang ada saat ini diperkirakan konservatif berjumlah ratusan juta. Seringkali tidak transparan dan kekurangan metadata, PDF-PDF ini – banyak yang dibuat oleh sistem otomatis – secara kolektif tidak menceritakan cerita atau saga; jika Anda tidak tahu apa yang Anda cari, Anda mungkin tidak akan menemukan dokumen yang relevan. Dan jika Anda tahu, Anda mungkin tidak memerlukan pencarian. Namun, sebuah proyek baru menggunakan penglihatan komputer dan pendekatan pembelajaran mesin lainnya untuk mengubah gunung data yang hampir tidak dapat diakses ini menjadi sumber daya yang berharga dan dapat dieksplorasi untuk peneliti, sejarawan, jurnalis, dan sarjana.

Ketika pemerintah AS menemukan Format Dokumen Portabel (PDF) Adobe pada 1990-an, mereka memutuskan untuk menggunakannya. Tidak seperti dokumen Word yang dapat diedit, PDF dapat “dibuat” dengan berbagai cara yang membuatnya sulit atau bahkan tidak mungkin untuk diedit nanti; font dapat disematkan, memastikan kompatibilitas lintas platform; dan pencetakan, penyalinan, dan bahkan membuka dapat dikendalikan pada tingkat granular.

Lebih penting lagi, fitur-fitur inti ini tersedia dalam beberapa spesifikasi “baseline” format, menjanjikan bahwa materi arsip tidak perlu diproses ulang atau dikunjungi lagi untuk memastikan aksesibilitas. Hampir semua yang diperlukan penerbitan pemerintah sudah ada pada tahun 1996.

Dengan teknologi blockchain dan NFT yang masih beberapa dekade lagi, PDF hampir seperti dokumen analog “mati”, hanya konsep yang sedikit berbeda dari faks. Ini adalah apa yang diinginkan.

Perbedaan Pendapat Internal tentang PDF

Seberapa besar PDF tidak transparan, tidak dapat diakses, dan “non-sosial” digambarkan dalam dokumentasi tentang format di Perpustakaan Kongres, yang lebih memilih PDF sebagai “format yang disukai”:

‘Tujuan utama format PDF/A adalah untuk merepresentasikan dokumen elektronik dengan cara yang mempertahankan penampilan visual statis mereka dari waktu ke waktu, independen dari alat dan sistem yang digunakan untuk membuat, menyimpan, atau merender file. Untuk ini, PDF/A berusaha untuk memaksimalkan kemandirian perangkat, kemandirian, dan dokumentasi diri.’

Antusiasme yang berkelanjutan untuk format PDF, standar untuk aksesibilitas, dan persyaratan untuk versi minimum, semua bervariasi di seluruh departemen pemerintah AS. Misalnya, sementara Badan Perlindungan Lingkungan memiliki kebijakan yang ketat tetapi mendukung dalam hal ini, situs web resmi pemerintah AS plainlanguage.gov mengakui bahwa ‘pengguna membenci PDF’, dan bahkan menghubungkan langsung ke laporan 2020 Nielsen Norman Group yang berjudul PDF: Masih Tidak Cocok untuk Konsumsi Manusia, 20 Tahun Kemudian.

Sementara itu, irs.gov, dibuat pada 1995 khusus untuk mengalihkan dokumentasi keuangan ke digital, segera mengadopsi PDF dan masih mendukungnya.

Penyebaran PDF yang Viral

Sejak spesifikasi inti PDF dirilis ke sumber terbuka oleh Adobe, sejumlah alat pemrosesan sisi server dan perpustakaan telah muncul, banyak yang sekarang mapan dan tertanam seperti spesifikasi PDF 1996, dan sama-sama andal dan tahan bug, sementara vendor perangkat lunak berlomba-lomba untuk mengintegrasikan fungsionalitas PDF ke dalam alat-alat berbiaya rendah.

Sebagai akibatnya, PDF tetap sangat umum dalam kerangka komunikasi dan dokumentasi di seluruh sejumlah besar departemen pemerintah AS.

Pada 2015, Wakil Presiden Teknik untuk Document Cloud Adobe, Phil Ydens memperkirakan bahwa 2,5 triliun dokumen PDF ada di dunia, sementara format ini diyakini bertanggung jawab atas sekitar 6-11% dari semua konten web. Dalam budaya teknologi yang kecanduan mengganggu teknologi lama, PDF telah menjadi “karat” yang tidak dapat dihilangkan – bagian sentral dari struktur yang menampungnya.

Dari 2018. Belum ada bukti tentang adanya pesaing yang kuat. Sumber: https://twitter.com/trbrtc/status/980407663690502145

Menurut penelitian terbaru dari peneliti di Universitas Washington dan Perpustakaan Kongres, ‘ratusan juta dokumen pemerintah AS unik yang diposting ke web dalam bentuk PDF telah diarsipkan oleh perpustakaan hingga saat ini’.

Namun, para peneliti berpendapat bahwa ini hanya “puncak gunung es”:

‘Sebagaimana yang telah dicatat oleh sarjana sejarah digital terkemuka Roy Rosenzweig sejak 2003, ketika datang ke sumber primer born-digital untuk kajian, sangat penting untuk mengembangkan metode dan pendekatan yang akan berkembang menjadi puluhan dan ratusan juta, bahkan miliaran sumber daya digital. Kami sekarang telah mencapai titik di mana mengembangkan pendekatan untuk skala ini sangat diperlukan.

‘Sebagai contoh, arsip web Perpustakaan Kongres sekarang berisi lebih dari 20 miliar sumber daya digital individual.’

PDF: Tahan terhadap Analisis

Proyek peneliti di Washington menerapkan sejumlah metode pembelajaran mesin pada korpus publik dan dianotasi dari 1.000 dokumen terpilih dari Perpustakaan Kongres, dengan tujuan mengembangkan sistem yang mampu melakukan pengambilan teks dan gambar berbasis kueri dengan kecepatan tinggi dan multimodal dalam kerangka yang dapat berkembang hingga ketinggian volume PDF saat ini, tidak hanya di pemerintah, tetapi juga di sektor lainnya.

Sebagaimana yang diamati dalam makalah, percepatan digitalisasi di seluruh sejumlah departemen pemerintah AS yang terfragmentasi pada 1990-an mengarah pada kebijakan dan praktik yang berbeda, dan seringkali mengadopsi metode penerbitan PDF yang tidak mengandung kualitas metadata yang sama dengan yang pernah menjadi standar emas layanan perpustakaan pemerintah – atau bahkan metadata asli PDF yang paling dasar, yang mungkin berguna dalam membuat koleksi PDF lebih dapat diakses dan ramah untuk pengindeksan.

Membahas periode gangguan ini, penulis mencatat:

‘Upaya ini mengarah pada pertumbuhan yang pesat dari jumlah publikasi pemerintah, yang pada gilirannya menghasilkan keruntuhan pendekatan umum yang digunakan untuk menghasilkan metadata konsisten untuk publikasi tersebut dan dengan cara Perpustakaan memperoleh salinan dari mereka.’

Konsekuensinya, gunung PDF yang khas ada tanpa konteks kecuali URL yang menghubungkan langsung ke sana. Lebih lanjut, dokumen-dokumen dalam gunung tersebut tertutup, self-referential, dan tidak membentuk bagian dari “saga” atau narasi yang metodologi pencarian saat ini kemungkinan akan mengungkap, meskipun koneksi tersembunyi tersebut pasti ada.

Pada skala yang dipertimbangkan, anotasi atau kurasi manual adalah prospek yang tidak mungkin. Korpus data dari mana 1000 dokumen Perpustakaan Kongres berasal berisi lebih dari 40 juta PDF, yang peneliti berencana untuk membuat tantangan yang dapat diatasi di masa depan.

Penglihatan Komputer untuk Analisis PDF

Sebagian besar penelitian sebelumnya yang dikutip oleh penulis menggunakan metode berbasis teks untuk mengekstrak fitur dan konsep tingkat tinggi dari materi PDF; dengan kontras, proyek mereka berfokus pada menghasilkan fitur dan tren dengan memeriksa PDF pada tingkat visual, sejalan dengan penelitian saat ini tentang analisis multimodal konten berita.

Meskipun pembelajaran mesin juga telah diterapkan dalam cara ini untuk analisis PDF melalui skema sektor-spesifik seperti Semantic Scholar, penulis berencana untuk membuat pipa ekstraksi tingkat tinggi yang lebih luas yang dapat diterapkan di berbagai publikasi, bukan hanya disesuaikan dengan ketatnya penerbitan ilmiah atau sektor lain yang sama-sama sempit.

Mengatasi Data yang Tidak Seimbang

Dalam membuat skema metrik, peneliti harus mempertimbangkan seberapa besar data yang miring, setidaknya dalam hal ukuran per item.

Dari 1000 PDF dalam dataset terpilih (yang penulis anggap sebagai representasi dari 40 juta yang dari mana mereka diambil), 33% hanya satu halaman panjang, dan 39% adalah 2-5 halaman panjang. Ini membuat 72% dari dokumen memiliki lima halaman atau kurang.

Setelah itu, ada lompatan yang cukup besar: 18% dari dokumen yang tersisa berjalan pada 6-20 halaman, 6% pada 20-100 halaman dan 3% pada 100+ halaman. Ini berarti bahwa dokumen terpanjang membentuk sebagian besar halaman individual yang diekstrak, sementara pendekatan yang kurang granular yang mempertimbangkan dokumen saja akan mengalihkan perhatian ke dokumen yang lebih pendek.

Namun, ini adalah metrik yang mendalam, karena dokumen satu halaman cenderung menjadi skema teknis atau peta; dokumen 2-5 halaman cenderung menjadi rilis pers dan formulir; dan dokumen yang sangat panjang umumnya laporan buku dan publikasi, meskipun dalam hal panjang, mereka dicampur dengan dump data otomatis yang besar yang mengandung tantangan yang berbeda untuk interpretasi semantik.

Oleh karena itu, peneliti mengobati ketidakseimbangan ini sebagai properti semantik yang berarti itu sendiri. Namun, PDF masih perlu diproses dan diukur per halaman.

Arsitektur

Di awal proses, metadata PDF diproses menjadi data tabular. Metadata ini tidak akan hilang, karena terdiri dari kuantitas yang diketahui seperti ukuran file dan URL sumber.

PDF kemudian dibagi menjadi halaman, dengan setiap halaman diubah menjadi format JPEG melalui ImageMagick. Gambar kemudian diberikan kepada jaringan ResNet-50 yang menghasilkan vektor 2.048 dimensi dari lapisan kedua terakhir.

Pipa untuk ekstraksi dari PDF. Sumber: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

Pada saat yang sama, halaman diubah menjadi file teks oleh pdf2text, dan featurisasi TF-IDF diperoleh melalui scikit-learn.

TF-IDF adalah singkatan dari Term Frequency Inverse Document Frequency, yang mengukur seberapa umum setiap frasa dalam dokumen untuk frekuensi dalam dataset host, pada skala halus dari 0 hingga 1. Peneliti telah menggunakan kata-kata tunggal (unigram) sebagai unit terkecil dalam pengaturan TF-IDF sistem.

Meskipun mereka mengakui bahwa pembelajaran mesin memiliki metode yang lebih canggih untuk ditawarkan daripada TF-IDF, penulis berpendapat bahwa apa pun yang lebih kompleks tidak perlu untuk tugas yang dinyatakan.

Fakta bahwa setiap dokumen memiliki URL sumber yang terkait memungkinkan sistem untuk menentukan provenance dokumen di seluruh dataset.

Ini mungkin tampak sepele untuk 1000 dokumen, tetapi ini akan menjadi sangat menarik untuk 40 juta+.

Pendekatan Baru untuk Pencarian Teks

Salah satu tujuan proyek ini adalah membuat hasil pencarian untuk kueri berbasis teks lebih bermakna, memungkinkan eksplorasi yang menghasilkan tanpa kebutuhan akan pengetahuan sebelumnya yang berlebihan. Penulis menyatakan:

‘Sementara pencarian kata kunci adalah metode pencarian yang intuitif dan sangat dapat diperluas, ini juga dapat membatasi, karena pengguna bertanggung jawab untuk merumuskan kueri kata kunci yang mengambil hasil yang relevan.’

Setelah nilai TF-IDF diperoleh, memungkinkan untuk menghitung kata-kata yang paling umum dan memperkirakan “dokumen rata-rata” dalam korpus. Peneliti berpendapat bahwa karena kata-kata kunci lintas-dokumen ini biasanya bermakna, proses ini membentuk hubungan yang berguna untuk sarjana untuk menjelajahi, yang tidak dapat diperoleh hanya dengan pengindeksan individual teks dari setiap dokumen.

Secara visual, proses ini memfasilitasi “papan mood” kata-kata yang berasal dari berbagai departemen pemerintah:

Kata-kata kunci TF-IDF untuk berbagai departemen pemerintah AS, diperoleh melalui TF-IDF.

Kata-kata kunci dan hubungan yang diekstrak ini dapat kemudian digunakan untuk membentuk matriks dinamis dalam hasil pencarian, dengan korpus PDF mulai “menceritakan cerita”, dan hubungan kata kunci yang menghubungkan dokumen (mungkin bahkan selama ratusan tahun), untuk menggarisbawahi saga yang dapat dieksplorasi untuk topik atau tema.

Peneliti menggunakan clustering k-means untuk mengidentifikasi dokumen yang terkait, bahkan ketika dokumen tidak memiliki sumber yang sama. Ini memungkinkan pengembangan metadata frasa kunci yang dapat diterapkan di seluruh dataset, yang akan muncul baik sebagai peringkat untuk istilah dalam pencarian teks yang ketat, atau sebagai node terdekat dalam lingkungan eksplorasi yang lebih dinamis:

Analisis Visual

Kebaruan sebenarnya dari pendekatan peneliti di Washington adalah menerapkan teknik analisis visual berbasis pembelajaran mesin pada tampilan raster PDF dalam dataset.

Dengan cara ini, memungkinkan untuk menghasilkan tag “REDACTED” secara visual, di mana tidak ada dalam teks itu sendiri yang akan memberikan dasar yang cukup umum.

Kumpulan halaman depan PDF yang disensor yang diidentifikasi oleh penglihatan komputer dalam proyek baru.

Lebih lanjut, metode ini dapat menghasilkan tag seperti itu bahkan dari dokumen pemerintah yang telah dirasterisasi, yang sering terjadi dengan materi yang disensor, memungkinkan pencarian yang menyeluruh dan komprehensif untuk praktik ini.

Selain itu, peta dan skema dapat diidentifikasi dan dikategorikan, dan penulis mengomentari fungsionalitas potensial ini:

‘Bagi sarjana yang tertarik dengan pengungkapan informasi rahasia atau sensitif, mungkin sangat menarik untuk mengisolasi cluster materi seperti itu untuk analisis dan penelitian.’

Makalah tersebut mencatat bahwa berbagai indikator visual yang umum untuk jenis PDF pemerintah tertentu juga dapat digunakan untuk mengklasifikasikan dokumen dan membuat “saga”. Token seperti itu bisa berupa segel Kongres, atau logo atau fitur visual berulang lainnya yang tidak memiliki keberadaan semantik dalam pencarian teks murni.

Dokumen yang tidak dapat diklasifikasikan, atau di mana dokumen berasal dari sumber yang tidak umum, dapat diidentifikasi dari tata letaknya, seperti kolom, jenis font, dan aspek khas lainnya.

Tata letak saja dapat memberikan kelompok dan klasifikasi dalam ruang pencarian visual.

Meskipun penulis tidak mengabaikan teks, jelas bahwa ruang pencarian visual adalah yang telah mendorong pekerjaan ini.

‘Kemampuan untuk mencari dan menganalisis PDF berdasarkan fitur visualnya adalah pendekatan yang luas: ini tidak hanya melengkapi upaya yang ada sekitar analisis teks, tetapi juga membayangkan apa yang dapat dilakukan pencarian dan analisis untuk konten yang lahir digital.’

Penulis berencana untuk mengembangkan kerangka mereka untuk menampung dataset yang jauh lebih besar, termasuk arsip web kepresidenan akhir masa jabatan 2008 dataset, yang berisi lebih dari 10 juta item. Awalnya, mereka berencana untuk meningkatkan sistem untuk menangani “puluhan ribu” PDF pemerintah.

Sistem ini dimaksudkan untuk dievaluasi awal dengan pengguna nyata, termasuk pustakawan, arsiparis, pengacara, sejarawan, dan sarjana lainnya, dan akan berkembang berdasarkan umpan balik dari kelompok-kelompok ini.

Mengatasi Skala Publikasi Pemerintah yang Lahir Digital: Menuju Pipa untuk Pengolahan dan Pencarian Jutaan PDF ditulis oleh Benjamin Charles Germain Lee (di Sekolah Ilmu Komputer dan Teknik Paul G. Allen) dan Trevor Owens, Sejarawan Publik yang Bertugas dan Kepala Manajemen Konten Digital di Perpustakaan Kongres di Washington, D.C..

* Konversi saya dari kutipan inline ke tautan.

Aslinya diterbitkan pada 28 Desember 2021