Membuat Kesadaran dari Kekacauan: Peran LLM dalam Ekstraksi Data Tidak Terstruktur

Pengembangan baru-baru ini dalam perangkat keras seperti Nvidia H100 GPU telah meningkatkan kemampuan komputasi secara signifikan. Dengan sembilan kali kecepatan Nvidia A100, GPU ini unggul dalam menangani beban kerja pembelajaran dalam. Kemajuan ini telah memicu penggunaan komersial AI generatif dalam pemrosesan bahasa alami (NLP) dan penglihatan komputer, memungkinkan ekstraksi data otomatis dan cerdas. Bisnis sekarang dapat dengan mudah mengubah data tidak terstruktur menjadi wawasan berharga, menandai lompatan besar dalam integrasi teknologi. 

Metode Tradisional Ekstraksi Data 

Penginputan Data Manual 

Mengejutkan, banyak perusahaan masih mengandalkan penginputan data manual, meskipun ketersediaan teknologi yang lebih maju. Metode ini melibatkan penginputan informasi secara langsung ke sistem target. Ini sering lebih mudah diadopsi karena biaya awal yang lebih rendah. Namun, penginputan data manual tidak hanya membosankan dan memakan waktu tetapi juga sangat rentan terhadap kesalahan. Selain itu, ini juga menimbulkan risiko keamanan saat menangani data sensitif, membuatnya menjadi pilihan yang kurang diinginkan di era otomatisasi dan keamanan digital. 

Pengenalan Karakter Optik (OCR)  

Teknologi OCR, yang mengubah gambar dan konten tulisan tangan menjadi data yang dapat dibaca mesin, menawarkan solusi yang lebih cepat dan lebih efektif biaya untuk ekstraksi data. Namun, kualitasnya dapat tidak konsisten. Misalnya, karakter seperti “S” dapat salah diartikan sebagai “8” dan sebaliknya.  

Kinerja OCR sangat dipengaruhi oleh kompleksitas dan karakteristik data input; ini bekerja dengan baik dengan gambar yang discan dengan resolusi tinggi yang bebas dari masalah seperti kemiringan orientasi, watermark, atau penulisan ulang. Namun, ini menghadapi tantangan dengan teks tulisan tangan, terutama ketika visualnya rumit atau sulit diproses. Penyesuaian mungkin diperlukan untuk hasil yang lebih baik saat menangani input teks. Alat ekstraksi data di pasar dengan OCR sebagai teknologi dasar sering menambahkan lapisan dan lapisan pemrosesan lanjutan untuk meningkatkan akurasi data yang diekstrak. Namun, solusi ini tidak dapat menjamin hasil yang 100% akurat.  

Pencocokan Pola Teks 

Pencocokan pola teks adalah metode untuk mengidentifikasi dan mengekstrak informasi spesifik dari teks menggunakan aturan atau pola yang telah ditentukan sebelumnya. Ini lebih cepat dan menawarkan ROI yang lebih tinggi daripada metode lain. Ini efektif di semua tingkat kompleksitas dan mencapai akurasi 100% untuk file dengan tata letak yang sama.  

Namun, kekakuan dalam pencocokan kata demi kata dapat membatasi adaptabilitas, memerlukan pencocokan 100% untuk ekstraksi yang sukses. Tantangan dengan sinonim dapat menyebabkan kesulitan dalam mengidentifikasi istilah yang setara, seperti membedakan “cuaca” dari “iklim.” Selain itu, Pencocokan Pola Teks menunjukkan sensitivitas kontekstual, kekurangan kesadaran akan makna ganda dalam konteks yang berbeda. Mencapai keseimbangan yang tepat antara kekakuan dan adaptabilitas tetap menjadi tantangan konstan dalam menerapkan metode ini secara efektif. 

Pengenalan Entitas Bernama (NER)  

Pengenalan entitas bernama (NER), sebuah teknik NLP, mengidentifikasi dan mengategorikan informasi kunci dalam teks. 

Ekstraksi NER terbatas pada entitas yang telah ditentukan sebelumnya seperti nama organisasi, lokasi, nama pribadi, dan tanggal. Dengan kata lain, sistem NER saat ini tidak memiliki kemampuan bawaan untuk mengekstrak entitas kustom di luar himpunan yang telah ditentukan, yang bisa spesifik untuk domain atau kasus penggunaan tertentu. Kedua, fokus NER pada nilai kunci yang terkait dengan entitas yang dikenali tidak meluas ke ekstraksi data dari tabel, membatasi aplikabilitasnya untuk jenis data yang lebih kompleks atau terstruktur. 

 Ketika organisasi menghadapi jumlah data tidak terstruktur yang meningkat, tantangan ini menyoroti kebutuhan akan pendekatan ekstraksi yang komprehensif dan dapat diskalakan. 

Membuka Data Tidak Terstruktur dengan LLM 

Menggunakan model bahasa besar (LLM) untuk ekstraksi data tidak terstruktur adalah solusi yang menarik dengan kelebihan yang menonjol yang menangani tantangan kritis. 

Ekstraksi Data yang Sadar Konteks 

LLM memiliki pemahaman konteks yang kuat, diperoleh melalui pelatihan ekstensif pada dataset besar. Kemampuan mereka untuk melampaui permukaan dan memahami kerumitan konteks membuat mereka berharga dalam menangani berbagai tugas ekstraksi informasi. Misalnya, ketika diminta untuk mengekstrak nilai cuaca, mereka menangkap informasi yang dimaksud dan mempertimbangkan elemen terkait seperti nilai iklim, dengan lancar mengintegrasikan sinonim dan semantik. Pemahaman tingkat lanjut ini memposisikan LLM sebagai pilihan dinamis dan adaptif dalam domain ekstraksi data.  

Menggunakan Kemampuan Pemrosesan Paralel 

LLM menggunakan pemrosesan paralel, membuat tugas lebih cepat dan lebih efisien. Tidak seperti model sekuen, LLM mengoptimalkan distribusi sumber daya, menghasilkan percepatan tugas ekstraksi data. Ini meningkatkan kecepatan dan menyumbang pada kinerja proses ekstraksi secara keseluruhan.  

Beradaptasi dengan Jenis Data yang Beragam 

Sementara model seperti Jaringan Neural Rekuren (RNN) terbatas pada urutan spesifik, LLM menangani data non-spesifik urutan, dengan mudah menangani struktur kalimat yang beragam. Fleksibilitas ini mencakup berbagai bentuk data seperti tabel dan gambar. 

Meningkatkan Pipa Pemrosesan 

Penggunaan LLM menandai pergeseran signifikan dalam mengotomatisasi baik tahap pra-pemrosesan dan pasca-pemrosesan. LLM mengurangi kebutuhan upaya manual dengan mengotomatisasi proses ekstraksi secara akurat, mempermudah penanganan data tidak terstruktur. Pelatihan mereka yang luas pada dataset yang beragam memungkinkan mereka untuk mengidentifikasi pola dan korelasi yang terlewatkan oleh metode tradisional. 

Sumber: Sebuah pipeline pada AI Generatif

Gambar ini dari pipeline AI generatif menunjukkan keteraplikasian model seperti BERT, GPT, dan OPT dalam ekstraksi data. LLM ini dapat melakukan berbagai operasi NLP, termasuk ekstraksi data. Biasanya, model AI generatif menyediakan prompt yang menjelaskan data yang diinginkan, dan respons yang dihasilkan berisi data yang diekstrak. Misalnya, prompt seperti “Ekstrak nama semua vendor dari purchase order ini” dapat menghasilkan respons yang berisi semua nama vendor yang ada dalam laporan semi-terstruktur. Selanjutnya, data yang diekstrak dapat diparse dan dimuat ke dalam tabel database atau file datar, memfasilitasi integrasi yang lancar ke dalam alur kerja organisasi. 

Kerangka AI yang Berkembang: RNN hingga Transformer dalam Ekstraksi Data Modern 

AI generatif beroperasi dalam kerangka encoder-decoder yang menampilkan dua jaringan neural kolaboratif. Encoder memproses data input, mengompresi fitur esensial menjadi “Vektor Konteks.” Vektor ini kemudian digunakan oleh decoder untuk tugas generatif, seperti terjemahan bahasa. Arsitektur ini, yang menggunakan jaringan neural seperti RNN dan Transformer, menemukan aplikasi dalam domain yang beragam, termasuk terjemahan mesin, generasi gambar, sintesis suara, dan ekstraksi entitas data. Jaringan ini unggul dalam memodelkan hubungan dan ketergantungan yang kompleks dalam urutan data. 

Jaringan Neural Rekuren 

Jaringan Neural Rekuren (RNN) telah dirancang untuk menangani tugas urutan seperti terjemahan dan ringkasan, unggul dalam konteks tertentu. Namun, mereka bergelut dengan akurasi dalam tugas yang melibatkan ketergantungan jangka panjang.  

 RNN unggul dalam mengekstrak pasangan kunci-nilai dari kalimat tetapi menghadapi kesulitan dengan struktur seperti tabel. Mengatasi ini memerlukan pertimbangan hati-hati tentang urutan dan penempatan posisional, memerlukan pendekatan khusus untuk mengoptimalkan ekstraksi data dari tabel. Namun, adopsinya terbatas karena ROI yang rendah dan kinerja yang kurang memuaskan pada sebagian besar tugas pemrosesan teks, bahkan setelah dilatih pada volume data yang besar. 

Jaringan Memori Jangka Pendek Panjang 

Jaringan Memori Jangka Pendek Panjang (LSTM) muncul sebagai solusi yang menangani keterbatasan RNN, terutama melalui mekanisme pembaruan dan penghapusan yang selektif. Seperti RNN, LSTM unggul dalam mengekstrak pasangan kunci-nilai dari kalimat. Namun, mereka menghadapi tantangan serupa dengan struktur seperti tabel, memerlukan pertimbangan strategis tentang urutan dan elemen posisional.  

 GPU pertama kali digunakan untuk pembelajaran dalam pada tahun 2012 untuk mengembangkan model CNN AlexNet yang terkenal. Selanjutnya, beberapa RNN juga dilatih menggunakan GPU, meskipun mereka tidak menghasilkan hasil yang baik. Saat ini, meskipun ketersediaan GPU, model ini telah sebagian besar tidak digunakan dan telah digantikan oleh LLM berbasis transformer. 

Transformer – Mekanisme Perhatian 

Pengenalan transformer, yang paling menonjol dalam makalah “Perhatian adalah Semua yang Anda Butuhkan” (2017), merevolusi NLP dengan mengusulkan arsitektur ‘transformer’. Arsitektur ini memungkinkan komputasi paralel dan menangkap ketergantungan jangka panjang dengan baik, membuka kemungkinan baru untuk model bahasa. LLM seperti GPT, BERT, dan OPT telah memanfaatkan teknologi transformer. Di jantung transformer terletak mekanisme “perhatian”, kontributor kunci untuk kinerja yang ditingkatkan dalam pemrosesan data urutan-ke-urutan. 

Mekanisme “perhatian” dalam transformer menghitung jumlah terbobot dari nilai berdasarkan kompatibilitas antara ‘query’ (prompt pertanyaan) dan ‘kunci’ (pemahaman model tentang setiap kata). Pendekatan ini memungkinkan perhatian yang terfokus selama generasi urutan, memastikan ekstraksi yang presisi. Dua komponen penting dalam mekanisme perhatian adalah Perhatian Diri, yang menangkap pentingnya antara kata-kata dalam urutan input, dan Perhatian Multi-Kepala, yang memungkinkan pola perhatian yang beragam untuk hubungan spesifik.  

Dalam konteks Ekstraksi Faktur, Perhatian Diri mengenali relevansi tanggal yang disebutkan sebelumnya saat mengekstrak jumlah pembayaran, sementara Perhatian Multi-Kepala fokus secara independen pada nilai numerik (jumlah) dan pola teks (nama vendor). Tidak seperti RNN, transformer tidak secara inheren memahami urutan kata. Untuk mengatasi ini, mereka menggunakan pengkodean posisional untuk melacak posisi setiap kata dalam urutan. Teknik ini diterapkan pada kedua embedding input dan output, membantu dalam mengidentifikasi kunci dan nilai yang sesuai dalam dokumen.  

Kombinasi mekanisme perhatian dan pengkodean posisional sangat penting untuk kemampuan model bahasa besar untuk mengenali struktur sebagai tabel, mempertimbangkan kontennya, spasi, dan penanda teks. Kemampuan ini membedakannya dari teknik ekstraksi data tidak terstruktur lainnya.

Tren dan Pengembangan Saat Ini 

Ruang AI terus berkembang dengan tren dan pengembangan yang menjanjikan, mengubah cara kita mengekstrak informasi dari data tidak terstruktur. Mari kita jelajahi aspek-aspek kunci yang membentuk masa depan bidang ini. 

Pengembangan Model Bahasa Besar (LLM) 

AI generatif sedang mengalami fase transformasi, dengan LLM mengambil posisi sentral dalam menangani dataset yang kompleks dan beragam untuk ekstraksi data tidak terstruktur. Dua strategi yang menonjol mendorong kemajuan ini: 

1. Pembelajaran Multimodal: LLM memperluas kemampuan mereka dengan memproses berbagai jenis data secara bersamaan, termasuk teks, gambar, dan audio. Pengembangan ini meningkatkan kemampuan mereka untuk mengekstrak informasi berharga dari sumber yang beragam, meningkatkan utilitasnya dalam ekstraksi data tidak terstruktur. Peneliti sedang menjelajahi cara-cara efisien untuk menggunakan model ini, dengan tujuan menghilangkan kebutuhan akan GPU dan memungkinkan operasi model besar dengan sumber daya yang terbatas.

2. Aplikasi RAG: Generasi yang Ditingkatkan dengan Pencarian (RAG) adalah tren yang muncul yang menggabungkan model bahasa besar pra-terlatih dengan mekanisme pencarian eksternal untuk meningkatkan kemampuan mereka. Dengan mengakses korpus dokumen yang luas selama proses generasi, RAG mengubah model bahasa dasar menjadi alat dinamis yang dirancang untuk aplikasi bisnis dan konsumen.

Mengevaluasi Kinerja LLM 

Tantangan dalam mengevaluasi kinerja LLM diatasi dengan pendekatan strategis, yang mencakup metrik tugas-spesifik dan metodologi evaluasi inovatif. Pengembangan kunci dalam ruang ini termasuk: 

1. Metrik yang Diperhalus: Metrik evaluasi yang disesuaikan muncul untuk menilai kualitas tugas ekstraksi informasi. Presisi, recall, dan skor F1 metrik terbukti efektif, terutama dalam tugas seperti ekstraksi entitas.

2. Evaluasi Manusia: Penilaian manusia tetap penting di samping metrik otomatis, memastikan evaluasi yang komprehensif dari LLM. Mengintegrasikan metrik otomatis dengan penilaian manusia, metode evaluasi hibrida menawarkan pandangan yang lebih halus tentang kesesuaian kontekstual dan relevansi informasi yang diekstrak.

Pemrosesan Gambar dan Dokumen  

LLM multimodal telah sepenuhnya menggantikan OCR. Pengguna dapat mengubah teks yang discan dari gambar dan dokumen menjadi teks yang dapat dibaca mesin, dengan kemampuan untuk mengidentifikasi dan mengekstrak informasi langsung dari konten visual menggunakan modul berbasis visi. 

Ekstraksi Data dari Tautan dan Situs Web 

LLM berkembang untuk memenuhi permintaan yang meningkat untuk ekstraksi data dari situs web dan tautan web. Model ini semakin terampil dalam web scraping, mengubah data dari halaman web menjadi format terstruktur. Tren ini sangat berharga untuk tugas seperti agregasi berita, pengumpulan data e-commerce, dan intelijen kompetitif, meningkatkan pemahaman kontekstual dan mengekstrak data relasional dari web. 

Munculnya Raksasa Kecil dalam AI Generatif 

Paruh pertama tahun 2023 melihat fokus pada pengembangan model bahasa besar berdasarkan asumsi “lebih besar lebih baik”. Namun, hasil terbaru menunjukkan bahwa model yang lebih kecil seperti TinyLlama dan Dolly-v2-3B, dengan kurang dari 3 miliar parameter, unggul dalam tugas seperti penalaran dan ringkasan, mendapatkan julukan “raksasa kecil.” Model ini menggunakan daya komputasi yang lebih sedikit dan penyimpanan, membuat AI lebih dapat diakses oleh perusahaan yang lebih kecil tanpa memerlukan GPU yang mahal. 

Kesimpulan 

Model AI generatif awal, termasuk jaringan generatif adversarial (GAN) dan encoder auto-variational (VAE), memperkenalkan pendekatan baru untuk mengelola data berbasis gambar. Namun, terobosan sebenarnya datang dengan model bahasa besar berbasis transformer. Model ini melampaui semua teknik sebelumnya dalam pemrosesan data tidak terstruktur berkat struktur encoder-decoder, perhatian diri, dan perhatian multi-kepala, memberikan pemahaman yang mendalam tentang bahasa dan memungkinkan kemampuan penalaran seperti manusia. 

 Sementara AI generatif menawarkan awal yang menjanjikan untuk menambang data teks dari laporan, skalabilitas pendekatan seperti itu terbatas. Langkah awal sering melibatkan pemrosesan OCR, yang dapat menghasilkan kesalahan, dan tantangan bertahan dalam mengekstrak teks dari gambar dalam laporan.  

 Sedangkan mengekstrak teks di dalam gambar dalam laporan adalah tantangan lain. Mengadopsi solusi seperti pemrosesan data multimodal dan ekstensi batas token di GPT-4, Claud3, Gemini menawarkan jalur yang menjanjikan ke depan. Namun, perlu dicatat bahwa model ini hanya dapat diakses melalui API. Sementara menggunakan API untuk ekstraksi data dari dokumen efektif dan efisien biaya, ini datang dengan keterbatasan seperti latensi, kontrol terbatas, dan risiko keamanan.  

 Solusi yang lebih aman dan dapat disesuaikan terletak pada penyetelan model LLM in-house. Pendekatan ini tidak hanya memitigasi kekhawatiran privasi dan keamanan data tetapi juga meningkatkan kontrol atas proses ekstraksi data. Menyetel LLM untuk pemahaman tata letak dokumen dan untuk memahami makna teks berdasarkan konteksnya menawarkan metode yang kuat untuk mengekstrak pasangan kunci-nilai dan item baris. Dengan menggunakan pembelajaran zero-shot dan few-shot, model yang disesuaikan dapat beradaptasi dengan tata letak dokumen yang beragam, memastikan ekstraksi data tidak terstruktur yang efisien dan akurat di berbagai domain.