Mengapa Bahasa Sejarah Menjadi Tantangan bagi Kecerdasan Buatan

Salah satu tantangan utama sistem Pemrosesan Bahasa Alami (NLP) adalah menghasilkan wawasan penting dari berbagai bahan tertulis. Sumber daya yang berkontribusi pada dataset pelatihan untuk algoritma NLP baru bisa sangat beragam secara linguistik, seperti Twitter, surat kabar, dan jurnal ilmiah, dengan semua kekhasan unik masing-masing sumber.

Pada sebagian besar kasus, itu hanya untuk bahasa Inggris; dan itu hanya untuk sumber teks saat ini atau baru-baru ini. Ketika algoritma NLP harus mempertimbangkan materi yang berasal dari beberapa era, biasanya mengalami kesulitan untuk mempertemukan cara-cara yang sangat berbeda orang berbicara atau menulis di seluruh komunitas nasional dan sub-nasional, dan terutama di seluruh periode sejarah.

Namun, menggunakan data teks (seperti traktat sejarah dan karya ilmiah yang terhormat) yang melintasi zaman adalah metode yang berguna untuk menghasilkan tinjauan sejarah tentang suatu topik, dan untuk membentuk rekonstruksi timeline statistik yang mendahului adopsi dan pemeliharaan metrik untuk suatu domain.

Sebagai contoh, informasi cuaca yang berkontribusi pada model prediksi perubahan iklim AI tidak cukup direkam di seluruh dunia hingga 1880, sedangkan penambangan teks klasik menawarkan catatan lebih tua tentang peristiwa meteorologi besar yang mungkin berguna dalam menyediakan data cuaca sebelum era Victoria.

Penyimpangan Waktu

Sebuah makalah baru dari Universitas Washington dan Institut AI Allen menemukan bahwa bahkan interval waktu yang singkat seperti lima tahun dapat menyebabkan penyimpangan waktu yang dapat menghambat kegunaan model NLP yang sudah dilatih.

Dalam semua kasus, skor yang lebih tinggi lebih baik. Di sini kita melihat heatmap degradasi waktu di seluruh empat korpus teks yang melintasi periode lima tahun. Ketidakcocokan seperti itu antara data pelatihan dan evaluasi, menurut penulis makalah baru, dapat menyebabkan ‘penurunan kinerja besar’. Sumber: https://arxiv.org/pdf/2111.07408.pdf

Makalah tersebut menyatakan:

‘Kami menemukan bahwa penyimpangan waktu mempengaruhi generalisasi model bahasa dan kinerja tugas. Kami menemukan variasi yang cukup besar dalam degradasi di seluruh domain teks dan tugas. Dalam waktu lima tahun, skor F1 klasifikasi dapat memburuk sebanyak 40 poin (afiliasi politik di Twitter) atau sebanyak 1 poin (peringkat ulasan Yelp). Dua tugas yang berbeda yang didefinisikan pada domain yang sama dapat menunjukkan tingkat degradasi yang berbeda seiring waktu.’

Pembagian Tidak Merata

Masalah utama adalah bahwa dataset pelatihan umumnya dibagi menjadi dua kelompok, kadang-kadang dengan rasio 80/20 yang tidak seimbang, karena ketersediaan data yang terbatas. Kelompok data yang lebih besar dilatih pada jaringan saraf, sedangkan data yang tersisa digunakan sebagai kelompok kontrol untuk menguji akurasi algoritma yang dihasilkan.

Dalam dataset campuran yang berisi materi yang melintasi beberapa tahun, distribusi data yang tidak merata dari berbagai periode dapat berarti bahwa data evaluasi sebagian besar terdiri dari materi dari satu era tertentu.

Hal ini akan menyebabkan menjadi tempat uji yang buruk untuk model yang dilatih pada campuran era yang lebih beragam (yaitu pada lebih banyak data yang tersedia). Pada dasarnya, tergantung pada apakah data evaluasi minoritas itu lebih banyak mewakili materi yang lebih baru atau lebih tua, itu seperti meminta kakek Anda untuk menilai idola K-Pop terbaru.

Cara panjang untuk mengatasi masalah ini adalah dengan melatih beberapa model pada dataset yang lebih terbatas waktu, dan mencoba menggabungkan fitur yang kompatibel dari hasil masing-masing model. Namun, praktik inisialisasi model acak saja sudah menghadapi serangkaian masalah dalam mencapai kesetaraan antar model dan kesetaraan – bahkan sebelum mempertimbangkan apakah dataset yang berkontribusi cukup mirip satu sama lain untuk membuat eksperimen tersebut bermakna.

Data dan Pelatihan

Untuk mengevaluasi penyimpangan waktu, penulis melatih empat korpus teks di seluruh empat domain;

Twitter
…di mana mereka mengumpulkan data yang tidak dilabeli dengan mengekstrak seleksi acak 12 juta tweet yang tersebar merata antara 2015-2020, di mana penulis mempelajari entitas yang dinamai (yaitu orang dan organisasi) dan afiliasi politik.

Artikel Ilmiah
…di mana penulis memperoleh data yang tidak dilabeli dari korpus Semantic Scholar, yang terdiri dari 650.000 dokumen yang melintasi periode 30 tahun, dan di mana mereka mempelajari klasifikasi tipe penyebutan (SciERC) dan klasifikasi tempat konferensi AI (AIC, yang membedakan apakah sebuah makalah diterbitkan di AAAI atau ICML).

Artikel Berita
…di mana penulis menggunakan sembilan juta artikel dari Dataset Newsroom yang melintasi periode 2009-2016, di mana mereka melakukan tiga tugas: ringkasan ruang berita, klasifikasi penerbit, dan klasifikasi kerangka media (MFC), yang terakhir memeriksa prioritas topik yang dirasakan di seluruh output berita.

Ulasan Makanan
…di mana peneliti menggunakan Dataset Terbuka Yelp pada satu tugas: klasifikasi peringkat ulasan (YELPCLS), sebuah tantangan analisis sentimen tradisional yang khas dalam banyak penelitian NLP di sektor ini.

Hasil

Model tersebut dievaluasi pada GPT-2, dengan berbagai skor F1 yang dihasilkan. Penulis menemukan bahwa kerugian kinerja karena penyimpangan waktu bersifat dua arah, artinya model yang dilatih pada data terkini dapat terpengaruh oleh pengaruh data yang lebih tua, dan sebaliknya (lihat gambar di awal artikel untuk grafik). Penulis mencatat bahwa ini memiliki implikasi khusus untuk aplikasi ilmu sosial.

Secara umum, hasil menunjukkan bahwa penyimpangan waktu merusak kinerja ‘secara substansial’, dan memiliki efek yang luas pada sebagian besar tugas. Dataset yang mencakup periode yang sangat lama, seperti dekade, secara alami memperburuk masalah.

Penulis lebih lanjut mengamati bahwa penyimpangan waktu juga mempengaruhi data pelatihan yang dilabeli serta tidak dilabeli. Selain itu, upaya mereka untuk mengurangi efeknya melalui adaptasi domain (lihat di bawah) tidak secara substansial memperbaiki situasi, meskipun mereka menyatakan bahwa penyetelan data informasi dalam dataset dapat membantu sampai batas tertentu.

Kesimpulan

Peneliti mengkonfirmasi temuan sebelumnya bahwa solusi yang telah disarankan sebelumnya yang melibatkan adaptasi domain (DAPT, di mana pengaturan dibuat untuk disparitas data) dan adaptasi waktu (di mana data dipilih berdasarkan periode waktu) tidak banyak membantu mengatasi masalah.

Makalah tersebut menyimpulkan*:

‘Eksperimen kami mengungkapkan variasi yang cukup besar dalam degradasi waktu di seluruh tugas, lebih dari yang ditemukan dalam studi sebelumnya. Temuan ini memotivasi studi lanjutan tentang penyimpangan waktu di seluruh aplikasi NLP, pertimbangannya dalam evaluasi benchmark, dan kewaspadaan bagi praktisi yang dapat memantau kinerja sistem langsung seiring waktu.

‘Terutama, kami mengamati bahwa pelatihan lanjutan LM pada data yang sejalan waktu tidak memiliki efek yang signifikan, memotivasi penelitian lebih lanjut untuk menemukan metode adaptasi waktu yang efektif yang kurang mahal daripada pengumpulan dataset yang dilabeli/beranotasi seiring waktu.’

Penulis menyarankan bahwa penelitian lebih lanjut tentang pembelajaran kontinu, di mana data secara terus-menerus diperbarui, mungkin berguna dalam hal ini, dan bahwa konsep drift, dan metode lain untuk mendeteksi pergeseran tugas dapat menjadi bantuan yang berguna untuk memperbarui dataset.

* Konversi saya dari kutipan inline ke tautan.