Model Penulisan Generatif Berbasis AI Sering ‘Menyalin dan Menempel’ Data Sumber

Penulis drama dan pengusaha Amerika Wilson Mizner sering dikutip sebagai berkata ‘Ketika Anda mencuri dari satu penulis, itu adalah plagiarisme; jika Anda mencuri dari banyak, itu adalah penelitian’.

Demikian pula, asumsi sekitar generasi baru sistem penulisan kreatif berbasis AI adalah bahwa jumlah data yang besar yang diberikan kepada mereka pada tahap pelatihan telah menghasilkan abstraksi yang sebenarnya dari konsep dan ide tingkat tinggi; bahwa sistem ini memiliki kebijaksanaan yang diperoleh dari ribuan penulis yang berkontribusi, dari mana AI dapat merumuskan penulisan yang inovatif dan asli; dan bahwa mereka yang menggunakan sistem tersebut dapat yakin bahwa mereka tidak secara tidak sengaja melakukan plagiarisme-by-proxy.

Ini adalah asumsi yang ditantang oleh sebuah makalah baru dari konsorsium penelitian (termasuk divisi penelitian AI Facebook dan Microsoft ), yang menemukan bahwa model bahasa generatif pembelajaran mesin seperti seri GPT ‘terkadang menyalin bahkan kalimat yang sangat panjang’ ke dalam output yang seharusnya asli, tanpa atribusi.

Dalam beberapa kasus, penulis mencatat, GPT-2 akan menduplikasi lebih dari 1.000 kata dari set pelatihan dalam outputnya.

Makalah tersebut berjudul Seberapa banyak model bahasa menyalin dari data pelatihan mereka? Mengevaluasi kebaruan linguistik dalam generasi teks menggunakan RAVEN, dan merupakan kolaborasi antara Universitas Johns Hopkins, Microsoft Research, Universitas New York, dan Facebook AI Research.

RAVEN

Studi ini menggunakan pendekatan baru yang disebut RAVEN (RAtingVErbalNovelty), sebuah akronim yang telah diubah untuk mencerminkan burung villain dalam sebuah puisi klasik:

‘Akronim ini mengacu pada “The Raven” oleh Edgar Allan Poe, di mana narator bertemu dengan seekor burung gagak misterius yang berteriak “Nevermore!” berulang-ulang. Narator tidak bisa memastikan apakah burung gagak hanya mengulangi apa yang didengarnya dari manusia, atau jika ia membuat ucapan sendiri (mungkin dengan menggabungkan never dan more)—ambiguitas yang sama yang ditangani oleh makalah kami.’

Temuan dari makalah baru ini datang dalam konteks pertumbuhan besar untuk sistem penulisan konten AI yang berusaha menggantikan tugas penyuntingan ‘sederhana’, dan bahkan untuk menulis konten panjang. Salah satu sistem menerima $21 juta dalam pendanaan seri A awal minggu ini.

Peneliti mencatat bahwa ‘GPT-2 terkadang menduplikasi kalimat pelatihan yang lebih dari 1.000 kata panjang.‘ (penekanan mereka), dan bahwa sistem bahasa generatif mempropagasi kesalahan linguistik dalam data sumber.

Model bahasa yang dipelajari di bawah RAVEN adalah seri GPT hingga GPT-2 (penulis tidak memiliki akses ke GPT-3 pada saat itu), Transformer, Transformer-XL, dan LSTM.

Kebaruan

Makalah tersebut mencatat bahwa GPT-2 menciptakan infleksi gaya Bush 2 seperti ‘Swissified’, dan turunan seperti ‘IKEA-ness’, menciptakan kata-kata baru (yang tidak muncul dalam data pelatihan GPT-2) berdasarkan prinsip linguistik yang diperoleh dari ruang dimensi yang lebih tinggi selama pelatihan.

Hasilnya juga menunjukkan bahwa ‘74% kalimat yang dihasilkan oleh Transformer-XL memiliki struktur sintaksis yang tidak ada dalam kalimat pelatihan’, menunjukkan, seperti yang dinyatakan oleh penulis, ‘model bahasa neural tidak hanya mengingat; sebaliknya mereka menggunakan proses produktif yang memungkinkan mereka untuk menggabungkan bagian yang familiar dengan cara yang baru.’

Jadi secara teknis, generalisasi dan abstraksi seharusnya menghasilkan teks yang inovatif dan baru.

Penyalinan Data Mungkin Menjadi Masalah

Makalah tersebut menyatakan bahwa kutipan panjang dan verbatim yang dihasilkan oleh sistem NLG dapat menjadi ‘terbakar’ ke dalam model AI karena teks sumber asli diulangi beberapa kali dalam dataset yang tidak dihilangkan duplikatnya.

Meskipun proyek penelitian lain menemukan bahwa duplikasi teks lengkap dapat terjadi bahkan jika teks sumber hanya muncul sekali dalam dataset, penulis mencatat bahwa proyek tersebut memiliki arsitektur konseptual yang berbeda dari sistem AI pembuat konten pada umumnya.

Penulis juga mengamati bahwa mengubah komponen decoding dalam sistem generasi bahasa dapat meningkatkan kebaruan, tetapi menemukan dalam tes bahwa hal ini terjadi dengan biaya kualitas output.

Masalah lebih lanjut muncul karena dataset yang memicu algoritma pembuatan konten semakin besar. Selain memperburuk masalah sekitar keterjangkauan dan viabilitas pra-pengolahan data, serta jaminan kualitas dan penghilangan duplikat data, banyak kesalahan dasar tetap dalam data sumber, yang kemudian menjadi dipropagasi dalam output konten oleh AI.

Penulis mencatat*:

‘Peningkatan ukuran set pelatihan baru-baru ini membuatnya sangat penting untuk memeriksa kebaruan karena besarnya set pelatihan dapat menghancurkan intuisi kita tentang apa yang diharapkan terjadi secara alami. Misalnya, beberapa pekerjaan terkenal dalam bahasa akuisisi bergantung pada asumsi bahwa bentuk kata kerja tidak teratur yang teratur (misalnya, becomed, teached) tidak muncul dalam pengalaman pembelajar, sehingga jika pembelajar menghasilkan kata-kata tersebut, mereka harus baru bagi pembelajar.

‘Namun, ternyata bahwa, untuk semua 92 kata kerja tidak teratur dasar dalam bahasa Inggris, bentuk tidak teratur yang salah muncul dalam set pelatihan GPT-2.’

Lebih Banyak Kurasi Data Diperlukan

Makalah tersebut menyatakan bahwa perlu lebih banyak perhatian pada kebaruan dalam formulasi sistem bahasa generatif, dengan penekanan khusus pada memastikan bahwa bagian ‘denganheld’ dari data (bagian data sumber yang disisihkan untuk menguji seberapa baik algoritma telah menilai tubuh data utama) sesuai untuk tugas.

‘Dalam pembelajaran mesin, sangat penting untuk mengevaluasi model pada set tes yang dihilangkan. Karena sifat terbuka dari generasi teks, teks yang dihasilkan oleh model mungkin disalin dari set pelatihan, dalam hal ini menggunakan data tersebut untuk mengevaluasi model (misalnya, untuk kohesi atau gramatikalitas) tidak valid.’

Penulis juga menyatakan bahwa lebih banyak perhatian diperlukan dalam produksi model bahasa karena efek Eliza, sebuah sindrom yang diidentifikasi pada 1966 yang mengidentifikasi “kecenderungan orang untuk membaca lebih banyak pemahaman daripada yang seharusnya ke dalam string simbol—terutama kata-kata—yang disusun oleh komputer”.

* Konversi saya dari kutipan inline ke tautan