Membuat Model Bahasa Gaya GPT untuk Satu Pertanyaan

Peneliti dari China telah mengembangkan metode ekonomis untuk membuat sistem Pemrosesan Bahasa Alami (NLP) gaya GPT-3 sambil menghindari biaya waktu dan uang yang semakin mahal dalam pelatihan dataset volume tinggi – tren yang semakin mengancam untuk membuat sektor AI ini hanya untuk pemain FAANG dan investor tingkat tinggi.

Kerangka kerja yang diusulkan disebut Task-Driven Language Modeling (TLM). Alih-alih melatih model besar dan kompleks pada corpus kata yang sangat besar dan ribuan label dan kelas, TLM melatih model yang jauh lebih kecil yang sebenarnya menggabungkan pertanyaan langsung ke dalam model.

Kiri, pendekatan hyperscale untuk model bahasa volume tinggi; kanan, metode TLM yang ramping untuk menjelajahi corpus bahasa besar berdasarkan topik atau pertanyaan. Sumber: https://arxiv.org/pdf/2111.04130.pdf

Secara efektif, algoritma NLP unik atau model dihasilkan untuk menjawab satu pertanyaan, bukan membuat model bahasa umum yang sangat besar dan tidak terkendali yang dapat menjawab berbagai pertanyaan.

Dalam pengujian TLM, peneliti menemukan bahwa pendekatan baru mencapai hasil yang serupa atau lebih baik daripada Model Bahasa Pra-dilatih (PLM) seperti RoBERTa-Large, dan sistem NLP hyperscale seperti OpenAI’s GPT-3, Google’s TRILLION Parameter Switch Transformer Model, Korea’s HyperClover, AI21 Labs’ Jurassic 1, dan Microsoft’s Megatron-Turing NLG 530B.

Dalam percobaan TLM atas delapan dataset klasifikasi di empat domain, penulis juga menemukan bahwa sistem ini mengurangi FLOPs (operasi titik mengambang per detik) yang diperlukan untuk pelatihan sebesar dua pesanan besarnya. Peneliti berharap TLM dapat ‘demokratisasi’ sektor yang semakin elit, dengan model NLP yang sangat besar sehingga tidak dapat dipasang secara lokal, dan sebaliknya berada di balik API OpenAI yang mahal dan terbatas, serta API Microsoft Azure.

Penulis menyatakan bahwa mengurangi waktu pelatihan sebesar dua pesanan besarnya mengurangi biaya pelatihan lebih dari 1.000 GPU selama satu hari menjadi hanya 8 GPU selama 48 jam.

Laporan baru ini berjudul NLP Dari Awal Tanpa Pelatihan Skala Besar: Kerangka Sederhana dan Efisien, dan berasal dari tiga peneliti di Universitas Tsinghua di Beijing, dan seorang peneliti dari perusahaan pengembangan AI China-based, Recurrent AI, Inc.

Jawaban yang Tidak Terjangkau

Biaya melatih model bahasa yang efektif dan umum semakin menjadi karakteristik potensial ‘batas termal’ pada seberapa jauh NLP yang akurat dan performant dapat benar-benar menyebar di budaya.

Statistik pertumbuhan aspek dalam arsitektur model NLP, dari laporan 2020 oleh A121 Labs. Sumber: https://arxiv.org/pdf/2004.08900.pdf

Pada 2019, seorang peneliti menghitung bahwa biaya melatih model XLNet (yang dilaporkan mengalahkan BERT dalam tugas NLP) selama 2,5 hari pada 512 inti di 64 perangkat adalah $61.440 USD, sedangkan GPT-3 diperkirakan memiliki biaya $12 juta untuk dilatih – 200 kali lipat dari biaya melatih pendahulunya, GPT-2 (meskipun perkiraan baru mengklaim bahwa itu dapat dilatih sekarang untuk $4.600.000 pada GPU cloud termurah).

Subset Data Berdasarkan Kebutuhan Pertanyaan

Sebaliknya, arsitektur baru yang diusulkan ini berusaha untuk mendapatkan klasifikasi akurat, label, dan generalisasi dengan menggunakan pertanyaan sebagai filter untuk mendefinisikan subset informasi dari corpus bahasa besar yang akan dilatih, bersama dengan pertanyaan, untuk memberikan jawaban pada topik terbatas.

Penulis menyatakan:

‘TLM  dipicu  oleh  dua  ide  kunci.   Pertama,  manusia menguasai tugas dengan menggunakan hanya sebagian kecil pengetahuan dunia (misalnya, siswa hanya perlu meninjau beberapa bab, di antara semua buku di dunia, untuk belajar untuk ujian). 

‘Kami menghipotesiskan bahwa ada banyak redundansi dalam corpus besar untuk tugas tertentu. Kedua, pelatihan pada data label yang diawasi jauh lebih efisien untuk kinerja hilir daripada mengoptimalkan tujuan pemodelan bahasa pada data tidak berlabel.  Berdasarkan motivasi ini, TLM menggunakan data tugas sebagai pertanyaan untuk mengambil subset kecil dari corpus umum.  Ini diikuti dengan mengoptimalkan bersama tujuan tugas yang diawasi dan tujuan pemodelan bahasa menggunakan data yang diambil dan data tugas.’

Selain membuat pelatihan model NLP yang efektif terjangkau, penulis melihat sejumlah kelebihan menggunakan model NLP yang dipicu tugas. Misalnya, peneliti dapat menikmati fleksibilitas yang lebih besar, dengan strategi kustom untuk panjang urutan, tokenisasi, pengaturan hiperparameter, dan representasi data.

Peneliti juga memprediksi pengembangan sistem hibrida di masa depan yang mempertukarkan pelatihan terbatas dari PLM (yang tidak diantisipasi dalam implementasi saat ini) dengan keunggulan yang lebih besar dan generalisasi melawan waktu pelatihan. Mereka menganggap sistem ini sebagai langkah maju untuk kemajuan metode generalisasi nol-tembakan dalam domain.

Pengujian dan Hasil

TLM diuji pada tantangan klasifikasi dalam delapan tugas atas empat domain – ilmu biomedis, berita, ulasan, dan ilmu komputer. Tugas-tugas tersebut dibagi menjadi kategori sumber daya tinggi dan rendah. Tugas sumber daya tinggi termasuk lebih dari 5.000 data tugas, seperti AGNews dan RCT, di antara lainnya; tugas sumber daya rendah termasuk ChemProt dan ACL-ARC, serta dataset deteksi berita HyperPartisan.

Peneliti mengembangkan dua set pelatihan yang disebut Corpus-BERT dan Corpus-RoBERTa, yang terakhir sepuluh kali lipat dari yang pertama. Eksperimen membandingkan Model Bahasa Pra-dilatih umum BERT (dari Google) dan RoBERTA (dari Facebook ) dengan arsitektur baru.

Makalah ini menyatakan bahwa meskipun TLM adalah metode umum, dan seharusnya lebih terbatas dalam cakupan dan keteraplikasian daripada model state-of-the-art yang lebih besar dan lebih tinggi volume, itu dapat berkinerja dekat dengan metode penyesuaian domain.

Hasil dari membandingkan kinerja TLM dengan set BERT dan RoBERTa. Hasil tersebut mencantumkan skor F1 rata-rata di atas tiga skala pelatihan yang berbeda, dan mencantumkan jumlah parameter, komputasi pelatihan total (FLOPs), dan ukuran corpus pelatihan.

Penulis menyimpulkan bahwa TLM dapat mencapai hasil yang setara atau lebih baik daripada PLM, dengan pengurangan FLOPs yang signifikan, dan hanya memerlukan 1/16 dari corpus pelatihan. Di atas skala menengah dan besar, TLM tampaknya dapat meningkatkan kinerja sebesar 0,59 dan 0,24 poin rata-rata, sambil mengurangi ukuran data pelatihan sebesar dua pesanan besarnya.

‘Hasil ini mengkonfirmasi bahwa TLM sangat akurat dan jauh lebih efisien daripada PLM. Selain itu, TLM mendapatkan kelebihan lebih besar dalam efisiensi pada skala yang lebih besar. Ini menunjukkan bahwa PLM skala yang lebih besar mungkin telah dilatih untuk menyimpan pengetahuan umum yang tidak berguna untuk tugas tertentu.’