Apakah GPT-4 Akan Membawa Kita Lebih Dekat ke Revolusi AI yang Sebenarnya?

Sudah hampir tiga tahun sejak GPT-3 diperkenalkan, pada Mei 2020. Sejak itu, model teks-generasi AI ini telah menarik banyak perhatian karena kemampuannya untuk menciptakan teks yang terlihat dan terdengar seperti ditulis oleh manusia. Sekarang, tampaknya iterasi berikutnya dari perangkat lunak ini, GPT-4, akan segera dirilis, dengan perkiraan tanggal rilis pada awal 2023.

Meskipun antisipasi yang sangat tinggi terhadap berita AI ini, detail tentang GPT-4 masih sangat samar. OpenAI, perusahaan di balik GPT-4, belum membagikan banyak informasi tentang model baru ini, seperti fitur atau kemampuannya. Namun, kemajuan terbaru di bidang AI, terutama terkait Pemrosesan Bahasa Alami (NLP), mungkin dapat memberikan beberapa petunjuk tentang apa yang dapat kita harapkan dari GPT-4.

Apa itu GPT?

Sebelum membahas detailnya, perlu untuk memahami apa itu GPT. GPT adalah singkatan dari Generative Pre-trained Transformer dan merujuk pada model jaringan saraf dalam yang dilatih pada data yang tersedia dari internet untuk menciptakan volume teks mesin yang besar. GPT-3 adalah generasi ketiga dari teknologi ini dan merupakan salah satu model teks-generasi AI yang paling canggih yang saat ini tersedia.

Bayangkan GPT-3 seperti asisten suara, seperti Siri atau Alexa, hanya dalam skala yang jauh lebih besar. Alih-alih meminta Alexa untuk memutar lagu favorit Anda atau memiliki Siri mengetik teks Anda, Anda dapat meminta GPT-3 untuk menulis sebuah buku elektronik dalam beberapa menit atau menghasilkan 100 ide posting media sosial dalam waktu kurang dari satu menit. Yang perlu dilakukan pengguna hanyalah memberikan prompt, seperti, “Tulislah artikel 500 kata tentang pentingnya kreativitas.” Selama promptnya jelas dan spesifik, GPT-3 dapat menulis hampir semua yang Anda minta.

Sejak dirilis ke publik, GPT-3 telah menemukan banyak aplikasi bisnis. Perusahaan menggunakan GPT-3 untuk ringkasan teks, terjemahan bahasa, generasi kode, dan otomatisasi skala besar hampir semua tugas penulisan.

Yang dikatakan, meskipun GPT-3 sangat mengesankan dalam kemampuannya untuk menciptakan teks yang sangat mirip dengan yang ditulis oleh manusia, itu masih jauh dari sempurna. Masalah cenderung muncul ketika diminta untuk menulis potongan yang lebih panjang, terutama ketika datang ke topik yang kompleks yang memerlukan wawasan. Misalnya, prompt untuk menghasilkan kode komputer untuk sebuah situs web mungkin mengembalikan kode yang benar tetapi suboptimal, sehingga seorang pengkode manusia masih perlu memasuki dan memperbaiki. Ini adalah masalah serupa dengan dokumen teks besar: semakin besar volume teks, semakin mungkin kesalahan – terkadang lucu – akan muncul yang perlu diperbaiki oleh seorang penulis manusia.

Singkatnya, GPT-3 bukanlah pengganti lengkap untuk penulis atau pengkode manusia, dan tidak seharusnya dipikirkan sebagai satu. Sebaliknya, GPT-3 harus dipandang sebagai asisten penulisan, yang dapat menyelamatkan orang banyak waktu ketika mereka perlu menghasilkan ide posting blog atau garis besar kasar untuk salinan iklan atau rilis pers.

Apakah lebih banyak parameter berarti lebih baik?

Satu hal yang perlu dipahami tentang model AI adalah bagaimana mereka menggunakan parameter untuk membuat prediksi. Parameter model AI mendefinisikan proses pembelajaran dan memberikan struktur untuk output. Jumlah parameter dalam model AI umumnya digunakan sebagai ukuran kinerja. Semakin banyak parameter, semakin kuat, halus, dan dapat diprediksi modelnya, setidaknya menurut hipotesis penskalaan.

Sebagai contoh, ketika GPT-1 dirilis pada 2018, itu memiliki 117 juta parameter. GPT-2, yang dirilis setahun kemudian, memiliki 1,2 miliar parameter, sementara GPT-3 meningkatkan jumlahnya menjadi 175 miliar parameter. Menurut sebuah wawancara pada Agustus 2021 dengan Wired, Andrew Feldman, pendiri dan CEO Cerebras, sebuah perusahaan yang bermitra dengan OpenAI, menyebutkan bahwa GPT-4 akan memiliki sekitar 100 triliun parameter. Ini akan membuat GPT-4 100 kali lebih kuat daripada GPT-3, sebuah lompatan kuantum dalam ukuran parameter yang, tentu saja, telah membuat banyak orang sangat bersemangat.

Namun, meskipun klaim Feldman yang tinggi, ada alasan yang baik untuk berpikir bahwa GPT-4 tidak akan memiliki 100 triliun parameter. Semakin besar jumlah parameter, semakin mahal model tersebut untuk dilatih dan disempurnakan karena jumlah daya komputasi yang sangat besar yang diperlukan.

Plus, ada faktor lain selain jumlah parameter yang menentukan efektivitas model. Ambil contoh Megatron-Turing NLG, model teks-generasi yang dibangun oleh Nvidia dan Microsoft, yang memiliki lebih dari 500 miliar parameter. Meskipun ukurannya, MT-NLG tidak mendekati GPT-3 dalam hal kinerja. Singkatnya, lebih besar tidak selalu berarti lebih baik.

Kemungkinan besar, GPT-4 akan memiliki lebih banyak parameter daripada GPT-3, tetapi masih belum jelas apakah jumlahnya akan lebih besar dari yang diperkirakan. Sebaliknya, ada kemungkinan menarik lain yang sedang dipursukan oleh OpenAI, seperti model yang lebih ramping yang fokus pada perbaikan kualitatif dalam desain algoritma dan pemelajaran. Dampak pasti dari perbaikan tersebut sulit diprediksi, tetapi yang diketahui adalah bahwa model yang lebih ramping dapat mengurangi biaya komputasi melalui apa yang disebut komputasi kondisional, yaitu tidak semua parameter dalam model AI akan diaktifkan sepanjang waktu, mirip dengan bagaimana neuron di otak manusia bekerja.

Apa yang dapat dilakukan GPT-4?

Sampai OpenAI mengeluarkan pernyataan baru atau bahkan merilis GPT-4, kita hanya dapat berspekulasi tentang bagaimana itu akan berbeda dari GPT-3. Terlepas dari itu, kita dapat membuat beberapa prediksi

Meskipun masa depan pengembangan deep-learning AI adalah multimodal, GPT-4 kemungkinan akan tetap berbasis teks saja. Sebagai manusia, kita hidup di dunia multisensorik yang dipenuhi dengan berbagai input audio, visual, dan teks. Oleh karena itu, tidak dapat dihindari bahwa pengembangan AI akan menghasilkan model multimodal yang dapat menggabungkan berbagai input.

Namun, model multimodal yang baik jauh lebih sulit dirancang daripada model berbasis teks saja. Teknologi itu belum ada dan berdasarkan apa yang kita ketahui tentang batasan ukuran parameter, kemungkinan OpenAI fokus pada memperluas dan memperbaiki model berbasis teks.

Juga kemungkinan bahwa GPT-4 akan kurang bergantung pada prompt yang tepat. Salah satu kelemahan GPT-3 adalah bahwa prompt teks perlu ditulis dengan hati-hati untuk mendapatkan hasil yang diinginkan. Ketika prompt tidak ditulis dengan baik, Anda dapat berakhir dengan output yang tidak benar, beracun, atau bahkan mencerminkan pandangan ekstrem. Ini adalah bagian dari apa yang dikenal sebagai “masalah pemelajaran” dan merujuk pada tantangan dalam menciptakan model AI yang sepenuhnya memahami niat pengguna. Dengan kata lain, model AI tidak selaras dengan tujuan atau niat pengguna. Karena model AI dilatih menggunakan dataset teks dari internet, sangat mudah bagi bias manusia, kebohongan, dan prasangka untuk masuk ke dalam output teks.

Yang dikatakan, ada alasan yang baik untuk percaya bahwa pengembang membuat kemajuan pada masalah pemelajaran. Optimisme ini datang dari beberapa kemajuan dalam pengembangan InstructGPT, versi lebih maju dari GPT-3 yang dilatih pada umpan balik manusia untuk mengikuti instruksi dan niat pengguna lebih dekat. Hakim manusia menemukan bahwa InstructGPT jauh kurang bergantung pada prompt yang baik daripada GPT-3.

Namun, perlu dicatat bahwa tes ini hanya dilakukan dengan karyawan OpenAI, sebuah grup yang cukup homogen yang mungkin tidak banyak berbeda dalam gender, agama, atau pandangan politik. Kemungkinan besar GPT-4 akan menjalani pelatihan yang lebih beragam yang akan memperbaiki pemelajaran untuk berbagai kelompok, meskipun seberapa besar masih belum jelas.

Apakah GPT-4 akan menggantikan manusia?

Meskipun janji GPT-4, tidak mungkin bahwa itu akan sepenuhnya menggantikan kebutuhan akan penulis dan pengkode manusia. Masih banyak pekerjaan yang harus dilakukan pada semua hal, dari optimasi parameter hingga multimodalitas hingga pemelajaran. Mungkin akan memakan waktu beberapa tahun sebelum kita melihat generator teks yang dapat mencapai pemahaman manusia yang sebenarnya tentang kompleksitas dan nuansa pengalaman kehidupan nyata.

Terlepas dari itu, ada alasan yang baik untuk bersemangat tentang kedatangan GPT-4. Optimasi parameter – bukan pertumbuhan parameter – kemungkinan akan menghasilkan model AI yang memiliki daya komputasi yang jauh lebih besar daripada pendahulunya. Dan pemelajaran yang diperbaiki kemungkinan akan membuat GPT-4 jauh lebih ramah pengguna.

Di samping itu, kita masih berada di awal pengembangan dan adopsi alat AI. Lebih banyak kasus penggunaan teknologi ini terus ditemukan, dan ketika orang-orang memperoleh kepercayaan dan kenyamanan dengan menggunakan AI di tempat kerja, hampir pasti kita akan melihat adopsi alat AI yang luas di hampir semua sektor bisnis dalam beberapa tahun mendatang.