Apakah GPT-4 Akan Mengantarkan Kita Lebih Dekat ke Revolusi AI yang Sebenarnya?

Sudah hampir tiga tahun sejak GPT-3 diperkenalkan, pada bulan Mei 2020. Sejak saat itu, model generasi teks AI telah menarik banyak perhatian karena kemampuannya untuk menciptakan teks yang terlihat dan terdengar seperti ditulis oleh manusia. Sekarang tampaknya iterasi berikutnya dari perangkat lunak, GPT-4, sudah di ambang pintu, dengan perkiraan tanggal rilis pada awal 2023.

Meskipun sifatnya yang sangat dinantikan, detail tentang GPT-4 masih cukup samar. OpenAI, perusahaan di balik GPT-4, belum secara terbuka mengungkapkan banyak informasi tentang model baru, seperti fitur atau kemampuannya. Namun, kemajuan terbaru di bidang AI, terutama mengenai Pemrosesan Bahasa Alami (NLP), mungkin menawarkan beberapa petunjuk tentang apa yang bisa kita harapkan dari GPT-4.

Apa itu GPT?

Sebelum memasuki spesifik, berguna untuk pertama-tama membangun dasar tentang apa itu GPT. GPT adalah singkatan dari Generative Pre-trained Transformer dan mengacu pada model jaringan neural deep-learning yang dilatih pada data yang tersedia dari internet untuk menciptakan volume besar teks yang dihasilkan mesin. GPT-3 adalah generasi ketiga dari teknologi ini dan salah satu model generasi teks AI yang paling maju yang saat ini tersedia.

Bayangkan GPT-3 beroperasi sedikit seperti asisten suara, seperti Siri atau Alexa, hanya dalam skala yang jauh lebih besar. Alih-alih meminta Alexa untuk memutar lagu favorit Anda atau memiliki Siri mengetik teks Anda, Anda bisa meminta GPT-3 untuk menulis sebuah buku elektronik dalam beberapa menit atau menghasilkan 100 ide posting media sosial dalam waktu kurang dari satu menit. Yang perlu dilakukan pengguna hanyalah memberikan prompt, seperti, “Tulislah artikel 500 kata tentang pentingnya kreativitas.” Selama promptnya jelas dan spesifik, GPT-3 dapat menulis hampir semua yang Anda minta.

Sejak dirilis ke publik, GPT-3 telah menemukan banyak aplikasi bisnis. Perusahaan menggunakan GPT-3 untuk ringkasan teks, terjemahan bahasa, generasi kode, dan otomatisasi skala besar hampir semua tugas penulisan.

Namun, meskipun GPT-3 sangat mengesankan dalam kemampuannya untuk menciptakan teks yang sangat mirip dengan yang ditulis manusia, itu masih jauh dari sempurna. Masalah cenderung muncul ketika diminta untuk menulis potongan yang lebih panjang, terutama ketika datang ke topik yang kompleks yang memerlukan wawasan. Misalnya, prompt untuk menghasilkan kode komputer untuk sebuah situs web mungkin mengembalikan kode yang benar tetapi suboptimal, sehingga seorang pengkode manusia masih perlu memasuki dan memperbaiki. Ini adalah masalah serupa dengan dokumen teks besar: semakin besar volume teks, semakin mungkin kesalahan – terkadang lucu – akan muncul yang perlu diperbaiki oleh seorang penulis manusia.

Singkatnya, GPT-3 bukanlah pengganti lengkap untuk penulis atau pengkode manusia, dan tidak boleh dipikirkan sebagai satu. Sebaliknya, GPT-3 harus dipandang sebagai asisten penulisan, yang dapat menyelamatkan orang banyak waktu ketika mereka perlu menghasilkan ide posting blog atau kerangka kasar untuk salinan iklan atau rilis pers.

Lebih banyak parameter = lebih baik?

Salah satu hal yang perlu dipahami tentang model AI adalah bagaimana mereka menggunakan parameter untuk membuat prediksi. Parameter dari model AI mendefinisikan proses pembelajaran dan memberikan struktur untuk output. Jumlah parameter dalam model AI umumnya digunakan sebagai ukuran kinerja. Semakin banyak parameter, semakin kuat, halus, dan dapat diprediksi modelnya, setidaknya menurut hipotesis penskalaan.

Misalnya, ketika GPT-1 dirilis pada 2018, itu memiliki 117 juta parameter. GPT-2, dirilis setahun kemudian, memiliki 1,2 miliar parameter, sedangkan GPT-3 meningkatkan jumlahnya lebih tinggi menjadi 175 miliar parameter. Menurut sebuah wawancara Agustus 2021 dengan Wired, Andrew Feldman, pendiri dan CEO Cerebras, sebuah perusahaan yang bermitra dengan OpenAI, menyebutkan bahwa GPT-4 akan memiliki sekitar 100 triliun parameter. Ini akan membuat GPT-4 100 kali lebih kuat daripada GPT-3, lompatan kuantum dalam ukuran parameter yang, secara alami, telah membuat banyak orang sangat bersemangat.

Namun, meskipun klaim Feldman yang tinggi, ada alasan yang baik untuk berpikir bahwa GPT-4 tidak akan memiliki 100 triliun parameter. Semakin besar jumlah parameter, semakin mahal model tersebut untuk dilatih dan disempurnakan karena kebutuhan akan daya komputasi yang sangat besar.

Plus, ada lebih banyak faktor daripada hanya jumlah parameter yang menentukan efektivitas model. Ambil contoh Megatron-Turing NLG, model generasi teks yang dibangun oleh Nvidia dan Microsoft, yang memiliki lebih dari 500 miliar parameter. Meskipun ukurannya, MT-NLG tidak mendekati GPT-3 dalam hal kinerja. Singkatnya, lebih besar tidak selalu berarti lebih baik.

Kemungkinan besar, GPT-4 memang akan memiliki lebih banyak parameter daripada GPT-3, tetapi masih belum jelas apakah jumlah itu akan lebih tinggi secara signifikan. Sebaliknya, ada kemungkinan menarik lain yang OpenAI kemungkinan besar sedang mengejar, seperti model yang lebih ramping yang fokus pada perbaikan kualitatif dalam desain algoritma dan penyelarasan. Dampak pasti dari perbaikan tersebut sulit diprediksi, tetapi yang diketahui adalah bahwa model yang lebih ramping dapat mengurangi biaya komputasi melalui apa yang disebut komputasi kondisional, yaitu tidak semua parameter dalam model AI akan diaktifkan sepanjang waktu, mirip dengan cara kerja neuron di otak manusia.

Jadi, apa yang bisa GPT-4 lakukan?

Sampai OpenAI mengeluarkan pernyataan baru atau bahkan merilis GPT-4, kita hanya bisa berspekulasi tentang bagaimana itu akan berbeda dari GPT-3. Terlepas dari itu, kita bisa membuat beberapa prediksi

Meskipun masa depan pengembangan deep-learning AI adalah multimodal, GPT-4 kemungkinan besar akan tetap berbasis teks saja. Sebagai manusia, kita hidup di dunia multisensorik yang dipenuhi dengan berbagai input audio, visual, dan teks. Oleh karena itu, tidak bisa dihindari bahwa pengembangan AI akhirnya akan menghasilkan model multimodal yang dapat menggabungkan berbagai input.

Namun, model multimodal yang baik jauh lebih sulit dirancang daripada model berbasis teks saja. Teknologi itu belum ada dan berdasarkan apa yang kita ketahui tentang batasan ukuran parameter, kemungkinan besar OpenAI fokus pada memperluas dan memperbaiki model berbasis teks.

Juga kemungkinan bahwa GPT-4 akan kurang bergantung pada prompting yang presisi. Salah satu kelemahan GPT-3 adalah bahwa prompt teks perlu ditulis dengan hati-hati untuk mendapatkan hasil yang diinginkan. Ketika prompt tidak ditulis dengan baik, Anda bisa mendapatkan output yang tidak benar, beracun, atau bahkan mencerminkan pandangan ekstremis. Ini adalah bagian dari apa yang dikenal sebagai “masalah penyelarasan” dan mengacu pada tantangan dalam membuat model AI yang sepenuhnya memahami niat pengguna. Dengan kata lain, model AI tidak selaras dengan tujuan atau niat pengguna. Karena model AI dilatih menggunakan dataset teks dari internet, sangat mudah bagi bias manusia, kebohongan, dan prasangka untuk masuk ke dalam output teks.

Namun, ada alasan yang baik untuk percaya bahwa pengembang membuat kemajuan pada masalah penyelarasan. Optimisme ini datang dari beberapa kemajuan dalam pengembangan InstructGPT, versi lebih maju dari GPT-3 yang dilatih pada umpan balik manusia untuk mengikuti instruksi dan niat pengguna lebih dekat. Hakim manusia menemukan bahwa InstructGPT jauh kurang bergantung pada prompting yang baik daripada GPT-3.

Namun, perlu dicatat bahwa tes ini hanya dilakukan dengan karyawan OpenAI, sebuah grup yang cukup homogen yang mungkin tidak banyak berbeda dalam gender, agama, atau pandangan politik. Kemungkinan besar GPT-4 akan menjalani pelatihan yang lebih beragam yang akan meningkatkan penyelarasan untuk berbagai grup, meskipun seberapa besar masih belum jelas.

Apakah GPT-4 akan menggantikan manusia?

Meskipun janji GPT-4, tidak mungkin bahwa itu akan sepenuhnya menggantikan kebutuhan akan penulis dan pengkode manusia. Masih banyak pekerjaan yang harus dilakukan pada semua hal, dari optimasi parameter hingga multimodalitas hingga penyelarasan. Mungkin akan memakan waktu beberapa tahun sebelum kita melihat generator teks yang dapat mencapai pemahaman manusia yang sebenarnya tentang kompleksitas dan nuansa pengalaman kehidupan nyata.

Namun, masih ada alasan yang baik untuk bersemangat tentang kedatangan GPT-4. Optimasi parameter – bukan hanya pertumbuhan parameter – kemungkinan besar akan menghasilkan model AI yang memiliki daya komputasi jauh lebih besar daripada pendahulunya. Dan penyelarasan yang diperbaiki kemungkinan besar akan membuat GPT-4 jauh lebih ramah pengguna.

Selain itu, kita masih berada di awal pengembangan dan adopsi alat AI. Lebih banyak kasus penggunaan teknologi ini terus ditemukan, dan ketika orang mendapatkan kepercayaan dan kenyamanan dalam menggunakan AI di tempat kerja, hampir pasti kita akan melihat adopsi alat AI yang luas di hampir semua sektor bisnis dalam beberapa tahun mendatang.