GPT-2, Pembangkit Teks Kecerdasan Buatan Dirilis Secara Penuh

Seperti TheNextWeb (TNW) melaporkan, OpenAI, organisasi nirlaba di balik sejumlah proyek kecerdasan buatan telah menerbitkan model terakhir dalam rilis bertahap yang direncanakan untuk GPT-2, sebuah pembangkit teks yang telah menimbulkan perdebatan sejak pengumuman rilisnya pada Februari.

Berdasarkan makalah penelitian OpenAI yang berjudul Language Models are Unsupervised Multitask Learners, GPT-2 menggunakan pembelajaran mesin untuk menghasilkan teks baru berdasarkan input terbatas. Artinya, pengguna dapat mengetikkan kalimat atau dua kalimat tentang subjek apa pun dan pembangkit AI akan menghasilkan teks yang terkait dengan input asli. Pada dasarnya, seperti yang dicatat TNW, tidak seperti kebanyakan ‘pembangkit teks’ yang tidak mengeluarkan string yang sudah ditulis sebelumnya. GPT-2 membuat teks yang tidak ada sebelumnya.

Dalam tweetnya, Scott B. Weingart, direktur program Perpustakaan Universitas Carnegie Mellon memberikan contoh konkret:

What is a Panther but a young lion?

An entire corridor filled entirely with people screaming.

How’s this for a happy ending? pic.twitter.com/qvPTrs790N

— Scott B. Weingart (@scott_bot) August 20, 2019

If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.

Shit. pic.twitter.com/QRoi1C3rjj

— Scott B. Weingart (@scott_bot) August 20, 2019

OpenAI awalnya khawatir tentang kemungkinan penggunaan sistem mereka yang tidak bertanggung jawab sehingga pada Februari 2019 mereka memutuskan untuk merilis GPT-2 dalam empat bagian selama delapan bulan. Seperti yang mereka jelaskan dalam blog mereka, “Karena kekhawatiran kami tentang aplikasi jahat teknologi ini, kami tidak merilis model yang dilatih. Sebagai eksperimen dalam pengungkapan yang bertanggung jawab, kami merilis model yang jauh lebih kecil untuk peneliti bereksperimen, serta makalah teknis.”

Seperti yang dijelaskan, model penuh berisi 1,5 miliar parameter. “Semakin banyak parameter yang dilatih dengan model, semakin ‘pintar’ model tersebut tampaknya – seperti manusia, latihan membuat sempurna.”

TNW mencatat bahwa awalnya OpenAI merilis model dengan 124 juta parameter yang kemudian diikuti oleh rilis dengan 355 dan 774 juta. Menurut mereka, setelah menguji model yang dirilis, “setiap iterasi menunjukkan perbaikan kemampuan yang signifikan dibandingkan dengan iterasi sebelumnya.”

Untuk mencegah penyalahgunaan OpenAI merilis model deteksi GPT-2 yang seharusnya “untuk mengatasi penyalahgunaan secara proaktif.” Menurut pengakuan mereka sendiri dalam posting blog, model deteksi ini masih memerlukan pekerjaan tambahan untuk mencapai tingkat kualitas yang telah dicapai sejauh ini dalam GPT-2 itu sendiri.

Bagi mereka yang tertarik dapat mengunduh model GPT-2 di sini di Github, memeriksa kartu model di sini, dan membaca posting blog OpenAI di sini.