GPT-2, Generator Teks Kecerdasan Buatan Dirilis Secara Penuh

As TheNextWeb (TNW) melaporkan, OpenAI, organisasi nirlaba di belakang sejumlah proyek kecerdasan buatan baru saja menerbitkan model terakhir dalam rilis bertahap yang direncanakan untuk GPT-2, generator teks yang menyebabkan cukup perdebatan sejak rilis yang diumumkan pada bulan Februari.

Berdasarkan makalah penelitian OpenAI berjudul Model Bahasa adalah Pelajar Multitask Tanpa Pengawasan, "GPT-2 menggunakan pembelajaran mesin untuk menghasilkan teks baru berdasarkan masukan terbatas.” Artinya, pengguna dapat mengetikkan satu atau dua kalimat tentang subjek apa pun dan generator AI akan menghasilkan teks yang ada hubungannya dengan masukan asli. Intinya, seperti yang dicatat TNW, tidak seperti kebanyakan 'generator teks', generator ini tidak menghasilkan string yang sudah ditulis sebelumnya. GPT-2 membuat teks yang sebelumnya tidak ada.”

Dalam tweetnya, Scott B. Weingart, direktur program Perpustakaan Universitas Carnegie Mellon memberikan contoh nyata:

Apa itu Panther selain singa muda?

Seluruh koridor dipenuhi orang-orang yang berteriak.

Bagaimana ini untuk akhir yang bahagia? pic.twitter.com/qvPTrs790N

— Scott B.Weingart (@scott_bot) 20 Agustus 2019

Jika kematian, dalam waktu yang tidak jelas dan jauh,
Memukul saya masih saat saya tidur, jika saya masih bermimpi:
Apakah itu kedamaian saya dengan keabadian yang dihabiskan?
[...]
Tapi saya khawatir itu tidak akan menjadi kedamaian atau istirahat
Sampai bintang-bintang memberi saya cahaya penuh cahaya mereka
Untuk melihat semua kekhawatiran dan kesengsaraanku dalam sekejap.

Kotoran. pic.twitter.com/QRoi1C3rjj

— Scott B.Weingart (@scott_bot) 20 Agustus 2019

OpenAI awalnya khawatir tentang kemungkinan penggunaan berbahaya dari sistem mereka, jadi kembalilah Februari 2019 itu memutuskan untuk merilis GPT-2 dalam empat bagian selama delapan bulan. Seperti yang mereka jelaskan di blog mereka, “Karena kekhawatiran kami tentang aplikasi berbahaya dari teknologi ini, kami tidak merilis model yang sudah dilatih. Sebagai percobaan dalam pengungkapan yang bertanggung jawab, kami malah merilis model yang jauh lebih kecil untuk dicoba oleh para peneliti, serta makalah teknis.

Seperti yang dijelaskan, model lengkap berisi 1.5 miliar parameter. “Semakin banyak parameter yang digunakan model untuk dilatih, semakin 'pintar' tampaknya – seperti halnya manusia, latihan menjadi sempurna.”

TNW mencatat itu pada awalnya OpenAI merilis model dengan 124 juta parameter kemudian diikuti rilis dengan 355 dan 774 juta. Menurut mereka, setelah menguji model yang dirilis, "setiap iterasi menunjukkan peningkatan kemampuan yang signifikan dibandingkan iterasi sebelumnya."

Untuk mencegah penyalahgunaan, OpenAI merilis model deteksi GPT-2 yang seharusnya "untuk memerangi penyalahgunaan terlebih dahulu". Untuk pengakuan mereka sendiri di a posting blog, model pendeteksian ini masih memerlukan pekerjaan tambahan untuk mencapai tingkat kualitas yang dicapai sejauh ini di GPT-2 itu sendiri.

Yang berminat bisa unduh model GPT-2 di sini di Github, lihat kartu modelnya di sini, dan baca posting blog OpenAI di sini.