Kecerdasan Buatan
Apa Itu Halusinasi LLM? Penyebab, Kepedulian Etis, & Pencegahan
Model bahasa besar (LLM) adalah sistem kecerdasan buatan yang mampu menganalisis dan menghasilkan teks seperti manusia. Tapi mereka punya masalah – LLM berhalusinasi, yaitu mengarang-ngarang. Halusinasi LLM membuat peneliti khawatir dengan kemajuan di bidang ini karena jika peneliti tidak dapat mengontrol hasil model, maka mereka tidak dapat membangun sistem kritis untuk melayani umat manusia. Lebih lanjut tentang ini nanti.
Umumnya, LLM menggunakan sejumlah besar data pelatihan dan algoritma pembelajaran yang kompleks untuk menghasilkan keluaran yang realistis. Dalam beberapa kasus, digunakan pembelajaran dalam konteks untuk melatih model ini hanya menggunakan beberapa contoh. LLM menjadi semakin populer di berbagai area aplikasi mulai dari terjemahan mesin, analisis sentimen, bantuan AI virtual, anotasi gambar, pemrosesan bahasa alami, Dll
Terlepas dari sifat mutakhir LLM, mereka masih rentan terhadap bias, kesalahan, dan halusinasi. Yann LeCun, Kepala Ilmuwan AI saat ini di Meta, baru-baru ini menyebutkan kelemahan utama dalam LLM yang menyebabkan halusinasi: “Model bahasa besar tidak memiliki gagasan tentang realitas mendasar yang dijelaskan oleh bahasa. Sistem tersebut menghasilkan teks yang terdengar bagus, tata bahasa, dan semantik, tetapi mereka tidak benar-benar memiliki tujuan selain hanya memuaskan konsistensi statistik dengan prompt”.
Halusinasi di LLM
Image by Gerd Altmann dari Pixabay
Halusinasi mengacu pada model yang menghasilkan output yang benar secara sintaksis dan semantik tetapi terputus dari kenyataan, dan berdasarkan asumsi yang salah. Halusinasi adalah salah satunya masalah etika utama LLM, dan dapat menimbulkan konsekuensi berbahaya karena pengguna tanpa pengetahuan domain yang memadai mulai terlalu mengandalkan model bahasa yang semakin meyakinkan ini.
Tingkat halusinasi tertentu tidak dapat dihindari di semua LLM autoregresif. Misalnya, seorang model dapat mengaitkan kutipan palsu dengan selebriti yang tidak pernah disebutkan. Mereka mungkin menegaskan sesuatu tentang topik tertentu yang secara faktual salah atau mengutip sumber yang tidak ada dalam makalah penelitian, sehingga menyebarkan informasi yang salah.
Namun, membuat model AI berhalusinasi tidak selalu berdampak buruk. Misalnya, a studi baru menyarankan para ilmuwan sedang menggali 'protein baru dengan susunan sifat yang tidak terbatas' melalui LLM yang berhalusinasi.
Apa Penyebab Halusinasi LLM?
LLM dapat berhalusinasi karena berbagai faktor, mulai dari kesalahan overfitting dalam encoding dan decoding hingga bias pelatihan.
overfitting
Image by janjf93 dari Pixabay
Overfitting adalah masalah ketika model AI terlalu cocok dengan data pelatihan. Namun, hal ini tidak dapat sepenuhnya mewakili keseluruhan masukan yang mungkin ditemui, yaitu, ia gagal untuk menggeneralisasi kekuatan prediktifnya ke data baru yang tidak terlihat. Overfitting dapat menyebabkan model menghasilkan konten halusinasi.
Encoding dan Decoding Kesalahan
Image by Geralt dari Pixabay
Jika ada kesalahan dalam penyandian dan penguraian kode teks dan representasi selanjutnya, ini juga dapat menyebabkan model menghasilkan keluaran yang tidak masuk akal dan salah.
Bias Pelatihan
Image by Quince Kreatif dari Pixabay
Faktor lain adalah adanya bias tertentu dalam data pelatihan, yang dapat menyebabkan model memberikan hasil yang mewakili bias tersebut daripada sifat sebenarnya dari data. Ini mirip dengan kurangnya keragaman dalam data pelatihan, yang membatasi kemampuan model untuk menggeneralisasi data baru.
Struktur kompleks LLM membuatnya cukup menantang bagi peneliti dan praktisi AI untuk mengidentifikasi, menafsirkan, dan memperbaiki penyebab halusinasi yang mendasarinya.
Kekhawatiran Etis Halusinasi LLM
LLM dapat mengabadikan dan memperkuat bias berbahaya melalui halusinasi dan, pada gilirannya, dapat berdampak negatif pada pengguna dan memiliki konsekuensi sosial yang merugikan. Beberapa masalah etika yang paling penting tercantum di bawah ini:
Konten yang Diskriminasi dan Beracun
Image by ar130405 dari Pixabay
Karena data pelatihan LLM seringkali penuh dengan stereotip sosiokultural karena bias yang melekat dan kurangnya keragaman. LLM dapat, dengan demikian, menghasilkan dan memperkuat ide-ide berbahaya ini terhadap kelompok yang kurang beruntung dalam masyarakat.
Mereka dapat menghasilkan konten yang diskriminatif dan penuh kebencian ini berdasarkan ras, jenis kelamin, agama, etnis, dll.
Masalah Privasi
Image by Jan sayang dari Pixabay
LLM dilatih pada korpus pelatihan besar-besaran yang seringkali mencakup informasi pribadi individu. Ada kasus di mana model seperti itu ada melanggar privasi orang. Mereka dapat membocorkan informasi spesifik seperti nomor jaminan sosial, alamat rumah, nomor ponsel, dan detail medis.
Misinformasi dan Disinformasi
Image by Geralt dari Pixabay
Model bahasa dapat menghasilkan konten mirip manusia yang tampaknya akurat tetapi sebenarnya salah dan tidak didukung oleh bukti empiris. Ini bisa saja tidak disengaja, mengarah ke misinformasi, atau dapat memiliki niat jahat di baliknya untuk menyebarkan disinformasi secara sengaja. Jika hal ini dibiarkan, dapat menciptakan tren sosial-budaya-ekonomi-politik yang merugikan.
Mencegah Halusinasi LLM
Image by tiga23 dari Pixabay
Peneliti dan praktisi mengambil berbagai pendekatan untuk mengatasi masalah halusinasi di LLM. Ini termasuk meningkatkan keragaman data pelatihan, menghilangkan bias yang melekat, menggunakan teknik regularisasi yang lebih baik, dan menggunakan pelatihan permusuhan dan pembelajaran penguatan, antara lain:
- Mengembangkan teknik regularisasi yang lebih baik adalah inti dari mengatasi halusinasi. Mereka membantu mencegah overfitting dan masalah lain yang menyebabkan halusinasi.
- Augmentasi data dapat mengurangi frekuensi halusinasi, yang dibuktikan dengan a penelitian. Augmentasi data melibatkan penambahan set pelatihan dengan menambahkan token acak di mana saja dalam kalimat. Ini menggandakan ukuran set pelatihan dan menyebabkan penurunan frekuensi halusinasi.
- OpenAI dan Google's DeepMind mengembangkan teknik yang disebut pembelajaran penguatan dengan umpan balik manusia (RLHF) untuk mengatasi masalah halusinasi ChatGPT. Ini melibatkan evaluator manusia yang sering meninjau tanggapan model dan memilih yang paling sesuai untuk permintaan pengguna. Umpan balik ini kemudian digunakan untuk menyesuaikan perilaku model. Ilya Sutskever, kepala ilmuwan OpenAI, baru-baru ini menyebutkan bahwa pendekatan ini bisa berpotensi menyelesaikan halusinasi di ChatGPT: “Saya sangat berharap bahwa dengan hanya meningkatkan pembelajaran penguatan berikutnya dari langkah umpan balik manusia, kita dapat mengajarkannya untuk tidak berhalusinasi”.
- Mengidentifikasi konten halusinasi untuk digunakan sebagai contoh pelatihan di masa mendatang juga merupakan metode yang digunakan untuk mengatasi halusinasi. A teknik baru dalam hal ini mendeteksi halusinasi pada tingkat token dan memprediksi apakah setiap token dalam output berhalusinasi. Ini juga mencakup metode pembelajaran detektor halusinasi tanpa pengawasan.
Sederhananya, halusinasi LLM semakin memprihatinkan. Dan terlepas dari upaya tersebut, masih banyak pekerjaan yang harus dilakukan untuk mengatasi masalah tersebut. Kompleksitas model ini berarti umumnya menantang untuk mengidentifikasi dan memperbaiki penyebab halusinasi yang melekat dengan benar.
Namun, dengan penelitian dan pengembangan lanjutan, mengurangi halusinasi dalam LLM dan mengurangi konsekuensi etisnya adalah mungkin.
Jika Anda ingin mempelajari lebih lanjut tentang LLM dan teknik pencegahan yang sedang dikembangkan untuk memperbaiki halusinasi LLM, lihat bersatu.ai untuk memperluas pengetahuan Anda.
