Apa itu Hallusinasi LLM? Penyebab, Keprihatinan Etis, & Pencegahan

Model bahasa besar (LLM) adalah sistem kecerdasan buatan yang dapat menganalisis dan menghasilkan teks yang mirip dengan bahasa manusia. Namun, mereka memiliki masalah – LLM mengalami hallusinasi, yaitu membuat sesuatu yang tidak ada. Hallusinasi LLM telah membuat peneliti khawatir tentang kemajuan di bidang ini karena jika peneliti tidak dapat mengontrol hasil model, maka mereka tidak dapat membangun sistem kritis untuk melayani umat manusia. Lebih lanjut tentang ini nanti.

Umumnya, LLM menggunakan sejumlah besar data pelatihan dan algoritma pembelajaran yang kompleks untuk menghasilkan output yang realistis. Dalam beberapa kasus, pembelajaran dalam konteks digunakan untuk melatih model ini menggunakan hanya beberapa contoh. LLM menjadi semakin populer di berbagai bidang aplikasi, mulai dari terjemahan mesin, analisis sentimen, asisten AI virtual, anotasi gambar, pemrosesan bahasa alami, dan lain-lain.

Meskipun sifat LLM yang canggih, mereka masih rentan terhadap bias, kesalahan, dan hallusinasi. Yann LeCun, Ilmuwan Utama AI di Meta, baru-baru ini menyebutkan kelemahan utama LLM yang menyebabkan hallusinasi: “Model bahasa besar tidak memiliki gagasan tentang kenyataan yang mendasari bahasa yang digambarkannya. Sistem tersebut menghasilkan teks yang terdengar baik, secara gramatikal dan semantik, tetapi mereka tidak memiliki tujuan objektif selain hanya memuaskan konsistensi statistik dengan prompt”.

Hallusinasi dalam LLM

Gambar oleh Gerd Altmann dari Pixabay

Hallusinasi mengacu pada model yang menghasilkan output yang secara sintaksis dan semantik benar tetapi tidak terkait dengan kenyataan, dan berdasarkan asumsi yang salah. Hallusinasi adalah salah satu keprihatinan etis utama LLM, dan dapat memiliki konsekuensi yang merugikan karena pengguna tanpa pengetahuan domain yang memadai mulai mengandalkan model bahasa yang semakin meyakinkan ini.

Sebuah derajat hallusinasi yang tidak dapat dihindari di semua LLM autoregresif. Misalnya, model dapat mengatribusikan kutipan palsu kepada seorang selebriti yang tidak pernah dikatakan. Mereka mungkin menyatakan sesuatu tentang topik tertentu yang tidak benar secara faktual atau mengutip sumber yang tidak ada dalam makalah penelitian, sehingga menyebarkan informasi yang salah.

Namun, membuat model AI mengalami hallusinasi tidak selalu memiliki efek yang merugikan. Misalnya, sebuah studi baru menunjukkan bahwa para ilmuwan menemukan ‘protein baru dengan berbagai sifat’ melalui LLM yang mengalami hallusinasi.

Apa yang Menyebabkan Hallusinasi LLM?

LLM dapat mengalami hallusinasi karena berbagai faktor, mulai dari kesalahan overfitting dalam pengkodean dan pengodean hingga bias pelatihan.

Overfitting

Gambar oleh janjf93 dari Pixabay

Overfitting adalah masalah di mana model AI terlalu baik dalam memahami data pelatihan. Namun, model tersebut tidak dapat sepenuhnya mewakili seluruh rentang input yang mungkin ditemui, yaitu gagal memgeneralisasi kekuatan prediktifnya ke data baru yang tidak terlihat. Overfitting dapat menyebabkan model menghasilkan konten yang dihallusinasi.

Kesalahan Pengkodean dan Pengodean

Gambar oleh geralt dari Pixabay

Jika ada kesalahan dalam pengkodean dan pengodean teks dan representasinya, ini juga dapat menyebabkan model menghasilkan output yang tidak masuk akal dan salah.

Bias Pelatihan

Gambar oleh Quince Creative dari Pixabay

Faktor lainnya adalah kehadiran bias tertentu dalam data pelatihan, yang dapat menyebabkan model menghasilkan hasil yang mewakili bias tersebut daripada sifat sebenarnya dari data. Ini mirip dengan kurangnya keanekaragaman dalam data pelatihan, yang membatasi kemampuan model untuk memgeneralisasi ke data baru.

Struktur kompleks LLM membuatnya cukup menantang bagi peneliti AI dan praktisi untuk mengidentifikasi, menafsirkan, dan memperbaiki penyebab dasar hallusinasi.

Keprihatinan Etis Hallusinasi LLM

LLM dapat memperkuat dan memperkuat bias yang merugikan melalui hallusinasi dan dapat, pada gilirannya, memiliki dampak sosial yang merugikan. Beberapa keprihatinan etis yang paling penting adalah:

Konten Diskriminatif dan Toksik

Gambar oleh ar130405 dari Pixabay

Karena data pelatihan LLM sering kali penuh dengan stereotip sosio-budaya karena bias dan kurangnya keanekaragaman. LLM dapat, dengan demikian, menghasilkan dan memperkuat ide-ide berbahaya terhadap kelompok yang kurang beruntung dalam masyarakat.

Mereka dapat menghasilkan konten diskriminatif dan kebencian berdasarkan ras, jenis kelamin, agama, etnis, dan lain-lain.

Masalah Privasi

Gambar oleh JanBaby dari Pixabay

LLM dilatih pada korpus pelatihan besar yang sering kali mencakup informasi pribadi individu. Telah ada kasus di mana model tersebut telah melanggar privasi orang. Mereka dapat membocorkan informasi spesifik seperti nomor keamanan sosial, alamat rumah, nomor telepon seluler, dan rincian medis.

Informasi yang Salah dan Disinformasi

Gambar oleh geralt dari Pixabay

Model bahasa dapat menghasilkan konten yang terdengar akurat tetapi sebenarnya salah dan tidak didukung oleh bukti empiris. Ini dapat terjadi secara tidak sengaja, menyebabkan informasi yang salah, atau dapat memiliki niat jahat untuk menyebarkan disinformasi. Jika ini tidak dikontrol, dapat menciptakan tren sosial-budaya-ekonomi-politik yang merugikan.

Mencegah Hallusinasi LLM

Gambar oleh athree23 dari Pixabay

Peneliti dan praktisi mengambil berbagai pendekatan untuk menangani masalah hallusinasi dalam LLM. Ini termasuk meningkatkan keanekaragaman data pelatihan, menghilangkan bias bawaan, menggunakan teknik regularisasi yang lebih baik, dan menggunakan pelatihan adversarial dan pembelajaran penguatan, di antara lain:

• Mengembangkan teknik regularisasi yang lebih baik adalah inti dari menangani hallusinasi. Mereka membantu mencegah overfitting dan masalah lain yang menyebabkan hallusinasi.
• Augmentasi data dapat mengurangi frekuensi hallusinasi, seperti yang dibuktikan oleh sebuah studi penelitian. Augmentasi data melibatkan penambahan token acak di mana saja dalam kalimat. Ini menggandakan ukuran set data pelatihan dan menyebabkan penurunan frekuensi hallusinasi.
• OpenAI dan Google’s DeepMind mengembangkan sebuah teknik yang disebut pembelajaran penguatan dengan umpan balik manusia (RLHF) untuk menangani masalah hallusinasi ChatGPT. Ini melibatkan seorang evaluator manusia yang secara teratur meninjau respons model dan memilih yang paling sesuai untuk prompt pengguna. Umpan balik ini kemudian digunakan untuk menyesuaikan perilaku model. Ilya Sutskever, ilmuwan utama OpenAI, baru-baru ini menyebutkan bahwa pendekatan ini dapat potensial menyelesaikan hallusinasi dalam ChatGPT: “Saya cukup berharap bahwa dengan hanya meningkatkan langkah pembelajaran penguatan selanjutnya dari umpan balik manusia, kita dapat mengajarinya untuk tidak mengalami hallusinasi”..
• Mengidentifikasi konten yang dihallusinasi untuk digunakan sebagai contoh untuk pelatihan di masa depan juga merupakan metode yang digunakan untuk menangani hallusinasi. Sebuah teknik baru dalam hal ini mendeteksi hallusinasi pada tingkat token dan memprediksi apakah setiap token dalam output dihallusinasi. Ini juga mencakup metode untuk pembelajaran tak terawasi dari detektor hallusinasi.

Deteksi Hallusinasi pada Tingkat Token

Secara sederhana, hallusinasi LLM adalah kekhawatiran yang semakin meningkat. Dan meskipun upaya yang dilakukan, masih banyak pekerjaan yang perlu dilakukan untuk menangani masalah ini. Kompleksitas model ini berarti bahwa umumnya menantang untuk mengidentifikasi dan memperbaiki penyebab dasar hallusinasi dengan benar.

Namun, dengan penelitian dan pengembangan yang terus-menerus, memitigasi hallusinasi dalam LLM dan mengurangi konsekuensi etisnya adalah mungkin.

Jika Anda ingin mempelajari lebih lanjut tentang LLM dan teknik pencegahan yang sedang dikembangkan untuk memperbaiki hallusinasi LLM, kunjungi unite.ai untuk memperluas pengetahuan Anda.