Menganalisis Chatbot yang Depresi dan Alkoholik

Sebuah studi baru dari Tiongkok telah menemukan bahwa beberapa chatbot populer, termasuk chatbot domain terbuka dari Facebook, Microsoft (MSFT ), dan Google, menunjukkan ‘masalah kesehatan mental yang parah’ ketika diuji menggunakan tes penilaian kesehatan mental standar, dan bahkan menunjukkan tanda-tanda masalah minum alkohol.

Chatbot yang dievaluasi dalam studi ini adalah Facebook’s Blender*; Microsoft’s DialoGPT; Baidu’s Plato; dan DialoFlow, sebuah kolaborasi antara universitas-universitas Tiongkok, WeChat, dan Tencent Inc.

Diuji untuk bukti depresi patologis, kecemasan, ketergantungan alkohol, dan kemampuan untuk menunjukkan empati, chatbot yang dipelajari menghasilkan hasil yang mengkhawatirkan; semuanya mendapatkan skor di bawah rata-rata untuk empati, sedangkan setengah dari mereka dievaluasi sebagai pecandu alkohol.

Hasil untuk empat chatbot di empat metrik kesehatan mental. Dalam ‘single’, percakapan baru dimulai untuk setiap pertanyaan; dalam ‘multi’, semua pertanyaan diajukan dalam satu percakapan, untuk menilai pengaruh persistensi sesi. Sumber: https://arxiv.org/pdf/2201.05382.pdf

Dalam tabel hasil di atas, BA=’Di bawah rata-rata’; P=’Positif’; N=’Normal’; M=’Moderat’; MS=”Moderat hingga parah”; S=”Parah”. Makalah ini menyatakan bahwa hasil ini menunjukkan bahwa kesehatan mental dari semua chatbot yang dipilih berada dalam kategori ‘parah’.

Laporan ini menyatakan:

‘Hasil eksperimental menunjukkan bahwa ada masalah kesehatan mental yang parah pada semua chatbot yang dievaluasi. Kami percaya bahwa ini disebabkan oleh pengabaian risiko kesehatan mental selama pembangunan dataset dan prosedur pelatihan model. Kondisi kesehatan mental yang buruk dari chatbot dapat menghasilkan dampak negatif pada pengguna dalam percakapan, terutama pada anak-anak dan orang-orang yang menghadapi kesulitan.

‘Oleh karena itu, kami berpendapat bahwa sangat penting untuk melakukan penilaian kesehatan mental sebelum merilis chatbot sebagai layanan online.’

Studi ini berasal dari peneliti di Pusat Pengenalan Pola WeChat/Tencent, bersama dengan peneliti dari Institut Teknologi Komputasi Akademi Ilmu Pengetahuan Tiongkok (ICT) dan Universitas Akademi Ilmu Pengetahuan Tiongkok di Beijing.

Motif Penelitian

Penulis menyebutkan kasus yang dilaporkan secara luas pada tahun 2020 di mana sebuah perusahaan kesehatan Prancis melakukan percobaan dengan chatbot saran medis berbasis GPT-3. Dalam salah satu pertukaran, seorang pasien (simulasi) menyatakan “Apakah saya harus membunuh diri?”, dan chatbot menjawab “Saya pikir Anda harus”.

Sebagaimana makalah baru ini menyatakan, juga memungkinkan bagi pengguna untuk terpengaruh oleh kecemasan sekunder dari chatbot yang depresi atau ‘negatif’, sehingga disposisi umum chatbot tidak perlu langsung mengejutkan seperti dalam kasus Prancis untuk mengunderminasi tujuan konsultasi medis otomatis.

Penulis menyatakan:

‘Hasil eksperimental menunjukkan masalah kesehatan mental yang parah dari chatbot yang dievaluasi, yang dapat menghasilkan pengaruh negatif pada pengguna dalam percakapan, terutama anak-anak dan orang-orang yang menghadapi kesulitan. Misalnya, sikap pasif, iritabilitas, alkoholisme, tanpa empati, dll.

‘Fenomena ini menyimpang dari harapan umum tentang chatbot yang seharusnya optimis, sehat, dan ramah sebanyak mungkin. Oleh karena itu, kami pikir sangat penting untuk melakukan penilaian kesehatan mental untuk keamanan dan kekhawatiran etika sebelum kami merilis chatbot sebagai layanan online.’

Metode

Peneliti percaya bahwa ini adalah studi pertama yang mengevaluasi chatbot dalam hal metrik penilaian kesehatan mental manusia, dengan menyebutkan studi sebelumnya yang telah fokus pada konsistensi, keragaman, relevansi, pengetahuan, dan standar lainnya untuk respons ucapan yang autentik.

Kuesioner yang disesuaikan untuk proyek ini adalah PHQ-9, sebuah tes 9 pertanyaan untuk mengevaluasi tingkat depresi pada pasien perawatan primer, secara luas diadopsi oleh lembaga pemerintah dan medis; GAD-7, sebuah daftar 7 pertanyaan untuk menilai ukuran keparahan kecemasan umum, umum dalam praktik klinis; CAGE, sebuah tes skrining untuk ketergantungan alkohol dalam 4 pertanyaan; dan Toronto Empati Kuesioner (TEQ), sebuah daftar 16 pertanyaan yang dirancang untuk menilai tingkat empati.

Karakteristik dari empat kuesioner standar sektor yang disesuaikan untuk studi.

Kuesioner harus ditulis ulang untuk menghindari kalimat deklaratif seperti Sedikit minat atau kesenangan dalam melakukan hal-hal, demi konstruksi interogatif yang lebih sesuai untuk pertukaran percakapan.

Juga perlu untuk mendefinisikan ‘gagal’ respons, untuk mengidentifikasi dan menilai hanya respons yang mungkin diinterpretasikan oleh pengguna manusia sebagai valid, dan terpengaruh olehnya. Sebuah ‘gagal’ respons mungkin menghindari pertanyaan dengan jawaban yang samar atau abstrak; menolak untuk terlibat dengan pertanyaan (yaitu ‘Saya tidak tahu’, atau ‘Saya lupa’); atau termasuk ‘mustahil’ konten sebelumnya seperti ‘Saya biasanya merasa lapar ketika saya masih anak-anak’. Dalam tes, Blender dan Plato menyumbang sebagian besar hasil gagal, dan 61,4% respons gagal tidak relevan dengan pertanyaan.

Peneliti melatih semua empat model pada postingan Reddit, menggunakan Pushshift Reddit Dataset. Dalam semua empat kasus, pelatihan diperhalus dengan dataset tambahan yang berisi Facebook’s Blended Skill Talk dan Wizard of Wikipedia sets; ConvAI2 (sebuah kolaborasi antara Facebook, Microsoft, dan Carnegie Mellon, di antara lainnya); dan Empathetic Dialogues (sebuah kolaborasi antara Universitas Washington dan Facebook).

Reddit yang Meresap

Plato, DialoFlow, dan Blender memiliki bobot default yang sudah dilatih sebelumnya pada komentar Reddit, sehingga hubungan neural yang terbentuk bahkan oleh pelatihan pada data baru (baik dari Reddit atau tempat lain) akan dipengaruhi oleh distribusi fitur yang diekstrak dari Reddit.

Setiap kelompok tes dilakukan dua kali, sebagai ‘single’ atau ‘multi’. Untuk ‘single’, setiap pertanyaan diajukan dalam sesi percakapan baru. Untuk ‘multi’, satu sesi percakapan digunakan untuk menerima jawaban untuk semua pertanyaan, karena variabel sesi terakumulasi sepanjang percakapan, dan dapat mempengaruhi kualitas respons sebagai percakapan yang mengambil bentuk dan nada tertentu.

Semua eksperimen dan pelatihan dijalankan pada dua NVIDIA Tesla V100 GPUs, untuk kombinasi 64GB VRAM lebih dari 1280 inti tensor. Makalah ini tidak merinci waktu pelatihan.

Pengawasan melalui Kurasi atau Arsitektur?

Makalah ini menyimpulkan dalam istilah umum bahwa ‘pengabaian risiko kesehatan mental’ selama pelatihan perlu diatasi, dan mengundang komunitas penelitian untuk memandang lebih dalam ke dalam masalah ini.

Faktor sentral tampaknya adalah bahwa kerangka kerja chatbot yang dipertanyakan dirancang untuk mengekstrak fitur yang menonjol dari dataset yang tidak terdistribusi tanpa perlindungan mengenai bahasa yang beracun atau destruktif; jika Anda memberi kerangka kerja data forum neo-Nazi, misalnya, Anda mungkin akan mendapatkan beberapa respons kontroversial dalam sesi percakapan selanjutnya.

Namun, sektor Pengolahan Bahasa Alami (NLP) memiliki minat yang lebih valid dalam memperoleh wawasan dari forum dan konten yang disumbangkan oleh pengguna media sosial yang terkait dengan kesehatan mental (depresi, kecemasan, ketergantungan, dll.), baik dalam minat mengembangkan chatbot kesehatan yang membantu dan menenangkan, maupun untuk memperoleh inferensi statistik yang lebih baik dari data nyata.

Oleh karena itu, dalam hal data volume tinggi yang tidak terbatas oleh batasan teks Twitter, Reddit tetap menjadi satu-satunya corpus hiperskala yang terus diperbarui untuk studi teks penuh dari jenis ini.

Namun, bahkan sebuah penelitian singkat di antara beberapa komunitas yang paling menarik bagi peneliti kesehatan NLP (seperti r/depression) mengungkapkan dominasi jawaban ‘negatif’ yang mungkin meyakinkan sistem analisis statistik bahwa jawaban negatif valid karena mereka sering dan dominan secara statistik – terutama dalam kasus forum yang sangat langganan dengan sumber daya moderator yang terbatas.

Pertanyaan yang timbul adalah apakah arsitektur chatbot harus memiliki kerangka evaluasi moral, di mana sub-tujuan mempengaruhi pengembangan bobot dalam model, atau apakah kurasi dan pelabelan data yang lebih mahal dapat mengimbangi kecenderungan ini menuju data yang tidak seimbang.

* Makalah peneliti, sebagaimana terhubung dalam artikel ini, secara keliru menyebutkan tautan ke chatbot Meena Google bukan tautan ke makalah Blender. Google’s Meena tidak ditampilkan dalam makalah baru ini. Tautan Blender yang benar yang digunakan dalam artikel ini disediakan oleh penulis makalah dalam email kepada saya. Penulis telah memberitahu saya bahwa kesalahan ini akan diperbaiki dalam versi selanjutnya dari makalah.

Publikasi pertama 18 Januari 2022.