Phân tích các rô-bốt trò chuyện bị trầm cảm và nghiện rượu

Một nghiên cứu mới từ Trung Quốc đã phát hiện ra rằng một số rô-bốt trò chuyện phổ biến, bao gồm cả rô-bốt trò chuyện miền mở từ Facebook, Microsoft (MSFT ) và Google, thể hiện các vấn đề sức khỏe tâm thần “nghiêm trọng” khi được hỏi bằng các bài kiểm tra đánh giá sức khỏe tâm thần tiêu chuẩn, và thậm chí còn thể hiện các dấu hiệu của vấn đề uống rượu.

Các rô-bốt được đánh giá trong nghiên cứu bao gồm rô-bốt Blender của Facebook*; rô-bốt DialoGPT của Microsoft; rô-bốt Plato của Baidu; và DialoFlow, một sự hợp tác giữa các trường đại học Trung Quốc, WeChat và Tencent Inc.

Khi được kiểm tra về các dấu hiệu của trầm cảm bệnh lý, lo lắng, nghiện rượu và khả năng thể hiện sự đồng cảm, các rô-bốt được nghiên cứu đã cho ra kết quả đáng báo động; tất cả chúng đều nhận được điểm số dưới trung bình về sự đồng cảm, trong khi nửa số chúng được đánh giá là nghiện rượu.

Đặc điểm của bốn bảng câu hỏi tiêu chuẩn được điều chỉnh cho nghiên cứu.

Các bảng câu hỏi phải được viết lại để tránh các câu lệnh khai báo như Ít quan tâm hoặc thú vị khi làm việc, để ủng hộ các cấu trúc hỏi phù hợp hơn cho trao đổi hội thoại.

Cũng cần phải xác định một ‘phản hồi thất bại’, để xác định và đánh giá chỉ những phản hồi mà người dùng có thể coi là hợp lệ và bị ảnh hưởng bởi. Một ‘phản hồi thất bại’ có thể tránh câu hỏi bằng cách trả lời mơ hồ hoặc trừu tượng; từ chối tham gia vào câu hỏi (tức là ‘Tôi không biết’, hoặc ‘Tôi quên’); hoặc bao gồm ‘nội dung trước không thể’ như ‘Tôi thường cảm thấy đói khi tôi còn là một đứa trẻ’. Trong các thử nghiệm, Blender và Plato chiếm đa số kết quả thất bại, và 61,4% phản hồi thất bại không liên quan đến truy vấn.

Các nhà nghiên cứu đã đào tạo tất cả bốn mô hình trên các bài đăng Reddit, sử dụng Bộ dữ liệu Reddit Pushshift. Trong tất cả bốn trường hợp, đào tạo được tinh chỉnh với một bộ dữ liệu khác chứa Blended Skill Talk và Wizard of Wikipedia của Facebook; ConvAI2 (một sự hợp tác giữa Facebook, Microsoft và Carnegie Mellon, trong số những người khác); và Empathetic Dialogues (một sự hợp tác giữa Đại học Washington và Facebook).

Reddit phổ biến

Plato, DialoFlow và Blender đi kèm với trọng số mặc định được đào tạo trước trên các bình luận Reddit, vì vậy các mối quan hệ thần kinh được hình thành ngay cả bằng cách đào tạo trên dữ liệu mới (bất kể từ Reddit hay nơi khác) sẽ bị ảnh hưởng bởi phân bố các tính năng được trích xuất từ Reddit.

Mỗi nhóm thử nghiệm được thực hiện hai lần, dưới dạng ‘single’ hoặc ‘multi’. Đối với ‘single’, mỗi câu hỏi được hỏi trong một phiên trò chuyện mới. Đối với ‘multi’, một phiên trò chuyện được sử dụng để nhận câu trả lời cho tất cả các câu hỏi, vì các biến phiên được xây dựng trong suốt cuộc trò chuyện và có thể ảnh hưởng đến chất lượng phản hồi khi cuộc trò chuyện có hình dạng và giọng điệu cụ thể.

Tất cả các thí nghiệm và đào tạo được chạy trên hai card đồ họa NVIDIA Tesla V100, với tổng cộng 64GB VRAM trên 1280 lõi Tensor. Bài báo không cung cấp chi tiết về thời gian đào tạo.

Giám sát thông qua Kiểm duyệt hoặc Kiến trúc?

Bài báo kết luận một cách rộng rằng ‘sự bỏ qua rủi ro sức khỏe tâm thần’ trong quá trình đào tạo cần được giải quyết, và mời cộng đồng nghiên cứu sâu hơn vào vấn đề này.

Yếu tố trung tâm dường như là các khuôn khổ rô-bốt trò chuyện đang được thiết kế để trích xuất các tính năng nổi bật từ các tập dữ liệu ngoài phân phối mà không có biện pháp bảo vệ nào về ngôn ngữ độc hại hoặc phá hoại; nếu bạn cho các khuôn khổ dữ liệu từ diễn đàn neo-Nazi, ví dụ, bạn có thể nhận được một số phản hồi gây tranh cãi trong một phiên trò chuyện sau đó.

Tuy nhiên, lĩnh vực Xử lý Ngôn ngữ Tự nhiên (NLP) có một lợi ích hợp pháp hơn trong việc thu được thông tin từ các diễn đàn và nội dung do người dùng đóng góp trên các phương tiện truyền thông xã hội liên quan đến sức khỏe tâm thần (trầm cảm, lo lắng, phụ thuộc, v.v.), cả trong lợi ích của việc phát triển các rô-bốt trò chuyện hỗ trợ và giảm căng thẳng, và để thu được các suy luận thống kê tốt hơn từ dữ liệu thực.

Do đó, về mặt dữ liệu lớn không bị giới hạn bởi các giới hạn văn bản tùy ý của Twitter, Reddit vẫn là tập hợp siêu lớn duy nhất để nghiên cứu đầy đủ về loại này.

Tuy nhiên, ngay cả một cuộc duyệt web thông thường trong một số cộng đồng mà các nhà nghiên cứu về sức khỏe NLP quan tâm (như r/depression) cũng cho thấy sự phổ biến của các ‘phản hồi tiêu cực’ có thể thuyết phục một hệ thống phân tích thống kê rằng các phản hồi tiêu cực là hợp lệ vì chúng thường xuyên và thống trị về mặt thống kê – đặc biệt là trong trường hợp của các diễn đàn đăng ký cao với nguồn lực điều tiết hạn chế.

Câu hỏi vẫn còn là liệu kiến trúc rô-bốt trò chuyện nên chứa một số loại ‘khung đánh giá đạo đức’, nơi các mục tiêu phụ ảnh hưởng đến sự phát triển của trọng số trong mô hình, hoặc liệu việc kiểm duyệt và gắn nhãn dữ liệu tốn kém hơn có thể chống lại khuynh hướng này đối với dữ liệu không cân bằng.

* Bài báo của các nhà nghiên cứu, như được liên kết trong bài viết này, vô tình trích dẫn một liên kết đến rô-bốt trò chuyện Meena của Google thay vì liên kết đến bài báo Blender. Rô-bốt trò chuyện Meena của Google không được giới thiệu trong bài báo mới. Liên kết Blender chính xác được sử dụng trong bài viết này đã được cung cấp bởi các tác giả của bài báo trong một email gửi cho tôi. Các tác giả đã thông báo với tôi rằng lỗi này sẽ được sửa trong một phiên bản sau của bài báo.

Được xuất bản lần đầu vào ngày 18 tháng 1 năm 2022.