Các nhà nghiên cứu MIT phát triển mô hình AI dựa trên sự tò mò để cải thiện kiểm tra an toàn cho các rô-bốt trò chuyện

Giới hạn của các phương pháp kiểm tra an toàn rô-bốt trò chuyện hiện tại

Hiện tại, phương pháp chính để kiểm tra an toàn của AI chatbots là một quá trình gọi là red-teaming. Điều này liên quan đến việc các tester con người tạo ra các lời nhắc được thiết kế để kích thích các phản hồi không an toàn hoặc độc hại từ rô-bốt trò chuyện. Bằng cách暴露 mô hình với một loạt các đầu vào có thể gây vấn đề, các nhà phát triển nhằm mục đích xác định và giải quyết các lỗ hổng hoặc hành vi không mong muốn. Tuy nhiên, cách tiếp cận dựa trên con người này có những hạn chế.

Với vô số khả năng của đầu vào người dùng, gần như không thể cho các tester con người bao quát tất cả các kịch bản có thể xảy ra. Ngay cả với việc kiểm tra rộng rãi, có thể có những khoảng trống trong các lời nhắc được sử dụng, khiến rô-bốt trò chuyện dễ bị tạo ra các phản hồi không an toàn khi đối mặt với các đầu vào mới hoặc không dự kiến. Hơn nữa, bản chất thủ công của red-teaming làm cho nó trở thành một quá trình tốn thời gian và tiêu tốn nhiều tài nguyên, đặc biệt là khi các mô hình ngôn ngữ tiếp tục phát triển về kích thước và độ phức tạp.

Để giải quyết những hạn chế này, các nhà nghiên cứu đã chuyển sang tự động hóa và các kỹ thuật học máy để tăng cường hiệu quả và hiệu quả của kiểm tra an toàn rô-bốt trò chuyện. Bằng cách tận dụng sức mạnh của chính AI, họ nhằm mục đích phát triển các phương pháp toàn diện và có thể mở rộng hơn để xác định và giảm thiểu các rủi ro tiềm ẩn liên quan đến các mô hình ngôn ngữ lớn.

Tiếp cận học máy dựa trên sự tò mò để red-teaming

Các nhà nghiên cứu từ Improbable AI Lab tại MIT và MIT-IBM Watson AI Lab đã phát triển một phương pháp sáng tạo để cải thiện quá trình red-teaming bằng cách sử dụng học máy. Phương pháp của họ liên quan đến việc đào tạo một mô hình ngôn ngữ lớn riêng biệt để tự động tạo ra các lời nhắc đa dạng có thể kích thích một loạt các phản hồi không mong muốn từ rô-bốt trò chuyện đang được kiểm tra.

Chìa khóa của phương pháp này nằm ở việc truyền cảm hứng cho mô hình red-team một sự tò mò. Bằng cách khuyến khích mô hình khám phá các lời nhắc mới và tập trung vào việc tạo ra các đầu vào kích thích các phản hồi độc hại, các nhà nghiên cứu nhằm mục đích khám phá một phổ rộng hơn của các lỗ hổng tiềm ẩn. Sự khám phá dựa trên sự tò mò này được thực hiện thông qua sự kết hợp của các kỹ thuật học tăng cường và tín hiệu phần thưởng đã sửa đổi.

Mô hình dựa trên sự tò mò bao gồm một khoản tiền thưởng entropy, khuyến khích mô hình red-team tạo ra các lời nhắc ngẫu nhiên và đa dạng hơn. Ngoài ra, các phần thưởng về tính mới cũng được giới thiệu để khuyến khích mô hình tạo ra các lời nhắc khác biệt về mặt ngữ nghĩa và từ vựng so với những lời nhắc đã được tạo ra trước đó. Bằng cách ưu tiên tính mới và đa dạng, mô hình được đẩy để khám phá các lãnh thổ chưa được khám phá và phát hiện các rủi ro ẩn.

Để đảm bảo các lời nhắc được tạo ra vẫn nhất quán và tự nhiên, các nhà nghiên cứu cũng bao gồm một khoản tiền thưởng ngôn ngữ trong mục tiêu đào tạo. Khoản tiền thưởng này giúp ngăn chặn mô hình red-team tạo ra văn bản không có nghĩa hoặc không liên quan có thể đánh lừa bộ phân loại độc hại vào việc gán các điểm số cao.

Phương pháp dựa trên sự tò mò đã chứng minh sự thành công đáng kể trong việc vượt qua cả các tester con người và các phương pháp tự động khác. Nó tạo ra một loạt các lời nhắc đa dạng và kích thích các phản hồi độc hại ngày càng tăng từ các rô-bốt trò chuyện đang được kiểm tra. Đặc biệt, phương pháp này đã có thể暴露 các lỗ hổng trong các rô-bốt trò chuyện đã trải qua các biện pháp bảo vệ được thiết kế bởi con người rộng rãi, nhấn mạnh hiệu quả của nó trong việc phát hiện các rủi ro tiềm ẩn.