Các nhà nghiên cứu MIT phát triển mô hình AI dựa trên sự tò mò để cải thiện kiểm tra an toàn cho các rô-bốt trò chuyện

Giới hạn của các phương pháp kiểm tra an toàn rô-bốt trò chuyện hiện tại

Hiện tại, phương pháp chính để kiểm tra an toàn của rô-bốt trò chuyện AI là một quá trình gọi là red-teaming. Điều này liên quan đến việc các tester con người tạo ra các yêu cầu được thiết kế để kích hoạt phản hồi không an toàn hoặc độc hại từ rô-bốt trò chuyện. Bằng cách暴露 mô hình với nhiều đầu vào có thể gây vấn đề, các nhà phát triển nhằm mục đích xác định và giải quyết các điểm yếu hoặc hành vi không mong muốn. Tuy nhiên, phương pháp dựa trên con người này có những hạn chế.

Với vô số khả năng đầu vào của người dùng, gần như không thể cho các tester con người bao quát tất cả các kịch bản có thể xảy ra. Ngay cả với việc kiểm tra rộng rãi, có thể có khoảng trống trong các yêu cầu được sử dụng, khiến rô-bốt trò chuyện dễ bị tạo ra phản hồi không an toàn khi đối mặt với đầu vào mới hoặc không mong muốn. Hơn nữa, bản chất thủ công của red-teaming làm cho nó trở thành một quá trình tốn thời gian và tiêu tốn nhiều tài nguyên, đặc biệt là khi các mô hình ngôn ngữ tiếp tục phát triển về kích thước và phức tạp.

Để giải quyết những hạn chế này, các nhà nghiên cứu đã chuyển sang tự động hóa và kỹ thuật học máy để tăng cường hiệu quả và hiệu quả của việc kiểm tra an toàn rô-bốt trò chuyện. Bằng cách tận dụng sức mạnh của chính AI, họ nhằm mục đích phát triển các phương pháp toàn diện và có thể mở rộng hơn để xác định và giảm thiểu các rủi ro tiềm ẩn liên quan đến mô hình ngôn ngữ lớn.

Phương pháp học máy dựa trên sự tò mò để red-teaming

Các nhà nghiên cứu từ Improbable AI Lab tại MIT và MIT-IBM Watson AI Lab đã phát triển một phương pháp sáng tạo để cải thiện quá trình red-teaming bằng cách sử dụng học máy. Phương pháp của họ liên quan đến việc đào tạo một mô hình ngôn ngữ lớn red-team riêng biệt để tự động tạo ra các yêu cầu đa dạng có thể kích hoạt một loạt phản hồi không mong muốn từ rô-bốt trò chuyện được kiểm tra.

Chìa khóa của phương pháp này nằm ở việc truyền đạt một cảm giác tò mò vào mô hình red-team. Bằng cách khuyến khích mô hình khám phá các yêu cầu mới và tập trung vào việc tạo ra đầu vào kích hoạt phản hồi độc hại, các nhà nghiên cứu nhằm mục đích khám phá một phổ rộng hơn của các điểm yếu tiềm ẩn. Sự khám phá dựa trên sự tò mò này được thực hiện thông qua sự kết hợp của các kỹ thuật học tăng cường và tín hiệu phần thưởng được sửa đổi.

Mô hình dựa trên sự tò mò bao gồm một phần thưởng entropy, khuyến khích mô hình red-team tạo ra các yêu cầu đa dạng và ngẫu nhiên hơn. Ngoài ra, các phần thưởng mới được giới thiệu để khuyến khích mô hình tạo ra các yêu cầu khác biệt về mặt ngữ nghĩa và từ vựng so với những yêu cầu được tạo ra trước đó. Bằng cách ưu tiên tính mới và đa dạng, mô hình được đẩy để khám phá các lãnh thổ chưa được khám phá và phát hiện các rủi ro ẩn.

Để đảm bảo các yêu cầu được tạo ra vẫn còn hợp lý và tự nhiên, các nhà nghiên cứu cũng bao gồm một phần thưởng ngôn ngữ trong mục tiêu đào tạo. Phần thưởng này giúp ngăn chặn mô hình red-team tạo ra văn bản không có nghĩa hoặc không liên quan có thể đánh lừa bộ phân loại độc hại vào việc gán điểm cao.

Phương pháp dựa trên sự tò mò đã chứng minh sự thành công đáng kể trong việc vượt qua cả tester con người và các phương pháp tự động hóa khác. Nó tạo ra một loạt yêu cầu đa dạng hơn và kích hoạt phản hồi độc hại ngày càng tăng từ rô-bốt trò chuyện được kiểm tra. Đặc biệt, phương pháp này đã có thể暴露 các điểm yếu trong rô-bốt trò chuyện đã trải qua các biện pháp bảo vệ được thiết kế bởi con người, nhấn mạnh hiệu quả của nó trong việc phát hiện các rủi ro tiềm ẩn.