Nhóm nghiên cứu MIT thiết kế mạng AI để chống lại các ví dụ đối nghịch

Một nhóm các nhà nghiên cứu từ MIT hnhư đã phát triển một thuật toán học sâu nhằm giúp AI đối phó với các ví dụ “đối nghịch”, có thể khiến AI đưa ra dự đoán sai và thực hiện các hành động sai. Thuật toán do nhóm MIT thiết kế có thể giúp các hệ thống AI duy trì độ chính xác và tránh mắc lỗi khi đối mặt với các điểm dữ liệu khó hiểu.

Hệ thống AI phân tích các tính năng đầu vào của một sự kiện để quyết định cách phản hồi sự kiện đó. AI chịu trách nhiệm điều khiển một phương tiện tự hành phải lấy dữ liệu từ camera của phương tiện đó và quyết định phải làm gì dựa trên dữ liệu có trong những hình ảnh đó. Tuy nhiên, có khả năng dữ liệu hình ảnh được AI phân tích không phải là sự thể hiện chính xác của thế giới thực. Một trục trặc trong hệ thống camera có thể làm thay đổi một số pixel, dẫn đến việc AI đưa ra kết luận không chính xác về hướng hành động thích hợp.

“Đầu vào đối nghịch” giống như ảo ảnh quang học đối với hệ thống AI. Chúng là những đầu vào gây nhầm lẫn cho AI dưới một hình thức nào đó. Đầu vào đối nghịch có thể được tạo ra với mục tiêu rõ ràng là khiến AI mắc lỗi, bằng cách biểu diễn dữ liệu theo kiểu khiến AI tin rằng nội dung của một ví dụ là một thứ thay vì một thứ khác. Ví dụ: có thể tạo một ví dụ đối nghịch cho hệ thống thị giác máy tính bằng cách thực hiện những thay đổi nhỏ đối với hình ảnh của mèo, khiến AI phân loại sai hình ảnh thành màn hình máy tính. Nhóm nghiên cứu của MIT đã thiết kế một thuật toán giúp bảo vệ khỏi các ví dụ đối nghịch bằng cách cho phép mô hình duy trì mức độ “hoài nghi” về dữ liệu đầu vào mà nó nhận được.

Các nhà nghiên cứu của MIT gọi phương pháp tiếp cận của họ là “Tính mạnh mẽ đối nghịch được chứng nhận cho việc học tăng cường sâu” hoặc CARRL. CARRL bao gồm một mạng học tăng cường và một mạng thần kinh sâu truyền thống được kết hợp với nhau. Học tăng cường sử dụng khái niệm “phần thưởng” để đào tạo một mô hình, mang lại cho mô hình phần thưởng tương ứng nhiều hơn khi nó tiến gần đến mục tiêu của nó. Mô hình học tăng cường được sử dụng để đào tạo Deep Q-Netowrkk hoặc DQN. DQN hoạt động giống như các mạng thần kinh truyền thống, nhưng chúng cũng liên kết các giá trị đầu vào với một mức độ phần thưởng, giống như các hệ thống học tăng cường.

CARRL hoạt động bằng cách mô hình hóa một loạt các giá trị có thể khác nhau cho dữ liệu đầu vào.

Giả sử rằng AI đang cố gắng theo dõi vị trí của một dấu chấm trong một hình ảnh lớn hơn, AI cho rằng vị trí của dấu chấm có thể là kết quả của ảnh hưởng đối nghịch và xem xét các khu vực có thể có dấu chấm đó. Sau đó, mạng đưa ra quyết định dựa trên tình huống xấu nhất đối với vị trí của dấu chấm, giải quyết hành động sẽ tạo ra phần thưởng cao nhất trong tình huống xấu nhất này.

Phương pháp điển hình để bảo vệ chống lại các ví dụ bất lợi liên quan đến việc chạy các phiên bản được thay đổi một chút của hình ảnh đầu vào thông qua mạng AI để xem liệu quyết định tương tự có luôn được đưa ra hay không. Nếu những thay đổi đối với hình ảnh không ảnh hưởng đáng kể đến kết quả, thì rất có thể mạng sẽ chống lại các ví dụ bất lợi. Tuy nhiên, đây không phải là một chiến lược khả thi cho các tình huống cần đưa ra quyết định nhanh chóng, vì đây là những phương pháp thử nghiệm tốn nhiều thời gian và tính toán. Vì lý do này, nhóm MIT đã bắt đầu tạo ra một mạng thần kinh có thể đưa ra quyết định dựa trên các giả định trong trường hợp xấu nhất, một mạng có khả năng hoạt động trong các tình huống mà sự an toàn là rất quan trọng.

Các nhà nghiên cứu của MIT đã thử nghiệm thuật toán của họ bằng cách cho AI chơi trò chơi Pong. Họ đưa vào các ví dụ về đối thủ bằng cách cung cấp các trường hợp AI trong đó quả bóng được hiển thị xa hơn một chút so với thực tế. Khi ảnh hưởng của các ví dụ về đối thủ ngày càng tăng, các kỹ thuật khắc phục tiêu chuẩn bắt đầu thất bại trong khi CARRL có thể thắng nhiều trò chơi hơn khi so sánh. CARRL cũng đã được thử nghiệm trong nhiệm vụ tránh va chạm. Nhiệm vụ diễn ra trong một môi trường ảo nơi hai đặc vụ khác nhau cố gắng hoán đổi vị trí mà không va vào nhau. Nhóm nghiên cứu đã thay đổi nhận thức của tác nhân thứ nhất về tác nhân thứ hai và CARRL đã có thể điều khiển thành công tác nhân thứ nhất xung quanh tác nhân kia, ngay cả trong điều kiện không chắc chắn cao, mặc dù đã có lúc CARRL trở nên quá thận trọng và cuối cùng tránh né tác nhân đó. điểm đến hoàn toàn.

Bất chấp điều đó, Postdoc Michael Everett của Khoa Hàng không và Du hành vũ trụ MIT, người đứng đầu nghiên cứu, giải thích rằng nghiên cứu này có thể có ý nghĩa đối với khả năng xử lý các tình huống không thể đoán trước của robot. Như Everett đã giải thích thông qua Tin tức MIT:

Everett nói: “Mọi người có thể trở nên thù địch, chẳng hạn như đi trước rô-bốt để chặn các cảm biến của nó hoặc tương tác với chúng, không nhất thiết phải có mục đích tốt nhất. “Làm sao một robot có thể nghĩ ra tất cả những điều con người có thể cố gắng làm và cố gắng tránh chúng? Chúng ta muốn chống lại loại mô hình đối lập nào? Đó là điều mà chúng tôi đang suy nghĩ về cách thực hiện.”