Các nhà nghiên cứu AI phát triển phương pháp tính toán khoảng tin cậy nhanh chóng, báo cáo khi mô hình không nên được tin cậy

Các nhà nghiên cứu từ MIT đã gần đây phát triển một kỹ thuật cho phép các mô hình mạng nơ-ron sâu tính toán nhanh chóng mức độ tin cậy, điều này có thể giúp các nhà khoa học dữ liệu và người dùng AI khác biết khi nào nên tin tưởng vào các dự đoán được tạo ra bởi một mô hình.

Các hệ thống AI dựa trên mạng nơ-ron nhân tạo đang ngày càng chịu trách nhiệm cho nhiều quyết định, bao gồm cả những quyết định liên quan đến sức khỏe và an toàn của con người. Vì vậy, các mạng nơ-ron nên có một phương pháp ước tính mức độ tin cậy trong đầu ra của chúng, cho phép các nhà khoa học dữ liệu biết được mức độ tin cậy của các dự đoán. Gần đây, một nhóm các nhà nghiên cứu từ Harvard và MIT đã thiết kế một cách nhanh chóng để các mạng nơ-ron tạo ra một chỉ số về mức độ tin cậy của mô hình cùng với các dự đoán.

Các mô hình học sâu đã trở nên tinh vi hơn trong thập kỷ qua và hiện có thể dễ dàng vượt qua con người trong các nhiệm vụ phân loại dữ liệu. Các mô hình học sâu đang được sử dụng trong các lĩnh vực mà sức khỏe và an toàn của con người có thể bị rủi ro nếu chúng thất bại, chẳng hạn như lái xe tự động và chẩn đoán tình trạng bệnh từ các bản quét. Trong những trường hợp này, không đủ để một mô hình có độ chính xác 99%, 1% số lần mô hình thất bại có thể dẫn đến thảm họa. Do đó, cần phải có một cách để các nhà khoa học dữ liệu xác định mức độ tin cậy của từng dự đoán.

Có một số cách để tạo ra khoảng tin cậy cùng với các dự đoán của mạng nơ-ron, nhưng các phương pháp truyền thống để ước tính sự không chắc chắn cho mạng nơ-ron khá chậm và tốn kém về mặt tính toán. Các mạng nơ-ron có thể rất lớn và phức tạp, chứa hàng tỷ tham số. Chỉ việc tạo ra dự đoán đã có thể tốn kém về mặt tính toán và mất nhiều thời gian, và tạo ra mức độ tin cậy cho dự đoán mất nhiều thời gian hơn. Hầu hết các phương pháp trước đây để lượng hóa sự không chắc chắn đã dựa trên việc lấy mẫu hoặc chạy mạng nhiều lần để có được ước tính về mức độ tin cậy. Điều này không phải lúc nào cũng khả thi cho các ứng dụng yêu cầu lưu lượng truy cập tốc độ cao.

Theo báo cáo của MIT News, Alexander Amini đứng đầu nhóm các nhà nghiên cứu từ MIT và Harvard, và theo Amini, phương pháp được phát triển bởi các nhà nghiên cứu của họ đã tăng tốc quá trình tạo ra ước tính sự không chắc chắn bằng cách sử dụng một kỹ thuật gọi là “hồi quy bằng chứng sâu”. Amini giải thích qua MIT rằng các nhà khoa học dữ liệu cần cả mô hình tốc độ cao và ước tính đáng tin cậy về sự không chắc chắn để phân biệt các mô hình không đáng tin cậy. Để giữ cả tốc độ của mô hình và tạo ra ước tính sự không chắc chắn, các nhà nghiên cứu đã thiết kế một cách để ước tính sự không chắc chắn từ chỉ một lần chạy của mô hình.

Các nhà nghiên cứu đã thiết kế mô hình mạng nơ-ron sao cho một phân phối xác suất được tạo ra cùng với mỗi quyết định. Mạng giữ lại bằng chứng cho quyết định của nó trong quá trình đào tạo, tạo ra một phân phối xác suất dựa trên bằng chứng. Phân phối bằng chứng đại diện cho mức độ tin cậy của mô hình, và nó đại diện cho sự không chắc chắn cả về quyết định cuối cùng của mô hình và dữ liệu đầu vào ban đầu. Việc nắm bắt sự không chắc chắn cho cả dữ liệu đầu vào và quyết định là quan trọng, vì việc giảm sự không chắc chắn phụ thuộc vào việc biết nguồn gốc của sự không chắc chắn.

Các nhà nghiên cứu đã thử nghiệm kỹ thuật ước tính sự không chắc chắn của họ bằng cách áp dụng nó vào một nhiệm vụ tầm nhìn máy tính. Sau khi mô hình được đào tạo trên một loạt hình ảnh, nó tạo ra cả dự đoán và ước tính sự không chắc chắn. Mạng dự đoán chính xác mức độ không chắc chắn cao cho các trường hợp mà dự đoán sai được thực hiện. “Nó được hiệu chỉnh rất tốt với các lỗi mà mạng tạo ra, điều mà chúng tôi tin là một trong những điều quan trọng nhất trong việc đánh giá chất lượng của một ước tính sự không chắc chắn mới”, Amini nói về kết quả thử nghiệm của mô hình.

Đội nghiên cứu đã tiến hành thêm các thử nghiệm với kiến trúc mạng của họ. Để kiểm tra kỹ thuật, họ cũng thử nghiệm dữ liệu trên “dữ liệu ngoài phân phối”, các tập dữ liệu bao gồm các đối tượng mà mạng chưa từng thấy trước đó. Như dự kiến, mạng báo cáo mức độ không chắc chắn cao hơn cho các đối tượng chưa từng thấy. Khi được đào tạo trên môi trường trong nhà, mạng hiển thị mức độ không chắc chắn cao khi được thử nghiệm trên hình ảnh từ môi trường ngoài trời. Các thử nghiệm cho thấy mạng có thể nhấn mạnh khi quyết định của nó bị ảnh hưởng bởi sự không chắc chắn cao và không nên được tin cậy trong某些 tình huống rủi ro cao.

Đội nghiên cứu thậm chí còn báo cáo rằng mạng có thể phân biệt khi hình ảnh đã được chỉnh sửa. Khi đội nghiên cứu thay đổi ảnh với nhiễu đối kháng, mạng gắn thẻ các ảnh mới được chỉnh sửa với ước tính sự không chắc chắn cao, mặc dù hiệu ứng này quá tinh vi để được quan sát bởi người xem trung bình.

Nếu kỹ thuật này chứng minh được đáng tin cậy, hồi quy bằng chứng sâu có thể cải thiện sự an toàn của các mô hình AI nói chung. Theo Amini, hồi quy bằng chứng sâu có thể giúp mọi người đưa ra quyết định cẩn thận khi sử dụng các mô hình AI trong các tình huống rủi ro. Như Amini giải thích qua MIT News:

“Chúng tôi đang bắt đầu thấy nhiều hơn những mô hình [mạng nơ-ron] này trickle out of the research lab and into the real world, into situations that are touching humans with potentially life-threatening consequences. Bất kỳ người dùng phương pháp nào, cho dù đó là một bác sĩ hay một người trong ghế hành khách của một phương tiện, cần phải nhận thức được bất kỳ rủi ro hoặc sự không chắc chắn nào liên quan đến quyết định đó.”