Các nhà nghiên cứu của Google phát hiện ra vấn đề underspecification cản trở nhiều mô hình AI

Gần đây, một nhóm nghiên cứu từ Google (GOOGL ) đã xác định một nguyên nhân phổ biến cho sự thất bại của các mô hình AI, chỉ ra underspecification là một trong những lý do chính khiến các mô hình học máy thường hoạt động khác biệt trong thế giới thực so với trong quá trình thử nghiệm và phát triển.

Các mô hình học máy thường thất bại khi thực hiện các nhiệm vụ trong môi trường thực tế, ngay cả khi các mô hình hoạt động tối ưu trong phòng thí nghiệm. Có nhiều lý do dẫn đến sự không phù hợp giữa hiệu suất trong quá trình đào tạo và phát triển so với hiệu suất trong thế giới thực. Một trong những lý do phổ biến nhất khiến các mô hình AI thất bại trong các nhiệm vụ thực tế là khái niệm được gọi là sự thay đổi dữ liệu. Sự thay đổi dữ liệu đề cập đến sự khác biệt cơ bản giữa loại dữ liệu được sử dụng để phát triển một mô hình học máy và dữ liệu được đưa vào mô hình trong quá trình áp dụng. Ví dụ, các mô hình tầm nhìn máy tính được đào tạo trên dữ liệu hình ảnh chất lượng cao sẽ gặp khó khăn khi thực hiện trên dữ liệu được thu thập từ các máy ảnh chất lượng thấp được tìm thấy trong môi trường hàng ngày của mô hình.

Theo MIT Technology Review, một nhóm gồm 40 nhà nghiên cứu khác nhau tại Google đã xác định một lý do khác khiến hiệu suất của một mô hình học máy có thể thay đổi đáng kể. Vấn đề là “underspecification”, một khái niệm thống kê mô tả các vấn đề mà các hiện tượng quan sát có nhiều nguyên nhân có thể, không phải tất cả đều được mô hình hóa. Theo người đứng đầu nghiên cứu Alex D’Amour, vấn đề này được quan sát trong nhiều mô hình học máy, nói rằng hiện tượng “xảy ra mọi nơi”.

Phương pháp đào tạo mô hình học máy điển hình liên quan đến việc cung cấp cho mô hình một lượng lớn dữ liệu mà nó có thể phân tích và trích xuất các mẫu liên quan. Sau đó, mô hình được cung cấp các ví dụ mà nó chưa từng thấy và được yêu cầu dự đoán bản chất của các ví dụ đó dựa trên các tính năng mà nó đã học. Một khi mô hình đã đạt được một mức độ chính xác nhất định, quá trình đào tạo thường được coi là hoàn thành.

Theo nhóm nghiên cứu của Google, cần phải làm nhiều hơn để đảm bảo các mô hình có thể tổng quát hóa thực sự cho dữ liệu không đào tạo. Phương pháp đào tạo mô hình học máy cổ điển sẽ tạo ra các mô hình khác nhau có thể đều vượt qua các bài kiểm tra của chúng, nhưng các mô hình này sẽ khác nhau ở những cách nhỏ dường như không đáng kể nhưng không phải như vậy. Các nút khác nhau trong các mô hình sẽ có các giá trị ngẫu nhiên được gán cho chúng, hoặc dữ liệu đào tạo có thể được chọn hoặc đại diện theo các cách khác nhau. Những biến thể này nhỏ và thường là tùy ý, và nếu chúng không có tác động lớn đến cách các mô hình hoạt động trong quá trình đào tạo, chúng dễ bị bỏ qua. Tuy nhiên, khi tác động của tất cả những thay đổi nhỏ này tích lũy, chúng có thể dẫn đến sự khác biệt lớn trong hiệu suất thực tế.

Vấn đề underspecification này gây khó khăn vì nó có nghĩa là, ngay cả khi quá trình đào tạo có thể tạo ra các mô hình tốt, nó cũng có thể tạo ra một mô hình kém và sự khác biệt sẽ không được phát hiện cho đến khi mô hình rời khỏi sản xuất và vào sử dụng.

Để đánh giá tác động của underspecification, nhóm nghiên cứu đã kiểm tra một số mô hình khác nhau. Mỗi mô hình được đào tạo bằng cùng một quá trình đào tạo, và sau đó các mô hình được đưa qua một loạt các bài kiểm tra để nhấn mạnh sự khác biệt trong hiệu suất. Trong một trường hợp, 50 phiên bản khác nhau của một hệ thống nhận dạng hình ảnh đã được đào tạo trên tập dữ liệu ImageNet. Các mô hình đều giống nhau ngoại trừ các giá trị mạng nơ-ron được gán ngẫu nhiên cho chúng trong quá trình bắt đầu đào tạo. Các bài kiểm tra căng thẳng được sử dụng để xác định sự khác biệt trong các mô hình được thực hiện bằng ImageNet-C, một biến thể của tập dữ liệu gốc bao gồm hình ảnh đã được thay đổi thông qua điều chỉnh độ tương phản hoặc độ sáng. Các mô hình cũng được kiểm tra trên ObjectNet, một loạt hình ảnh có các vật thể hàng ngày trong các định hướng và ngữ cảnh không bình thường. Mặc dù tất cả 50 mô hình đều có hiệu suất tương tự trên tập dữ liệu đào tạo, hiệu suất dao động rộng khi các mô hình được chạy qua các bài kiểm tra căng thẳng.

Ngành nghiên cứu đã tìm thấy kết quả tương tự khi họ đào tạo và kiểm tra căng thẳng hai hệ thống NLP khác nhau, cũng như khi họ kiểm tra các mô hình tầm nhìn máy tính khác. Trong mỗi trường hợp, các mô hình khác biệt rộng rãi với nhau mặc dù quá trình đào tạo cho tất cả các mô hình đều giống nhau.

Theo D’Amour, các nhà nghiên cứu và kỹ sư học máy cần phải thực hiện nhiều kiểm tra căng thẳng hơn trước khi phát hành mô hình vào thế giới thực. Điều này có thể khó thực hiện, vì các bài kiểm tra căng thẳng cần được tùy chỉnh cho các nhiệm vụ cụ thể bằng cách sử dụng dữ liệu từ thế giới thực, dữ liệu có thể khó có được cho một số nhiệm vụ và ngữ cảnh. Một giải pháp tiềm năng cho vấn đề underspecification là tạo ra nhiều mô hình cùng một lúc và sau đó kiểm tra các mô hình trên một loạt các nhiệm vụ thực tế, chọn mô hình luôn cho kết quả tốt nhất. Phát triển mô hình theo cách này đòi hỏi nhiều thời gian và tài nguyên, nhưng sự trao đổi có thể đáng giá, đặc biệt là đối với các mô hình AI được sử dụng trong các ngữ cảnh y tế hoặc các lĩnh vực khác nơi an toàn là một vấn đề chính. Như D’Amour đã giải thích qua MIT Technology Review:

“Chúng tôi cần phải tốt hơn trong việc chỉ định chính xác những yêu cầu của chúng tôi cho các mô hình. Bởi vì thường những gì xảy ra là chúng tôi chỉ phát hiện ra những yêu cầu này sau khi mô hình đã thất bại trong thế giới thực.”