Công cụ mới có thể hiển thị cho các nhà nghiên cứu những gì GAN bỏ qua một hình ảnh

Gần đây, một nhóm các nhà nghiên cứu từ Phòng thí nghiệm trí tuệ nhân tạo MIT-IBM Watson đã tạo ra một phương pháp hiển thị những gì Mạng đối thủ sáng tạo loại bỏ khỏi hình ảnh khi được yêu cầu tạo hình ảnh. Nghiên cứu được mệnh danh là Xem những gì GAN không thể tạovà gần đây nó đã được trình bày tại Hội nghị quốc tế về Thị giác máy tính.

Mạng đối thủ chung đã trở nên mạnh mẽ hơn, tinh vi hơn và được sử dụng rộng rãi trong vài năm qua. Họ đã trở nên khá giỏi trong việc hiển thị hình ảnh đầy đủ chi tiết, miễn là hình ảnh đó được giới hạn trong một khu vực tương đối nhỏ. Tuy nhiên, khi GAN được sử dụng để tạo hình ảnh của các cảnh và môi trường lớn hơn, chúng cũng có xu hướng không hoạt động tốt. Trong các tình huống mà GAN ​​được yêu cầu hiển thị các cảnh có nhiều đối tượng và vật phẩm, chẳng hạn như một con phố đông đúc, GAN thường bỏ qua nhiều khía cạnh quan trọng của hình ảnh.

Theo Tin tức MIT, nghiên cứu được phát triển một phần bởi David Bau, một nghiên cứu sinh tại Khoa Kỹ thuật Điện và Khoa học Máy tính tại MIT. Bau giải thích rằng các nhà nghiên cứu thường tập trung vào việc tinh chỉnh những gì hệ thống máy học chú ý đến và tìm hiểu cách ánh xạ một số đầu vào nhất định tới một số đầu ra nhất định. Tuy nhiên, Bau cũng giải thích rằng việc hiểu những dữ liệu nào bị các mô hình học máy bỏ qua cũng quan trọng không kém và nhóm nghiên cứu hy vọng các công cụ của họ sẽ truyền cảm hứng cho các nhà nghiên cứu chú ý đến dữ liệu bị bỏ qua.

Mối quan tâm của Bau đối với GAN được thúc đẩy bởi thực tế là chúng có thể được sử dụng để điều tra bản chất hộp đen của mạng nơ-ron và để có được trực giác về cách các mạng có thể suy luận. Bau trước đây đã làm việc trên một công cụ có thể xác định các cụm tế bào thần kinh nhân tạo cụ thể, gán nhãn cho chúng chịu trách nhiệm thể hiện các đối tượng trong thế giới thực như sách, đám mây và cây cối. Bau cũng đã có kinh nghiệm với một công cụ có tên là GANPaint, cho phép các nghệ sĩ xóa và thêm các tính năng cụ thể khỏi ảnh bằng cách sử dụng GAN. Theo Bau, ứng dụng GANPaint đã tiết lộ một vấn đề tiềm ẩn với GAN, một vấn đề trở nên rõ ràng khi Bau phân tích các hình ảnh. Như Bau nói với MIT News:

“Cố vấn của tôi luôn khuyến khích chúng tôi nhìn xa hơn những con số và xem xét kỹ lưỡng những hình ảnh thực tế. Khi chúng tôi xem xét, hiện tượng này đã bộc lộ ngay: Mọi người đang bỏ học một cách có chọn lọc.”

Mặc dù các hệ thống máy học được thiết kế để trích xuất các mẫu từ hình ảnh, nhưng cuối cùng chúng cũng có thể bỏ qua các mẫu có liên quan. Bau và các nhà nghiên cứu khác đã thử nghiệm đào tạo GAN trên nhiều cảnh trong nhà và ngoài trời khác nhau, nhưng trong tất cả các loại cảnh khác nhau, GAN đã bỏ qua các chi tiết quan trọng trong cảnh như ô tô, biển báo, người, xe đạp, v.v. Điều này đúng ngay cả khi các đối tượng bị bỏ lại là quan trọng đối với cảnh được đề cập.

Nhóm nghiên cứu đã đưa ra giả thuyết rằng khi GAN được đào tạo về hình ảnh, GAN có thể thấy dễ dàng nắm bắt các mẫu của hình ảnh dễ thể hiện hơn, chẳng hạn như các vật thể cố định lớn như phong cảnh và tòa nhà. Nó học các mẫu này hơn các mẫu khác, khó giải thích hơn, chẳng hạn như ô tô và con người. Mọi người đều biết rằng GAN thường bỏ qua các chi tiết quan trọng, có ý nghĩa khi tạo hình ảnh, nhưng nghiên cứu từ nhóm MIT có thể là lần đầu tiên GAN được chứng minh là bỏ qua toàn bộ các lớp đối tượng trong một hình ảnh.

Nhóm nghiên cứu lưu ý rằng GAN có thể đạt được các mục tiêu số của họ ngay cả khi loại bỏ các đối tượng mà con người quan tâm khi xem hình ảnh. Nếu hình ảnh do GANS tạo sẽ được sử dụng để huấn luyện các hệ thống phức tạp như xe tự hành, dữ liệu hình ảnh phải được xem xét kỹ lưỡng vì có một mối lo ngại thực sự là các đối tượng quan trọng như biển báo, con người và những chiếc ô tô khác có thể bị loại khỏi hình ảnh. Bau giải thích rằng nghiên cứu của họ cho thấy tại sao hiệu suất của một mô hình không nên chỉ dựa trên độ chính xác:

“Chúng tôi cần hiểu mạng đang làm gì và không làm gì để đảm bảo rằng họ đang đưa ra những lựa chọn mà chúng tôi muốn họ đưa ra.”