Các nhà nghiên cứu sử dụng AI để điều tra cách phản chiếu khác với hình ảnh gốc

Các nhà nghiên cứu tại Đại học Cornell gần đây đã sử dụng hệ thống học máy để điều tra cách phản chiếu của hình ảnh khác với hình ảnh gốc. Theo ScienceDaily, các thuật toán được tạo bởi nhóm nghiên cứu đã tìm thấy những dấu hiệu đặc trưng, khác biệt so với hình ảnh gốc, rằng một hình ảnh đã được lật hoặc phản chiếu.

Giáo sư phụ tá khoa học máy tính tại Cornell Tech, Noah Snavely, là tác giả chính của nghiên cứu. Theo Snavely, dự án nghiên cứu bắt đầu khi các nhà nghiên cứu trở nên tò mò về cách hình ảnh khác nhau theo cả cách rõ ràng và tinh tế khi chúng được phản chiếu. Snavely giải thích rằng ngay cả những thứ có vẻ rất đối xứng khi nhìn đầu tiên cũng có thể được phân biệt là một phản chiếu khi nghiên cứu. “Tôi bị thu hút bởi những khám phá bạn có thể thực hiện với những cách mới để thu thập thông tin,” Snavely nói, theo ScienceDaily.

Các nhà nghiên cứu tập trung vào hình ảnh của con người, sử dụng chúng để đào tạo thuật toán của họ. Điều này được thực hiện vì khuôn mặt không rõ ràng là không đối xứng. Khi được đào tạo trên dữ liệu phân biệt hình ảnh lật với hình ảnh gốc, AI đạt được độ chính xác từ 60% đến 90% trên các loại hình ảnh khác nhau.

Nhiều đặc điểm trực quan của hình ảnh lật mà AI học được khá tinh tế và khó khăn cho con người phân biệt khi nhìn vào hình ảnh lật. Để diễn giải tốt hơn các tính năng mà AI sử dụng để phân biệt giữa hình ảnh lật và hình ảnh gốc, các nhà nghiên cứu đã tạo ra một bản đồ nhiệt. Bản đồ nhiệt cho thấy các vùng của hình ảnh mà AI tập trung vào. Theo các nhà nghiên cứu, một trong những manh mối phổ biến nhất mà AI sử dụng để phân biệt hình ảnh lật là văn bản. Điều này không có gì đáng ngạc nhiên, và các nhà nghiên cứu đã loại bỏ hình ảnh chứa văn bản khỏi tập dữ liệu đào tạo của họ để có được ý tưởng tốt hơn về sự khác biệt tinh tế giữa hình ảnh lật và hình ảnh gốc.

Sau khi loại bỏ hình ảnh chứa văn bản khỏi tập dữ liệu đào tạo, các nhà nghiên cứu phát hiện ra rằng bộ phân loại AI tập trung vào các tính năng của hình ảnh như cúc áo, điện thoại di động, đồng hồ đeo tay và khuôn mặt. Một số tính năng này có mẫu rõ ràng, đáng tin cậy mà AI có thể tập trung vào, chẳng hạn như thực tế là mọi người thường mang điện thoại di động ở tay phải và các nút trên cúc áo thường ở bên trái. Tuy nhiên, các tính năng khuôn mặt thường rất đối xứng với sự khác biệt nhỏ và rất khó cho người quan sát phát hiện.

Các nhà nghiên cứu đã tạo ra một bản đồ nhiệt khác để突出 các khu vực của khuôn mặt mà AI thường tập trung vào. AI thường sử dụng mắt, tóc và râu của mọi người để phát hiện hình ảnh lật. Vì lý do không rõ ràng, mọi người thường nhìn slightly sang trái khi họ được chụp ảnh. Về lý do tại sao tóc và râu là chỉ số của hình ảnh lật, các nhà nghiên cứu không chắc chắn nhưng họ suy đoán rằng sự thuận tay của một người có thể được tiết lộ bởi cách họ cạo hoặc chải. Mặc dù những chỉ số này có thể không đáng tin cậy, bằng cách kết hợp nhiều chỉ số lại với nhau, các nhà nghiên cứu có thể đạt được sự tự tin và độ chính xác cao hơn.

Cần phải thực hiện nhiều nghiên cứu hơn theo hướng này, nhưng nếu các phát hiện là nhất quán và đáng tin cậy thì nó có thể giúp các nhà nghiên cứu tìm ra cách đào tạo thuật toán học máy hiệu quả hơn. Trí tuệ thị giác máy tính thường được đào tạo bằng cách sử dụng phản chiếu của hình ảnh, vì đây là một cách hiệu quả và nhanh chóng để tăng số lượng dữ liệu đào tạo có sẵn. Có thể rằng việc phân tích cách phản chiếu của hình ảnh khác nhau có thể giúp các nhà nghiên cứu về học máy hiểu rõ hơn về các thiên vị hiện diện trong mô hình học máy có thể gây ra việc phân loại hình ảnh không chính xác.

Như Snavely đã được trích dẫn bởi ScienceDaily:

“Điều này dẫn đến một câu hỏi mở cho cộng đồng thị giác máy tính, đó là, khi nào thì việc lật để tăng cường tập dữ liệu là được phép, và khi nào thì không? Tôi hy vọng điều này sẽ khiến mọi người suy nghĩ nhiều hơn về những câu hỏi này và bắt đầu phát triển các công cụ để hiểu cách nó thiên vị thuật toán.”