Các nhà nghiên cứu tìm kiếm sự giúp đỡ của các nhà khoa học thần kinh để vượt qua thiên vị dữ liệu

Một nhóm các nhà nghiên cứu tại MIT, Đại học Harvard và Fujitsu, Ltd. đã tìm hiểu cách một mô hình học máy có thể vượt qua thiên vị dữ liệu. Họ dựa vào cách tiếp cận của khoa học thần kinh để nghiên cứu cách dữ liệu đào tạo ảnh hưởng đến khả năng của một mạng nơ-ron nhân tạo trong việc nhận dạng các đối tượng mà nó chưa từng thấy.

Nghiên cứu này đã được công bố trên Nature Machine Intelligence.

Sự đa dạng trong dữ liệu đào tạo

Kết quả của nghiên cứu cho thấy sự đa dạng trong dữ liệu đào tạo ảnh hưởng đến khả năng của mạng nơ-ron trong việc vượt qua thiên vị. Tuy nhiên, sự đa dạng của dữ liệu cũng có thể có tác động tiêu cực đến hiệu suất của mạng. Các nhà nghiên cứu cũng chỉ ra rằng cách đào tạo mạng nơ-ron cũng có thể ảnh hưởng đến khả năng của nó trong việc vượt qua thiên vị.

Xavier Boix là một nhà khoa học nghiên cứu tại Bộ phận Khoa học Thần kinh và Khoa học Nhận thức (BCS) và Trung tâm Não bộ, Tâm trí và Máy móc (CBMM). Ông cũng là tác giả chính của bài báo.

“Một mạng nơ-ron có thể vượt qua thiên vị dữ liệu, điều này rất鼓舞. Nhưng điều quan trọng nhất ở đây là chúng ta cần phải tính đến sự đa dạng của dữ liệu. Chúng ta cần phải ngừng nghĩ rằng chỉ cần thu thập một lượng lớn dữ liệu thô, điều đó sẽ giúp chúng ta đạt được mục tiêu. Chúng ta cần phải rất cẩn thận khi thiết kế dữ liệu từ đầu,” Boix nói.

Đội ngũ nghiên cứu đã tiếp cận vấn đề này với tư duy của một nhà khoa học thần kinh. Theo Boix, việc sử dụng dữ liệu được kiểm soát trong các thí nghiệm là rất phổ biến, vì vậy đội ngũ đã xây dựng các tập dữ liệu chứa hình ảnh của các đối tượng khác nhau ở các tư thế khác nhau. Họ sau đó đã kiểm soát các kết hợp để một số tập dữ liệu trở nên đa dạng hơn các tập dữ liệu khác. Một tập dữ liệu có nhiều hình ảnh hiển thị đối tượng từ chỉ một góc nhìn là ít đa dạng hơn, trong khi một tập dữ liệu có nhiều hình ảnh hiển thị đối tượng từ nhiều góc nhìn khác nhau là đa dạng hơn.

Các nhà nghiên cứu đã lấy các tập dữ liệu này và sử dụng chúng để đào tạo một mạng nơ-ron cho việc phân loại hình ảnh. Sau đó, họ đã nghiên cứu cách tốt nó có thể nhận dạng các đối tượng từ các góc nhìn mà mạng không thấy trong quá trình đào tạo.

Họ đã phát hiện ra rằng các tập dữ liệu đa dạng hơn cho phép mạng tổng quát hóa tốt hơn các hình ảnh mới hoặc các góc nhìn mới, và điều này là rất quan trọng để vượt qua thiên vị.

“Nhưng không phải lúc nào sự đa dạng của dữ liệu cũng tốt hơn; có một sự căng thẳng ở đây. Khi mạng nơ-ron trở nên tốt hơn trong việc nhận dạng các thứ mới nó chưa từng thấy, thì nó sẽ trở nên khó khăn hơn trong việc nhận dạng các thứ nó đã thấy,” Boix nói.

Phương pháp đào tạo mạng nơ-ron

Đội ngũ cũng đã phát hiện ra rằng một mô hình được đào tạo riêng cho từng nhiệm vụ có thể vượt qua thiên vị tốt hơn so với một mô hình được đào tạo cho cả hai nhiệm vụ cùng nhau.

“Kết quả thật sự rất đáng chú ý. Trên thực tế, lần đầu tiên chúng tôi thực hiện thí nghiệm này, chúng tôi nghĩ đó là một lỗi. Nó đã mất vài tuần để chúng tôi nhận ra đó là một kết quả thực sự vì nó quá bất ngờ,” Boix tiếp tục.

Phân tích sâu hơn cho thấy sự chuyên môn hóa của nơ-ron tham gia vào quá trình này. Khi mạng nơ-ron được đào tạo để nhận dạng đối tượng trong hình ảnh, hai loại nơ-ron xuất hiện. Một nơ-ron chuyên môn hóa trong việc nhận dạng loại đối tượng trong khi nơ-ron khác chuyên môn hóa trong việc nhận dạng góc nhìn.

Các nơ-ron chuyên môn hóa trở nên nổi bật hơn khi mạng được đào tạo để thực hiện các nhiệm vụ riêng biệt. Tuy nhiên, khi một mạng được đào tạo để hoàn thành cả hai nhiệm vụ cùng một lúc, một số nơ-ron trở nên loãng. Điều này có nghĩa là chúng không chuyên môn hóa trong một nhiệm vụ và chúng có nhiều khả năng bị nhầm lẫn.

“Nhưng câu hỏi tiếp theo bây giờ là, làm thế nào những nơ-ron này xuất hiện? Bạn đào tạo mạng nơ-ron và chúng xuất hiện từ quá trình học. Không ai nói với mạng rằng nó cần phải bao gồm những loại nơ-ron này trong kiến trúc của nó. Đó là điều thú vị,” Boix nói.

Các nhà nghiên cứu sẽ tìm cách khám phá câu hỏi này trong công việc tương lai của họ, cũng như áp dụng phương pháp mới này vào các nhiệm vụ phức tạp hơn.