Nghiên cứu mới gợi ý não nhân tạo có thể được lợi từ giấc ngủ

Nghiên cứu mới từ Los Alamos National Laboratory gợi ý rằng não nhân tạo gần như chắc chắn sẽ được lợi từ những khoảng thời gian nghỉ ngơi như não sống.

Nghiên cứu sẽ được trình bày tại Hội thảo Women in Computer Vision ở Seattle vào ngày 14 tháng 6.

Yijing Watkins là một nhà khoa học máy tính tại Los Alamos National Laboratory.

“Chúng tôi nghiên cứu các mạng nơ-ron xung, những hệ thống học tập giống như não sống,” nói Watkins. “Chúng tôi đã bị thu hút bởi triển vọng đào tạo một bộ xử lý hình thái học theo cách tương tự như cách con người và các hệ thống sinh học khác học tập từ môi trường của chúng trong quá trình phát triển thời thơ ấu.”

Giải quyết sự không ổn định trong mô phỏng mạng

Watkins và nhóm của cô đã phát hiện ra rằng các khoảng thời gian học tập không giám sát liên tục dẫn đến sự không ổn định trong mô phỏng mạng. Tuy nhiên, khi nhóm giới thiệu mạng lưới đến các trạng thái là kết quả của các sóng mà não sống trải qua trong giấc ngủ, sự ổn định đã có thể được phục hồi.

“Đó giống như chúng tôi đã cho các mạng nơ-ron một giấc ngủ ngon,” nói Watkins.

Nhóm đã thực hiện phát hiện này khi họ đang làm việc trên việc phát triển các mạng nơ-ron dựa trên cách con người và các hệ thống sinh học khác học tập để nhìn. Nhóm đã gặp phải một số thách thức khi cố gắng ổn định các mạng nơ-ron mô phỏng đang trải qua đào tạo từ điển không giám sát. Đào tạo từ điển không giám sát liên quan đến việc phân loại các đối tượng mà không có các ví dụ trước để sử dụng cho so sánh.

Garrett Kenyon là một nhà khoa học máy tính tại Los Alamos và là đồng tác giả của nghiên cứu.

“Vấn đề về cách giữ cho các hệ thống học tập không trở nên không ổn định thực sự chỉ phát sinh khi cố gắng sử dụng các bộ xử lý hình thái học nơ-ron xung và thực tế sinh học hoặc khi cố gắng hiểu sinh học bản thân,” nói Kenyon. “Hầu hết các nhà nghiên cứu học tập máy, học sâu và trí tuệ nhân tạo không bao giờ gặp phải vấn đề này vì trong các hệ thống rất nhân tạo mà họ nghiên cứu, họ có thể thực hiện các hoạt động toán học toàn cầu có tác dụng điều chỉnh tổng lợi ích động của hệ thống.”

Ngủ như một giải pháp cuối cùng

Theo các nhà nghiên cứu, việc tiếp xúc với mạng lưới với một tương tự nhân tạo của giấc ngủ là giải pháp cuối cùng của họ để ổn định chúng. Sau khi thử nghiệm với các loại tiếng ồn khác nhau, những kết quả tốt nhất đến từ các sóng tiếng ồn Gaussian. Loại tiếng ồn này bao gồm một loạt các tần số và biên độ.

Các nhà nghiên cứu đã đưa ra giả thuyết rằng trong giấc ngủ sóng chậm, tiếng ồn mô phỏng đầu vào nhận được bởi các nơ-ron sinh học. Kết quả cho thấy giấc ngủ sóng chậm có thể đóng vai trò trong việc đảm bảo rằng các nơ-ron vỏ não không bị ảo giác và duy trì sự ổn định của chúng.

Nhóm sẽ hiện đang làm việc trên việc triển khai thuật toán trên chip hình thái học Intel (INTC ) Loihi, hy vọng rằng giấc ngủ sẽ giúp nó xử lý thông tin từ một máy ảnh silicon retina trong thời gian thực. Nếu nghiên cứu xác định rằng não nhân tạo có thể được lợi từ giấc ngủ, điều tương tự cũng có thể đúng với các android và máy móc thông minh khác.

Nguồn: Sử dụng tiếng ồn điều chế hình sin như một sự thay thế cho giấc ngủ sóng chậm để đạt được học tập từ điển không giám sát ổn định trong một mô hình mã hóa thưa dựa trên xung, Hội thảo Women in Computer Vision, 2020-06-14 (Seattle, Washington, Hoa Kỳ)