Thư viện Neural Tangent Mới Từ Google Cung Cấp Cho Các Nhà Khoa Học Dữ Liệu “Không Tương Đương” Về Mô Hình

Google đã thiết kế một thư viện mã nguồn mở mới nhằm mục đích mở khóa hộp đen của học máy và cung cấp cho các kỹ sư nhiều thông tin hơn về cách các hệ thống học máy của họ hoạt động. Như được báo cáo bởi VentureBeat, đội nghiên cứu của Google cho biết rằng thư viện này có thể cung cấp “không tương đương” về cách các mô hình học máy hoạt động.

Mạng nơ-ron hoạt động thông qua các nơ-ron chứa các hàm toán học biến đổi dữ liệu theo nhiều cách khác nhau. Các nơ-ron trong mạng được kết nối với nhau thành các lớp, và mạng nơ-ron có chiều sâu và chiều rộng. Chiều sâu của một mạng nơ-ron được kiểm soát bởi số lượng lớp mà nó có, và các lớp khác nhau của mạng điều chỉnh các kết nối giữa các nơ-ron, ảnh hưởng đến cách dữ liệu được xử lý khi di chuyển giữa các lớp. Số lượng nơ-ron trong lớp là chiều rộng của lớp. Theo kỹ sư nghiên cứu của Google, Roman Novak và nhà khoa học nghiên cứu cấp cao tại Google, Samuel S. Schoenholz, chiều rộng của mô hình紧密 tương quan với hành vi thường xuyên và lặp lại. Trong một bài đăng trên blog, hai nhà nghiên cứu đã giải thích rằng việc làm cho mạng nơ-ron rộng hơn làm cho hành vi của chúng trở nên thường xuyên và dễ giải thích hơn.

Có tồn tại một loại mô hình học máy khác gọi là quá trình Gaussian. Quá trình Gaussian là một quá trình ngẫu nhiên có thể được biểu diễn dưới dạng phân phối chuẩn đa biến. Với quá trình Gaussian, mọi tập hợp / tổ hợp tuyến tính hữu hạn của biến sẽ được phân phối chuẩn. Điều này có nghĩa là có thể biểu diễn các tương tác phức tạp giữa các biến dưới dạng các phương trình đại số tuyến tính có thể giải thích được, và do đó, có thể nghiên cứu hành vi của AI thông qua ống kính này. Làm thế nào chính xác các mô hình học máy liên quan đến quá trình Gaussian? Các mô hình học máy có chiều rộng vô hạn hội tụ đến một quá trình Gaussian.

Tuy nhiên, trong khi có thể giải thích các mô hình học máy thông qua ống kính của quá trình Gaussian, nó đòi hỏi phải suy dẫn giới hạn chiều rộng vô hạn của mô hình. Đây là một loạt các tính toán phức tạp phải được thực hiện cho từng kiến trúc riêng biệt. Để làm cho các tính toán này trở nên dễ dàng và nhanh chóng hơn, đội nghiên cứu của Google đã thiết kế Neural Tangents. Neural Tangents cho phép một nhà khoa học dữ liệu sử dụng chỉ một vài dòng mã và đào tạo nhiều mạng nơ-ron vô hạn cùng một lúc. Nhiều mạng nơ-ron thường được đào tạo trên cùng một tập dữ liệu và dự đoán của chúng được tính trung bình, để có được dự đoán mạnh mẽ hơn miễn nhiễm với các vấn đề có thể xảy ra trong từng mô hình riêng lẻ. Một kỹ thuật như vậy được gọi là học tập tập thể. Một trong những nhược điểm của học tập tập thể là nó thường tốn kém về mặt tính toán. Tuy nhiên, khi một mạng có chiều rộng vô hạn được đào tạo, tập thể được mô tả bởi một quá trình Gaussian và phương sai và trung bình có thể được tính toán.

Ba kiến trúc mạng nơ-ron vô hạn khác nhau đã được so sánh như một thử nghiệm, và kết quả của so sánh đã được xuất bản trong bài đăng trên blog. Tổng thể, kết quả của các mạng tập thể được thúc đẩy bởi các quá trình Gaussian tương tự như hiệu suất của mạng nơ-ron hữu hạn thông thường:

Như đội nghiên cứu giải thích trong một bài đăng trên blog:

“Chúng tôi thấy rằng, bắt chước mạng nơ-ron hữu hạn, mạng nơ-ron vô hạn chiều rộng theo một thứ bậc hiệu suất tương tự với mạng nơ-ron hoàn toàn kết nối thực hiện kém hơn mạng nơ-ron tích chập, mà ngược lại thực hiện kém hơn mạng nơ-ron dư thừa rộng. Tuy nhiên, không giống như đào tạo thông thường, động lực học của các mô hình này hoàn toàn có thể theo dõi được trong dạng đóng, cho phép [mới] thông tin về hành vi của chúng.”

Việc phát hành Neural Tangents dường như được thời gian để trùng với Hội nghị Phát triển TensorFlow. Hội nghị phát triển thấy các kỹ sư học máy sử dụng nền tảng TensorFlow của Google gặp nhau. Thông báo Neural Tangents cũng đến không lâu sau khi TensorFlow Quantum được công bố.

Neural Tangents đã được cung cấp thông qua GitHub và có một sổ tay và hướng dẫn Google Colaboratory mà những người quan tâm có thể truy cập.