GPU Có Thể Tốt Hơn, Không Chỉ Nhanh Hơn, Trong Việc Huấn Luyện Mạng Nơ-Ron Sâu

Những nhà nghiên cứu từ Ba Lan và Nhật Bản, làm việc với Sony, đã tìm thấy bằng chứng cho thấy các hệ thống học máy được đào tạo trên GPU thay vì CPU có thể chứa ít lỗi hơn trong quá trình đào tạo và tạo ra kết quả tốt hơn, mâu thuẫn với sự hiểu biết chung rằng GPU chỉ thực hiện các hoạt động nhanh hơn, chứ không tốt hơn.

Nghiên cứu, với tiêu đề Tác động của sự không chắc chắn của GPU đến việc đào tạo mạng nơ-ron sâu dự đoán, đến từ Khoa Tâm lý học và Khoa học Nhận thức tại Đại học Adam Mickiewicz và hai trường đại học Nhật Bản, cùng với Phòng thí nghiệm Khoa học Máy tính Sony.

Nghiên cứu cho thấy rằng ‘sự không chắc chắn’ mà mạng nơ-ron sâu thể hiện khi đối mặt với các cấu hình phần cứng và phần mềm khác nhau ưa thích các đơn vị xử lý đồ họa (GPU) đắt tiền hơn (và ngày càng khan hiếm) hơn, và phát hiện ra trong các thử nghiệm rằng một mạng nơ-ron sâu được đào tạo độc quyền trên CPU tạo ra tỷ lệ lỗi cao hơn trong cùng số lượng epoch (số lần hệ thống xử lý lại dữ liệu đào tạo trong một phiên).

Trong ví dụ bổ sung này từ bài báo, chúng ta thấy (hai hàng dưới cùng), chất lượng kết quả tương tự được thu được từ nhiều GPU, và (hàng trên cùng), kết quả kém hơn được thu được từ nhiều CPU mạnh.. Nguồn: https://arxiv.org/pdf/2109.01451.pdf

Hiện Tượng Kỳ Lạ

Những phát hiện sơ bộ này không áp dụng đồng đều trên các thuật toán học máy phổ biến, và trong trường hợp của kiến trúc mã hóa tự động đơn giản, hiện tượng này không xuất hiện.

Dù vậy, công việc này gợi ý về một khả năng ‘tốc độ thoát’ cho hiệu quả đào tạo trong mạng nơ-ron phức tạp, nơi thực hiện các hoạt động相同 ở tốc độ thấp hơn và thời gian đào tạo lâu hơn không đạt được sự tương đương về hiệu suất mà một người mong đợi từ các quy trình lặp lại toán học.

Những nhà nghiên cứu đề xuất rằng sự chênh lệch hiệu suất này có thể đặc biệt đối với một số loại mạng nơ-ron, và rằng các khía cạnh không xác định của quá trình xử lý GPU, thường được coi là một chướng ngại vật cần phải vượt qua, không chỉ cung cấp những lợi ích đáng kể mà còn có thể được tích hợp một cách có chủ đích vào các hệ thống sau này. Bài báo cũng đề xuất rằng những phát hiện này có thể cung cấp những hiểu biết sâu sắc hơn về quá trình xử lý tính toán liên quan đến não bộ.

Xác định những đặc điểm tăng hiệu quả và chất lượng kết quả trên GPU như vậy có tiềm năng cung cấp một hiểu biết sâu sắc hơn về kiến trúc ‘hộp đen’ AI, và thậm chí cải thiện hiệu suất CPU – mặc dù hiện tại, nguyên nhân cơ bản vẫn còn khó hiểu.

Mã Hóa Tự Động So Với PredNet

Khi nghiên cứu những bất thường, những nhà nghiên cứu sử dụng một mã hóa tự động cơ bản và cũng sử dụng mạng nơ-ron dự đoán của Đại học Harvard PredNet, nghiên cứu từ năm 2016 được thiết kế để khám phá và cố gắng tái tạo hành vi của vỏ não người.

Cả hai hệ thống đều là mạng nơ-ron sâu được thiết kế để tổng hợp hình ảnh phù hợp thông qua học không giám sát (với dữ liệu mà nhãn đã bị bỏ qua), mặc dù mã hóa tự động xử lý tuyến tính với một hình ảnh mỗi批, sau đó sẽ tạo ra đầu ra như hình ảnh tiếp theo trong một đường ống lặp lại. Mã hóa tự động được đào tạo trên cơ sở dữ liệu chữ viết tay MNIST.

Mã hóa tự động trong các thử nghiệm của nhà nghiên cứu được đào tạo trên cơ sở dữ liệu MNIST, bao gồm 60.000 hình ảnh đào tạo với kích thước 28×28 pixel, chống răng cưa cho cảm nhận độ xám, cũng như 10.000 hình ảnh thử nghiệm.

Ngược lại, PredNet đánh giá đầu vào video phức tạp, và trong trường hợp của nghiên cứu này, được đào tạo trên tập dữ liệu FPSI, bao gồm nhiều đoạn video từ máy quay đeo trên người trong một ngày tại Disney World ở Orlando, Florida (Disney là một trong những đối tác nghiên cứu trong bài báo năm 2012).

Các chuỗi hình ảnh từ FPSI, hiển thị các góc nhìn từ trên cao trong một ngày tại Disney World.

Hai kiến trúc này rất khác nhau về độ phức tạp. Mã hóa tự động được thiết kế để tái tạo hình ảnh chứ không phải dự đoán giá trị mục tiêu. Ngược lại, PredNet bao gồm bốn lớp, mỗi lớp bao gồm các nơ-ron biểu diễn sử dụng bộ nhớ ngắn hạn convolutional (LSTM).

Các lớp xuất ra dự đoán ngữ cảnh mà sau đó được so sánh với một mục tiêu để tạo ra một thuật ngữ lỗi được truyền播 trong toàn mạng. Cả hai mô hình đều sử dụng học không giám sát.

Kiến trúc đơn giản, tuyến tính của mã hóa tự động, và mạng lưới phức tạp, lặp lại của PredNet.

Cả hai hệ thống đều được thử nghiệm trên nhiều cấu hình phần cứng và phần mềm, bao gồm CPU không có GPU (Intel i5-4590, i7-6800K, i5-7600K, hoặc AMD Ryzen-5-3600) và CPU có GPU (Intel i5-7600K + NVIDIA GTX-750Ti, i5-7600K + GTX-970, i7-6700K + GTX-1080, i7-7700K + GTX-1080Ti, i7-9700 + RTX-2080Ti, i5-7600K + RTX-2060 super, AMD Ryzen-5-3600 + RTX-2070 super, hoặc i5-9400 + Titan-RTX).

Công cụ xem quá trình tương tác htop được sử dụng để đảm bảo rằng tất cả quá trình đào tạo xảy ra trên một luồng (trên Intel i7-6800K), trên bốn luồng (trên Intel i5-4590 và i5-7600K), hoặc sáu luồng (trên AMD Ryzen-5-3600).

Điểm Cứa

Trên mã hóa tự động, sự khác biệt trung bình trên tất cả các cấu hình, với và không có cuDNN, không đáng kể. Đối với PredNet, kết quả thật đáng kinh ngạc, với sự khác biệt đáng kể trong đánh giá mất mát và chất lượng giữa đào tạo CPU và GPU.

Kết quả mất mát trung bình cho đào tạo PredNet trên bốn CPU và tám GPU, với mạng được đào tạo trên 5000 khung hình video trong 250批, với mất mát trung bình cho 1000 khung hình cuối (50批) được hiển thị. cuDNN đã tắt.

Những nhà nghiên cứu kết luận rằng ‘Mặc dù cơ chế không rõ ràng, phần cứng GPU dường như có khả năng thúc đẩy quá trình đào tạo mạng nơ-ron sâu.’

Kết quả cho thấy rằng GPU có thể tốt hơn trong việc tránh điểm cứa – những khu vực trong một gradient descent mô tả đáy của một độ dốc.

Điểm thấp nhất của các độ dốc trong một gradient descent là ‘điểm cứa’, được đặt tên vì lý do rõ ràng. Nguồn: https://www.pinterest.com.au/pin/436849232581124086/

Điểm cứa, mặc dù là một chướng ngại vật, đã được coi là có thể dễ dàng vượt qua trong suy nghĩ gần đây về tối ưu hóa gradient descent ngẫu nhiên (SGD), nhưng bài báo mới này đề xuất không chỉ rằng GPU có thể được trang bị độc đáo để tránh chúng, mà còn rằng ảnh hưởng của điểm cứa nên được xem xét lại.