Nghiên cứu của Google Xác định một Bottleneck trong Các Phương pháp Hyperscale cho Trí tuệ Nhân tạo

Một bài báo mới từ Nghiên cứu của Google chỉ ra rằng xu hướng hiện tại trong việc tạo ra các tập dữ liệu có khối lượng rất lớn có thể là phản tác dụng đối với việc phát triển các hệ thống trí tuệ nhân tạo hiệu quả. Trên thực tế, nghiên cứu cho thấy rằng các sản phẩm học máy tốt hơn có thể xuất hiện từ việc được đào tạo trên các tập dữ liệu ít chính xác hơn (tức là kỹ thuật ‘kém hơn’).

Nếu các nguyên tắc thu được bởi các nhà nghiên cứu là hợp lệ, điều đó có nghĩa là các tập dữ liệu ‘hyperscale’ như gần đây được phát hành LAION-400M (chứa 400 triệu cặp văn bản/hình ảnh), và dữ liệu đằng sau động cơ ngôn ngữ thần kinh GPT-3 (chứa 175 tỷ tham số), có thể bị ảnh hưởng bởi một loại ‘giới hạn nhiệt’ trong các kiến trúc và phương pháp học máy truyền thống và phổ biến, nơi mà khối lượng dữ liệu ‘bão hòa’ các ứng dụng hạ nguồn và ngăn cản chúng tổng quát hóa theo cách hữu ích.

Các nhà nghiên cứu cũng đề xuất các phương pháp thay thế để tái cấu trúc kiến trúc tập dữ liệu hyperscale, nhằm khắc phục sự mất cân bằng.

Bài báo này tuyên bố:

‘Khi đi sâu vào để hiểu rõ hơn về các lý do dẫn đến những hiện tượng này, chúng tôi chỉ ra rằng hành vi bão hòa mà chúng tôi quan sát được có liên quan chặt chẽ với cách mà các biểu diễn tiến hóa qua các lớp của mô hình. Chúng tôi trình bày một kịch bản thậm chí còn cực đoan hơn nơi hiệu suất của các nhiệm vụ hạ nguồn và thượng nguồn mâu thuẫn với nhau. Tức là, để có được hiệu suất hạ nguồn tốt hơn, chúng tôi cần làm tổn thương độ chính xác của thượng nguồn.’

Nghiên cứu này có tiêu đề Khám phá Giới hạn của Việc Pre-training Qu mô Lớn, và đến từ bốn tác giả tại Nghiên cứu của Google.

Khảo sát ‘Bão hòa’

Các tác giả thách thức các giả định phổ biến về mối quan hệ giữa máy học và dữ liệu trong thời đại dữ liệu hyperscale: rằng việc mở rộng mô hình và kích thước dữ liệu rõ ràng cải thiện hiệu suất (một niềm tin đã được巩固 trong sự cường điệu xung quanh GPT-3 kể từ khi nó ra mắt); và rằng hiệu suất cải thiện này ‘truyền qua’ đến các nhiệm vụ hạ nguồn theo cách tuyến tính (tức là mong muốn), để các thuật toán trên thiết bị cuối cùng được phát hành ra thị trường, được派 sinh từ các tập dữ liệu và mô hình đào tạo không thể quản lý được và không được chưng cất, hoàn toàn lợi dụng được những hiểu biết của các kiến trúc thượng nguồn đầy đủ kích cỡ.

‘Những quan điểm này,’ các nhà nghiên cứu lưu ý ‘gợi ý rằng việc chi tiêu tính toán và nỗ lực nghiên cứu để cải thiện hiệu suất trên một tập dữ liệu khổng lồ sẽ mang lại lợi ích vì điều đó sẽ cho phép chúng tôi giải quyết nhiều nhiệm vụ hạ nguồn gần như miễn phí.’

Nhưng bài báo cho rằng sự thiếu hụt tài nguyên tính toán và các phương pháp ‘kinh tế’ của việc đánh giá mô hình là nguyên nhân dẫn đến một ấn tượng sai lầm về động lực học mối quan hệ giữa khối lượng dữ liệu và các hệ thống trí tuệ nhân tạo hữu ích. Các tác giả xác định thói quen này là ‘một điểm yếu lớn’, vì cộng đồng nghiên cứu thường giả định rằng các kết quả địa phương (tích cực) sẽ dịch thành các triển khai hữu ích sau này:

‘[Do] hạn chế tính toán, hiệu suất cho các lựa chọn khác nhau của giá trị siêu tham số không được báo cáo. Các đồ thị tỷ lệ có vẻ thuận lợi hơn nếu siêu tham số được chọn cho mỗi tỷ lệ được cố định hoặc được xác định bởi một hàm tỷ lệ đơn giản.’

Các nhà nghiên cứu进一步 tuyên bố rằng nhiều nghiên cứu về tỷ lệ được đo không phải theo thang tuyệt đối, mà là theo các cải tiến tăng dần so với trạng thái nghệ thuật (SotA), quan sát rằng ‘không có lý do, a priori, cho việc tỷ lệ này phải giữ ngoài phạm vi được nghiên cứu’.

Pre-training

Bài báo này đề cập đến việc ‘pre-training’, một biện pháp được thiết kế để tiết kiệm tài nguyên tính toán và cắt giảm thời gian đào tạo mô hình trên dữ liệu quy mô lớn từ đầu. Các bản chụp pre-training xử lý ‘ABC’ của cách dữ liệu trong một lĩnh vực sẽ trở nên tổng quát hóa trong quá trình đào tạo, và thường được sử dụng trong nhiều lĩnh vực và chuyên ngành học máy, từ Xử lý Ngôn ngữ Tự nhiên (NLP) đến deepfakes.

Nghiên cứu học thuật trước đây đã phát hiện rằng pre-training có thể cải thiện đáng kể độ bền và độ chính xác của mô hình, nhưng bài báo mới này gợi ý rằng sự phức tạp của các tính năng, thậm chí trong các mẫu pre-training được đào tạo ngắn, có thể mang lại lợi ích hơn nếu được chuyển xuống các quá trình sau trong đường ống.

Tuy nhiên, điều này không thể xảy ra nếu các nhà nghiên cứu tiếp tục phụ thuộc vào các mô hình pre-training sử dụng thực hành tốt nhất hiện nay trong việc áp dụng tốc độ học, điều mà nghiên cứu kết luận, có thể ảnh hưởng đáng kể đến độ chính xác cuối cùng của các ứng dụng cuối cùng của công việc. Trong khía cạnh này, các tác giả lưu ý rằng ‘không thể hy vọng tìm thấy một điểm kiểm tra pre-training duy nhất hoạt động tốt trên tất cả các nhiệm vụ hạ nguồn có thể’.

Nghiên cứu

Để thiết lập hiệu ứng bão hòa, các tác giả đã thực hiện 4800 thí nghiệm trên Vision Transformers, ResNets và MLP-Mixers, mỗi loại có số tham số khác nhau, từ 10 triệu đến 10 tỷ, tất cả được đào tạo trên các tập dữ liệu có khối lượng lớn nhất có sẵn trong các lĩnh vực tương ứng, bao gồm ImageNet21K và JFT-300M của Google.

Kết quả, bài báo tuyên bố, cho thấy rằng sự đa dạng của dữ liệu nên được xem xét như một trục bổ sung khi cố gắng ‘tăng quy mô’ dữ liệu, tham số mô hình và thời gian tính toán. Như nó đứng, sự tập trung mạnh mẽ của tài nguyên đào tạo (và sự chú ý của nhà nghiên cứu) vào phần thượng nguồn của đường ống trí tuệ nhân tạo hiệu quả đang bắn phá các ứng dụng hạ nguồn với một lượng lớn tham số lên đến một điểm ‘bão hòa’, làm giảm khả năng của các thuật toán được triển khai để điều hướng qua các tính năng và thực hiện suy luận hoặc biến đổi.

Bài báo kết luận:

‘Qua một nghiên cứu rộng lớn, chúng tôi thiết lập rằng khi chúng tôi cải thiện hiệu suất của nhiệm vụ thượng nguồn bằng cách tăng quy mô hoặc lựa chọn siêu tham số và kiến trúc, hiệu suất của các nhiệm vụ hạ nguồn thể hiện hành vi bão hòa. Ngoài ra, chúng tôi cung cấp bằng chứng thực nghiệm mạnh mẽ rằng, trái với câu chuyện phổ biến, việc tăng quy mô không dẫn đến một giải pháp phù hợp với mọi mô hình.’